Инструменты Trust & Safety для совместной борьбы с цифровыми угрозами.
Изначально этот репозиторий создавался как код для поддержки API ThreatExchange от Meta, но со временем вырос и включил в себя ряд проектов для поддержки обмена сигналами и модерации контента в целом. Ниже приведён список подпроектов.
PDQ — это алгоритм хеширования фотографий, который позволяет превращать фотографии в 256-битные сигнатуры, которые затем можно использовать для сопоставления с другими фотографиями.
TMK+PDQF (или сокращённо TMK) — это алгоритм хеширования видео, который позволяет превращать видео в 256-КБ сигнатуры, которые затем можно использовать для сопоставления с другими видео.
Video PDQ (или сокращённо vPDQ) — это простой алгоритм хеширования видео, который определяет совпадение двух видео на основе количества общих похожих кадров. Его можно легко применить и к другим алгоритмам для изображений, не только к PDQ.
HMA — это готовый к развёртыванию проект модерации контента для AWS, содержащий множество подмодулей. Он позволяет вести списки известного контента для сканирования, которые вы можете либо составлять самостоятельно, либо подключаться к другим программам обмена хешами для обмена списками и их получения. Подробнее можно узнать в вики.
Вторая версия этого проекта под названием «Open Media Match» находится в разработке; она использует облачно-независимое развёртывание на основе Docker.
Библиотека/CLI-инструмент на Python, доступный на pypi под именем threatexchange, который предоставляет реализации для сканирования контента и обмена сигналами. Он содержит эталонные реализации на Python для загрузки хешей из API ThreatExchange от Meta, сканирования изображений с помощью PDQ и других задач. Его также можно легко расширить для работы с другими системами обмена хешами и другими техниками, не все из которых написаны сопровождающими этого репозитория.
Папка api-reference-examples содержит примеры реализаций на различных языках для работы с API. Эти реализации находятся на разных стадиях готовности и могут не реализовывать все эндпоинты, доступные в API ThreatExchange. Полные сведения об API и UI ThreatExchange, форматах данных и лучших практиках доступны в документации ThreatExchange.
ThreatExchange — это набор RESTful API на платформе Facebook для запроса, публикации и обмена информацией об угрозах безопасности. Это лёгкий способ обмена сведениями о вредоносном ПО, фишинговых страницах и других угрозах как с конкретными участниками сообщества, так и с сообществом ThreatExchange в целом.
Полные сведения о ThreatExchange и лучшие практики доступны в документации ThreatExchange.
Для рабочих нагрузок, управляемых тегами, с поддержкой как массовой загрузки, так и инкрементальных обновлений, нашей текущей рекомендуемой лучшей практикой является эталонный дизайн на Java.
Вы также можете исследовать набор данных с помощью размещённого UI ThreatExchange
Чтобы запросить доступ к ThreatExchange, пожалуйста, подайте заявку через https://developers.facebook.com/products/threat-exchange/.
Мы приветствуем вклад! См. CONTRIBUTING, чтобы узнать, как начать, а также наш Кодекс поведения.
Условия использования | Политика конфиденциальности
Все проекты в этом репозитории распространяются по лицензии BSD — см. ./LICENSE. Однако есть несколько исключений для файлов, включённых в демонстрационных целях, и их альтернативные лицензии указаны в начале самих файлов.
По состоянию на 12/9/2021 это полный список исключений: