facebook/threatexchangeИнструменты Trust & Safety для совместной борьбы с цифровыми угрозами.
Изначально этот репозиторий создавался как код для поддержки ThreatExchange API от Meta, но со временем разросся и теперь включает ряд проектов, предназначенных для обмена сигналами и модерации контента в целом. Ниже приведён список подпроектов.
PDQ — это алгоритм фото-хеширования, который преобразует фотографии в 256-битные сигнатуры, которые затем можно использовать для сопоставления с другими фотографиями.
TMK+PDQF (или кратко TMK) — это алгоритм видеохеширования, который преобразует видео в сигнатуры размером 256 КБ, используемые для сопоставления с другими видео.
Video PDQ (или кратко vPDQ) — это простой алгоритм видеохеширования, который определяет, что два видео совпадают, на основе количества общих похожих кадров. Его легко применять и к другим алгоритмам обработки изображений, а не только к PDQ.
HMA — это готовый к развёртыванию проект модерации контента для AWS, содержащий множество подмодулей. Он позволяет вести списки известного контента для поиска, которые вы можете либо формировать самостоятельно, либо подключать к другим программам обмена хешами для обмена списками и их получения. Подробнее можно узнать в вики.
Вторая версия этого проекта, называемая «Open Media Match», находится в разработке; в ней используется облачно-независимое развёртывание на основе Docker.
Библиотека/CLI-инструмент на Python, доступный на pypi под именем threatexchange, предоставляющий реализации для сканирования контента и обмена сигналами. Он содержит эталонные реализации на Python для загрузки хешей из ThreatExchange API от Meta, сканирования изображений с помощью PDQ и других задач. Его также можно легко расширить для работы с другими обменами хешами и другими методами, не все из которых написаны сопровождающими этого репозитория.
Папка api-reference-examples содержит примеры реализаций использования API на различных языках. Эти реализации находятся на разных стадиях готовности, и не все из них могут реализовывать все конечные точки, доступные в ThreatExchange API. Полные сведения о ThreatExchange API и пользовательском интерфейсе, форматах данных и лучших практиках доступны в документации ThreatExchange.
ThreatExchange — это набор RESTful API на платформе Facebook для запроса, публикации и обмена информацией об угрозах безопасности. Это лёгкий способ обмена данными о вредоносных программах, фишинговых страницах и других угрозах как с отдельными участниками сообщества, так и со всем сообществом ThreatExchange.
Полные сведения о ThreatExchange и лучшие практики доступны в документации ThreatExchange.
Для рабочих нагрузок, управляемых тегами и поддерживающих либо массовую загрузку, либо инкрементальные обновления, наша текущая рекомендуемая лучшая практика — это эталонная реализация на Java.
Вы также можете изучить набор данных с помощью размещённого интерфейса ThreatExchange UI.
Чтобы запросить доступ к ThreatExchange, отправьте заявку через https://developers.facebook.com/products/threat-exchange/.
Мы приветствуем ваш вклад! См. CONTRIBUTING, чтобы узнать, как начать, и наш Кодекс поведения.
Условия использования | Политика конфиденциальности
Все проекты в этом репозитории распространяются под лицензией BSD — см. ./LICENSE. Однако есть некоторые исключения для файлов, включённых в демонстрационных целях; их альтернативные лицензии указаны в начале самих файлов.
По состоянию на 12/9/2021 это полный список исключений:
