LeakDB

LeakDB — это набор инструментов, предназначенный для того, чтобы организации могли создавать и развертывать свой собственный внутренний сервис, подобный «Have I Been Pwned», но с открытым текстом. Набор инструментов LeakDB может нормализовать, дедуплицировать, индексировать, сортировать и искать утекшие наборы данных в масштабах нескольких терабайт без необходимости распространять большие файлы среди отдельных пользователей. После курирования LeakDB может искать терабайты данных менее чем за десятую долю секунды, а сервер LeakDB предоставляет простой JSON API, который можно запрашивать с помощью клиента командной строки или любого HTTP-клиента. Его можно развернуть в бессерверной конфигурации с бэкендом BigQuery (без индексов) или как офлайн/традиционный сервер с индексами.

LeakDB использует настраиваемый фильтр Блума для удаления дублирующихся записей, сортирует индексы с помощью внешней параллельной быстрой сортировки (т.е. с ограничением по памяти) с k-путевым слиянием двоичных деревьев и поиском по двоичному дереву для поиска записей в индексе.

Принесите свои данные

⚠️ Важно: Вы должны предоставить свои собственные данные; эти инструменты предоставляются как есть и не распространяются с какими-либо наборами данных, публичными или иными.

Загрузка

Загрузите последний релиз

Использование

Смотрите вики для подробной настройки и использования.

Компиляция из исходников

Просто выполните make <platform>, файлы будут помещены в ./bin. Клиент, куратор и сервер написаны на чистом Go и должны поддерживать любую допустимую цель компилятора Go, но вам может потребоваться изменить Makefile. Безсерверный бинарный файл доступен только для Linux, так как AWS Lambda поддерживает только Linux. Самый простой способ скомпилировать бинарные файлы Windows — кросс-компилировать их из более качественной операционной системы, такой как Linux или MacOS.

Например:

• make macos
• make linux
• make windows