LeakDB

LeakDB ist ein Werkzeugsatz, der es Organisationen ermöglicht, ihren eigenen internen Klartext-Dienst ähnlich "Have I Been Pwned" aufzubauen und bereitzustellen. Die LeakDB-Werkzeuge können durchgesickerte Datensätze im Multi-Terabyte-Bereich normalisieren, deduplizieren, indizieren, sortieren und durchsuchen, ohne dass große Dateien an einzelne Benutzer verteilt werden müssen. Nach der Aufbereitung kann LeakDB Terabytes an Daten in weniger als einer Zehntelsekunde durchsuchen, und der LeakDB-Server stellt eine einfache JSON-API bereit, die mit dem Kommandozeilen-Client oder einem beliebigen HTTP-Client abgefragt werden kann. Es kann in einer serverlosen Konfiguration mit einem BigQuery-Backend (ohne Indizes) oder als offline/traditioneller Server mit Indizes bereitgestellt werden.

LeakDB verwendet einen konfigurierbaren Bloom-Filter, um doppelte Einträge zu entfernen, sortiert Indizes mit externem parallelem Quicksort (d.h. speicherbeschränkt) mit einem k-Wege-Binärbaum-Merge und verwendet Binärbaum-Suche, um Einträge im Index zu finden.

Eigene Daten mitbringen

⚠️ Wichtig: Sie müssen Ihre eigenen Daten bereitstellen; diese Werkzeuge werden wie sie sind bereitgestellt und werden nicht mit öffentlichen oder anderen Datensätzen vertrieben.

Herunterladen

Laden Sie die neueste Version herunter

Verwendung

Siehe das Wiki für detaillierte Einrichtung und Nutzung.

Aus dem Quellcode kompilieren

Führen Sie einfach make <platform> aus, die Dateien werden in ./bin abgelegt. Der Client, der Kurator und der Server sind reine Go-Anwendungen und sollten jedes gültige Go-Compiler-Ziel unterstützen, aber Sie müssen möglicherweise die Makefile anpassen. Das serverlose Binärprogramm ist nur für Linux, da AWS Lambda nur Linux unterstützt. Der einfachste Weg, die Windows-Binärdateien zu kompilieren, ist die Cross-Kompilierung von einem besseren Betriebssystem wie Linux oder MacOS aus.

Zum Beispiel:

• make macos
• make linux
• make windows