LeakDB

LeakDB è un insieme di strumenti progettato per consentire alle organizzazioni di costruire e distribuire il proprio servizio interno testo in chiaro simile a "Have I Been Pwned". Il set di strumenti LeakDB può normalizzare, deduplicare, indicizzare, ordinare e cercare set di dati trapelati su scala multi-terabyte, senza la necessità di distribuire file di grandi dimensioni ai singoli utenti. Una volta curato, LeakDB può cercare terabyte di dati in meno di un decimo di secondo, e il server LeakDB espone una semplice API JSON che può essere interrogata utilizzando il client da riga di comando o qualsiasi client http. Può essere distribuito in una configurazione serverless con un backend BigQuery (senza indici), o come server offline/tradizionale con indici.

LeakDB utilizza un filtro di Bloom configurabile per rimuovere voci duplicate, ordina gli indici utilizzando quicksort parallelo esterno (cioè con vincoli di memoria) con una fusione ad albero binario k-way, e ricerca ad albero binario per trovare voci nell'indice.

Porta i tuoi dati

⚠️ Importante: Devi fornire i tuoi dati, questi strumenti sono forniti così come sono e non sono distribuiti con alcun set di dati pubblico o privato.

Scarica

Scarica l'ultima release

Utilizzo

Consulta il wiki per una configurazione e un utilizzo dettagliati.

Compila dal sorgente

Basta eseguire make <platform>, i file verranno inseriti in ./bin. Il client, il curatore e il server sono Go puro e dovrebbero supportare qualsiasi target valido del compilatore Go, ma potrebbe essere necessario modificare il Makefile. Il binario serverless è solo per Linux, poiché AWS Lambda supporta solo Linux. Il modo più semplice per compilare i binari Windows è compilarli in modo incrociato da un sistema operativo migliore come Linux o MacOS.

Per esempio:

• make macos
• make linux
• make windows