LeakDB

LeakDB est un ensemble d'outils conçu pour permettre aux organisations de construire et déployer leur propre service interne en texte clair de type « Have I Been Pwned ». L'ensemble d'outils LeakDB peut normaliser, dédupliquer, indexer, trier et rechercher des ensembles de données divulguées à l'échelle multi-téraoctets, sans avoir à distribuer de gros fichiers à chaque utilisateur. Une fois curées, LeakDB peut rechercher des téraoctets de données en moins d'un dixième de seconde, et le serveur LeakDB expose une API JSON simple qui peut être interrogée à l'aide du client en ligne de commande ou de tout client HTTP. Il peut être déployé dans une configuration serverless avec un backend BigQuery (sans index), ou comme serveur traditionnel/hors ligne avec index.

LeakDB utilise un filtre de Bloom configurable pour supprimer les entrées en double, trie les index à l'aide d'un tri rapide parallèle externe (c'est-à-dire contraint en mémoire) avec une fusion d'arbres binaires à k voies, et une recherche par arbre binaire pour trouver les entrées dans l'index.

Apportez vos propres données

⚠️ Important : Vous devez fournir vos propres données, ces outils sont fournis tels quels et ne sont pas distribués avec des ensembles de données, qu'ils soient publics ou autres.

Téléchargement

Téléchargez la dernière version

Utilisation

Consultez le wiki pour une configuration et une utilisation détaillées.

Compiler à partir des sources

Exécutez simplement make <plateforme>, les fichiers seront placés dans ./bin. Le client, le curateur et le serveur sont en Go pur et devraient prendre en charge toute cible valide du compilateur Go, mais vous devrez peut-être modifier le Makefile. Le binaire serverless est uniquement pour Linux, car AWS Lambda ne prend en charge que Linux. La façon la plus simple de compiler les binaires Windows est de les cross-compiler depuis un meilleur système d'exploitation comme Linux ou MacOS.

Par exemple :

• make macos
• make linux
• make windows