Steamer

Importez, gérez, recherchez des dumps publics.

Vous avez des quantités massives de CSV, .sql, .txt contenant des identifiants, mots de passe et hashs ? Utilisez Steamer pour les gérer ! Chargez-les dans une base MongoDB, et utilisez la console directement ou l'interface web pratique (avec export JSON).

Installation

• Installez Go et MongoDB.
• Les dépendances sont gérées via les modules Go dans go.mod. Go téléchargera donc automatiquement les modules requis s'il ne les trouve pas.

À ce stade, il est recommandé d'importer une des fuites les plus simples qui ne nécessite pas d'index.

• go run ./importers/adobe.go

Nous devons maintenant créer les index pertinents pour MongoDB :

• Dans la console mongo, créez les index comme suit :
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

Les commandes pour créer les index sont :

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

Installation terminée !

Lancer Steamer

Si vous êtes malin, vous envisagerez d'exécuter nginx devant Go, mais nous sommes paresseux, alors lancez simplement : go run ./steamer.go.

Écrire un importateur

Copiez le fichier importers/importer-template.go comme il convient. Remplissez-le avec le code approprié. Consultez les autres importateurs pour des exemples. Ce modèle est multi-thread et conçu pour les CSV. Voir ./importers/linkedin2016.go pour un exemple plus complexe.

Si vous écrivez un importateur pour une fuite publique, veuillez envoyer une pull request pour que tout le monde puisse aussi l'importer. Notez qu'aucune fuite publique n'est fournie ici dans le dépôt lui-même.

Lancer un importateur

Lancer un importateur est simple. Exécutez simplement go run ./importers/<nom_importateur>.go ou fournissez un chemin alternatif vers le fichier dump si nécessaire en exécutant go run ./importers/<nom_importateur>.go -i <chemin_vers_fichier_dump>. Il existe également un drapeau verbose qui affiche une barre de progression ; pour l'utiliser, ajoutez le drapeau go run importers/<nom_importateur>.go -v. Cependant, sachez que son activation introduira plusieurs minutes de délai en moyenne selon la taille du fichier.

Problèmes ?

Assurez-vous d'exécuter MongoDB 3.0 ou supérieur. Les versions précédentes ont eu des problèmes avec les index qui ne fonctionnaient pas correctement, et il y a une nouvelle syntaxe qui nécessite cette version.

Problèmes de performance ? Essayez de modifier votre fichier de configuration MongoDB pour désactiver le journaling et activer le nouveau moteur de base de données.