Steamer

Importieren, verwalten, durchsuchen öffentlicher Dumps.

Hast du massive Mengen an CSV-, .sql-, .txt-Dateien mit darin enthaltenen Anmeldedaten, Passwörtern und Hashes? Nutze Steamer, um sie zu verwalten! Lade sie in eine MongoDB-Datenbank und verwende entweder die Konsole direkt oder die praktische Weboberfläche (inklusive JSON-Export).

Installation

• Installiere Go und MongoDB.
• Abhängigkeiten werden über Go-Module in go.mod verwaltet. Daher lädt Go die erforderlichen Module automatisch herunter, falls es eines nicht findet.

An dieser Stelle empfiehlt es sich, einen der einfacheren Datenlecks zu importieren, die keinen Index für den Import benötigen.

• go run ./importers/adobe.go

Jetzt müssen wir relevante Indizes für MongoDB erstellen:

• In der Mongo-Konsole erstellt man Indizes wie folgt:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

Die Befehle zum Erstellen der Indizes sind:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

Installation abgeschlossen!

Steamer ausführen

Wenn du clever bist, denkst du darüber nach, nginx vor Go zu betreiben, aber wir sind faul, also reicht wirklich: go run ./steamer.go.

Einen Importer schreiben

Kopiere die Datei importers/importer-template.go entsprechend. Fülle sie mit relevantem Code aus. Siehe die anderen Importer als Beispiele. Diese Vorlage ist threaded und für CSVs ausgelegt. Siehe ./importers/linkedin2016.go für ein komplexeres Beispiel.

Wenn du einen Importer für einen öffentlichen Datenlecks schreibst, sende bitte einen Pull-Request, damit jeder ihn ebenfalls importieren kann. Bitte beachte, dass hier im Repository selbst keine öffentlichen Datenlecks bereitgestellt werden.

Einen Importer ausführen

Einen Importer auszuführen ist einfach. Führe einfach go run ./importers/<importer_name>.go aus oder gib einen alternativen Pfad zur Dump-Datei an, falls erforderlich, mit go run ./importers/<importer_name>.go -i <pfad_zur_dump_datei>. Es gibt auch einen verbose-Flag, der einen Fortschrittsbalken anzeigt. Wenn du ihn verwenden möchtest, füge einfach das Flag go run importers/<importer_name>.go -v hinzu. Beachte jedoch, dass das Aktivieren dieses Flags je nach Dateigröße im Durchschnitt mehrere Minuten Verzögerung mit sich bringt.

Probleme?

Stelle sicher, dass du MongoDB 3.0 oder höher verwendest. Frühere Versionen hatten Probleme mit Indizes, die nicht richtig funktionierten, und es gibt einige neue Syntax, die diese Version erfordert.

Performance? Versuche, deine MongoDB-Konfigurationsdatei anzupassen, um Journaling zu deaktivieren und die neue Datenbank-Engine zu aktivieren.