Steamer

Importa, gestisci, cerca dump pubblici.

Hai enormi quantità di file CSV, .sql, .txt che contengono credenziali, password e hash? Usa Steamer per gestirli! Caricali in un database MongoDB e usa direttamente la console o la pratica interfaccia web (completa di esportazione JSON).

Installazione

• Installa Go e MongoDB.
• Le dipendenze sono gestite usando i moduli Go in go.mod. Pertanto, Go scaricherà automaticamente i moduli necessari se non li trova.

A questo punto, si consiglia di importare una delle violazioni più semplici che non richiedono un indice per l'importazione.

• go run ./importers/adobe.go

Ora dobbiamo creare gli indici pertinenti per MongoDB:

• Nella console mongo, crea gli indici come:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

I comandi per creare gli indici sono:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

Installazione completa!

Avvio di Steamer

Se sei furbo, considererai di eseguire nginx davanti a Go, ma siamo pigri, quindi esegui semplicemente: go run ./steamer.go.

Scrivere un importatore

Copia il file importers/importer-template.go come appropriato. Compilalo con il codice pertinente. Vedi gli altri importatori per esempi. Quel template è multi-thread e progettato per file CSV. Vedi ./importers/linkedin2016.go per un esempio più complesso.

Se scrivi un importatore per una violazione pubblica, per favore invia una pull request così tutti possono importarla. Nota che nessuna violazione pubblica è fornita qui nel repository stesso.

Esecuzione di un importatore

Eseguire un importatore è semplice. Basta eseguire go run ./importers/<importer_name>.go o fornire un percorso alternativo al file dump se necessario eseguendo go run ./importers/<importer_name>.go -i <path_to_dump_file>. C'è anche un flag verbose che mostra una barra di avanzamento, se vuoi usarlo basta aggiungere il flag go run importers/<importer_name>.go -v. Tuttavia, tieni presente che abilitarlo introdurrà diversi minuti di ritardo in media a seconda della dimensione del file.

Problemi?

Assicurati di eseguire MongoDB 3.0 o superiore. Le versioni precedenti hanno avuto problemi con gli indici che non funzionano correttamente, e c'è della nuova sintassi che richiede questa versione.

Prestazioni? Prova a modificare il file di configurazione di MongoDB per disattivare il journaling e abilitare il nuovo motore di database.