Steamer

Importa, gestiona y busca volcados públicos.

¿Tienes cantidades masivas de CSV, .sql, .txt que contengan credenciales, contraseñas y hashes? ¡Usa Steamer para gestionarlos! Cárgalos en una base de datos MongoDB, y ya sea usa la consola directamente, o simplemente usa la práctica interfaz web (completa con exportación JSON).

Instalación

• Instala Go y MongoDB.
• Las dependencias se gestionan usando módulos de Go en go.mod. Por lo tanto, Go descargará automáticamente los módulos requeridos si no encuentra alguno.

En este punto, se recomienda importar una de las brechas más simples que no requieren un índice para importar.

• go run ./importers/adobe.go

Ahora necesitamos crear los índices relevantes para MongoDB:

• En la consola de mongo, crea los índices como:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

Los comandos para crear los índices son:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

¡Instalación completa!

Ejecutando Steamer

Si eres inteligente, considerarás ejecutar nginx delante de Go, pero somos perezosos, así que realmente solo ejecuta: go run ./steamer.go.

Escribir un importador

Copia el archivo importers/importer-template.go según corresponda. Complétalo con el código relevante. Consulta los otros importadores para ver ejemplos. Esa plantilla está enhebrada y diseñada para CSV. Consulta ./importers/linkedin2016.go para un ejemplo más complejo.

Si escribes un importador para una brecha pública, por favor envía una solicitud de extracción (pull request) para que todos puedan importarla también. Ten en cuenta que no se proporcionan brechas públicas aquí en el repositorio mismo.

Ejecutar un importador

Ejecutar un importador es sencillo. Solo ejecuta go run ./importers/<importer_name>.go o proporciona una ruta alternativa al archivo de volcado si es necesario ejecutando go run ./importers/<importer_name>.go -i <path_to_dump_file>. También hay una bandera verbose que muestra una barra de progreso, si quieres usarla solo agrega la bandera go run importers/<importer_name>.go -v. Sin embargo, ten en cuenta que habilitarla introducirá varios minutos de retraso en promedio dependiendo del tamaño del archivo.

¿Problemas?

Asegúrate de estar ejecutando MongoDB 3.0 o superior. Las versiones anteriores han tenido problemas con los índices que no funcionan correctamente, y hay alguna sintaxis nueva que requiere esta versión.

¿Rendimiento? Intenta ajustar tu archivo de configuración de MongoDB para desactivar el journaling y habilitar el nuevo motor de base de datos.