Steamer

Importe, gerencie e pesquise dumps públicos.

Você tem grandes quantidades de CSV, .sql, .txt que contêm credenciais, senhas e hashes? Use o Steamer para gerenciá-los! Carregue-os em um banco de dados MongoDB e use o console diretamente ou apenas a prática interface web (completa com exportação JSON).

Instalação

• Instale Go e MongoDB.
• As dependências são gerenciadas usando módulos Go no go.mod. Portanto, o Go baixará automaticamente os módulos necessários se não conseguir encontrar um.

Neste ponto, é recomendável importar uma das violações mais simples que não exigem um índice para importar.

• go run ./importers/adobe.go

Agora precisamos criar índices relevantes para o MongoDB:

• No console do mongo, crie índices como:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

Os comandos para criar os índices são:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

Instalação completa!

Executando Steamer

Se você for esperto, considerará executar nginx na frente do Go, mas somos preguiçosos, então realmente apenas execute: go run ./steamer.go.

Escreva um importador

Copie o arquivo importers/importer-template.go conforme apropriado. Preencha-o com o código relevante. Veja os outros importadores para exemplos. Esse modelo é baseado em threads e projetado para CSVs. Veja ./importers/linkedin2016.go para um exemplo mais complexo.

Se você escrever um importador para uma violação pública, envie um pull request para que todos possam importá-la também. Note que nenhuma violação pública é fornecida aqui no próprio repositório.

Executando um importador

Executar um importador é simples. Basta executar go run ./importers/<importer_name>.go ou fornecer um caminho alternativo para o arquivo dump, se necessário, executando go run ./importers/<importer_name>.go -i <path_to_dump_file>. Há também uma flag verbose que mostra uma barra de progresso; se quiser usá-la, basta adicionar a flag go run importers/<importer_name>.go -v. No entanto, esteja ciente de que ativá-la introduzirá vários minutos de atraso em média, dependendo do tamanho do arquivo.

Problemas?

Certifique-se de estar executando MongoDB 3.0 ou superior. Versões anteriores tiveram problemas com índices não funcionando corretamente, e há alguma sintaxe nova que exige esta versão.

Performance? Tente ajustar seu arquivo de configuração do MongoDB para desativar o journaling e ativar o novo mecanismo de banco de dados.