Steamer

Импорт, управление, поиск публичных дампов.

У вас есть огромные объемы CSV, .sql, .txt, содержащие учетные данные, пароли и хэши? Используйте Steamer для управления ими! Загрузите их в базу данных MongoDB и используйте либо консоль напрямую, либо удобный веб-интерфейс (с поддержкой экспорта в JSON).

Установка

• Установите Go и MongoDB.
• Зависимости управляются с помощью Go-модулей в go.mod. Поэтому Go автоматически загрузит необходимые модули, если не найдет их.

На этом этапе рекомендуется импортировать одну из более простых утечек, не требующих создания индекса для импорта.

• go run ./importers/adobe.go

Теперь нам нужно создать соответствующие индексы для MongoDB:

• В консоли mongo создайте индексы следующим образом:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

Команды для создания индексов:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

Установка завершена!

Запуск Steamer

Если вы умны, то подумаете о запуске nginx перед Go, но мы ленивы, так что просто запустите: go run ./steamer.go.

Написание импортера

Скопируйте файл importers/importer-template.go соответствующим образом. Заполните его нужным кодом. Примеры смотрите в других импортерах. Этот шаблон многопоточный и предназначен для CSV. Более сложный пример смотрите в ./importers/linkedin2016.go.

Если вы напишете импортер для публичной утечки, пожалуйста, отправьте pull request, чтобы все могли его импортировать. Обратите внимание, что в самом репозитории никакие публичные утечки не предоставляются.

Запуск импортера

Запуск импортера прост. Просто выполните go run ./importers/<importer_name>.go или укажите альтернативный путь к файлу дампа, если необходимо, с помощью команды go run ./importers/<importer_name>.go -i <path_to_dump_file>. Также есть флаг подробного вывода, показывающий индикатор выполнения. Если хотите его использовать, добавьте флаг go run importers/<importer_name>.go -v. Однако имейте в виду, что его включение приведет к задержке в несколько минут в среднем в зависимости от размера файла.

Проблемы?

Убедитесь, что вы используете MongoDB 3.0 или выше. В предыдущих версиях были проблемы с некорректной работой индексов, а также присутствует новый синтаксис, требующий этой версии.

Производительность? Попробуйте настроить файл конфигурации MongoDB, отключив журналирование и включив новый движок базы данных.