Steamer

导入、管理、搜索公开数据泄露文件。

你是否拥有大量包含凭据、密码和哈希值的 CSV、.sql、.txt 文件？ 使用 Steamer 来管理它们！将数据加载到 MongoDB 数据库中，然后可以直接使用控制台，或者借助便捷的 Web 界面（支持 JSON 导出）进行操作。

安装

• 安装 Go 和 MongoDB。
• 依赖项通过 go.mod 中的 Go 模块进行管理。因此，如果找不到某个模块，Go 会自动下载所需的依赖项。

此时，建议先导入一个较为简单、无需索引即可导入的数据泄露文件。

• go run ./importers/adobe.go

现在我们需要为 MongoDB 创建相关索引：

• 在 mongo 控制台中，按如下方式创建索引：
  • memberid：哈希索引
  • breach：1
  • email：1
  • liame：1
  • passwordhash：1

创建索引的命令如下：

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

安装完成！

运行 Steamer

如果你够聪明，可能会考虑在 Go 前面运行 nginx，但我们比较懒，所以直接运行： go run ./steamer.go。

编写导入器

复制 importers/importer-template.go 文件并适当命名。填写相关代码。其他导入器可作为示例参考。 该模板支持多线程，专为 CSV 设计。更复杂的示例请参见 ./importers/linkedin2016.go。

如果你为某个公开数据泄露文件编写了导入器，请发送拉取请求，以便大家都能导入。请注意，本仓库不提供任何公开数据泄露文件。

运行导入器

运行导入器很简单。只需运行 go run ./importers/<importer_name>.go，或者如果需要指定转储文件的替代路径，可以运行 go run ./importers/<importer_name>.go -i <path_to_dump_file>。 还有一个详细标志，可显示进度条，如果想使用，只需添加标志 go run importers/<importer_name>.go -v。 但请注意，启用该标志平均会引入几分钟的延迟，具体取决于文件大小。

遇到问题？

请确保你运行的是 MongoDB 3.0 或更高版本。旧版本存在索引无法正常工作的问题，并且某些新语法需要此版本。

性能不佳？尝试调整 MongoDB 配置文件，关闭日志记录并启用新的数据库引擎。