LeakDB 是一套工具集,旨在帮助组织构建和部署自己的内部_明文_“Have I Been Pwned”类服务。LeakDB 工具集能够对多 TB 级别的泄露数据集进行规范化、去重、索引、排序和搜索,无需向单个用户分发大文件。整理后,LeakDB 可以在不到十分之一秒内搜索 TB 级的数据,并且 LeakDB 服务器暴露了一个简单的 JSON API,可以通过命令行客户端或任何 HTTP 客户端进行查询。它可以部署为无服务器配置(使用 BigQuery 后端,无索引),也可以部署为带有索引的离线/传统服务器。
LeakDB 使用可配置的布隆过滤器来移除重复条目,使用外部并行快速排序(即内存受限)和k 路二叉树合并对索引进行排序,并使用二叉树搜索在索引中查找条目。
⚠️ 重要提示: 您必须提供自己的数据,这些工具按原样提供,不附带任何公开或其他数据集。
下载最新的发布版
有关详细设置和用法,请参阅维基
只需运行 make <platform>,文件将放入 ./bin 目录。客户端、整理工具和服务端都是纯 Go 语言编写,应支持任何有效的 Go 编译器目标平台,但您可能需要修改 Makefile。无服务器二进制文件仅适用于 Linux,因为 AWS Lambda 仅支持 Linux。编译 Windows 二进制文件最简单的方法是从更好的操作系统(如 Linux 或 macOS)进行交叉编译。
例如:
make macosmake linuxmake windows