LeakDB

LeakDBは、組織が独自の内部的な プレーンテキスト の「Have I Been Pwned」のようなサービスを構築・展開できるように設計されたツールセットです。 LeakDBツールセットは、マルチテラバイト規模のリークデータセットを正規化、重複排除、インデックス化、ソート、検索することができ、大規模ファイルを個々のユーザーに配布する必要がありません。キュレーション後、LeakDBは1秒の10分の1未満でテラバイト規模のデータを検索でき、LeakDBサーバーはコマンドラインクライアントや任意のHTTPクライアントからクエリ可能なシンプルなJSON APIを公開します。サーバーレス構成（BigQueryバックエンド、インデックスなし）またはオフライン/従来のサーバー（インデックスあり）としてデプロイできます。

LeakDBは、設定可能なブルームフィルタを使用して重複エントリを除去し、外部並列クイックソート（メモリ制約下）とk-way二分木マージを使用してインデックスをソートし、二分木探索でインデックス内のエントリを見つけます。

データをご自身で用意してください

⚠️ 重要: ご自身でデータを用意する必要があります。これらのツールは現状のまま提供され、公開データセットやその他のデータセットは同梱されていません。

ダウンロード

最新のリリースをダウンロード

使い方

詳細なセットアップと使い方はwikiを参照してください。

ソースからコンパイル

make <platform> を実行するだけで、ファイルは ./bin に出力されます。クライアント、キュレーター、サーバーは純粋なGoであり、有効なGoコンパイラターゲットをすべてサポートするはずですが、Makefileの修正が必要な場合があります。サーバーレスバイナリはLinuxのみ対応（AWS LambdaがLinuxのみサポートのため）。Windowsバイナリをコンパイルする最も簡単な方法は、LinuxやMacOSのようなより優れたオペレーティングシステムからクロスコンパイルすることです。

例:

• make macos
• make linux
• make windows