LeakDB

LeakDB는 조직이 자체 내부 평문 "Have I Been Pwned"와 유사한 서비스를 구축하고 배포할 수 있도록 설계된 도구 세트입니다. LeakDB 도구 세트는 다중 테라바이트 규모의 유출 데이터 세트를 정규화, 중복 제거, 인덱싱, 정렬 및 검색할 수 있으며, 개별 사용자에게 대용량 파일을 배포할 필요가 없습니다. 정리된 후 LeakDB는 0.1초 이내에 수 테라바이트의 데이터를 검색할 수 있으며, LeakDB 서버는 명령줄 클라이언트나 모든 HTTP 클라이언트를 사용하여 쿼리할 수 있는 간단한 JSON API를 제공합니다. BigQuery 백엔드(인덱스 없음)를 사용하는 서버리스 구성 또는 인덱스가 있는 오프라인/전통적인 서버로 배포할 수 있습니다.

LeakDB는 구성 가능한 블룸 필터를 사용하여 중복 항목을 제거하고, 외부 병렬 퀵 정렬(메모리 제약 조건)과 k-way 이진 트리 병합을 사용하여 인덱스를 정렬하며, 이진 트리 검색을 사용하여 인덱스에서 항목을 찾습니다.

자체 데이터 준비

⚠️ 중요: 사용자는 자체 데이터를 제공해야 합니다. 이 도구들은 있는 그대로 제공되며, 공개 데이터 세트나 기타 데이터 세트와 함께 배포되지 않습니다.

다운로드

최신 릴리스를 다운로드하세요.

사용법

자세한 설정 및 사용법은 위키를 참조하세요.

소스에서 컴파일

make <platform>을 실행하기만 하면 파일이 ./bin에 저장됩니다. 클라이언트, 큐레이터 및 서버는 순수 Go로 작성되어 유효한 모든 Go 컴파일러 대상을 지원해야 하지만 Makefile을 수정해야 할 수도 있습니다. 서버리스 바이너리는 AWS Lambda가 Linux만 지원하므로 Linux 전용입니다. Windows 바이너리를 컴파일하는 가장 쉬운 방법은 Linux 또는 MacOS와 같은 더 나은 운영 체제에서 크로스 컴파일하는 것입니다.

예시:

• make macos
• make linux
• make windows