LeakDB

LeakDB é um conjunto de ferramentas projetado para permitir que organizações construam e implantem seu próprio serviço interno de texto simples semelhante ao "Have I Been Pwned". O conjunto de ferramentas LeakDB pode normalizar, deduplicar, indexar, ordenar e pesquisar conjuntos de dados vazados em escala de vários terabytes, sem a necessidade de distribuir arquivos grandes para usuários individuais. Uma vez curados, o LeakDB pode pesquisar terabytes de dados em menos de um décimo de segundo, e o servidor LeakDB expõe uma API JSON simples que pode ser consultada usando o cliente de linha de comando ou qualquer cliente HTTP. Ele pode ser implantado em uma configuração serverless com um backend BigQuery (sem índices) ou como um servidor offline/tradicional com índices.

O LeakDB usa um filtro Bloom configurável para remover entradas duplicadas, ordena índices usando quicksort paralelo externo (ou seja, com memória limitada) com uma mesclagem k-way de árvore binária e busca em árvore binária para encontrar entradas no índice.

Traga seus próprios dados

⚠️ Importante: Você deve fornecer seus próprios dados; estas ferramentas são fornecidas como estão e não são distribuídas com nenhum conjunto de dados, públicos ou não.

Download

Baixe a versão mais recente.

Uso

Consulte a wiki para configuração e uso detalhados.

Compilar a partir do código fonte

Basta executar make <platform>, os arquivos serão colocados em ./bin. O cliente, o curador e o servidor são Go puro e devem suportar qualquer alvo de compilador Go válido, mas talvez seja necessário modificar o Makefile. O binário serverless é apenas para Linux, pois o AWS Lambda só suporta Linux. A maneira mais fácil de compilar os binários do Windows é compilá-los de forma cruzada a partir de um sistema operacional melhor, como Linux ou MacOS.

Por exemplo:

• make macos
• make linux
• make windows