LeakDB

LeakDB es un conjunto de herramientas diseñado para permitir a las organizaciones construir y desplegar su propio servicio interno de texto plano plaintext similar a "Have I Been Pwned". El conjunto de herramientas LeakDB puede normalizar, deduplicar, indexar, ordenar y buscar conjuntos de datos filtrados a escala de múltiples terabytes, sin necesidad de distribuir archivos grandes a usuarios individuales. Una vez curado, LeakDB puede buscar terabytes de datos en menos de una décima de segundo, y el servidor LeakDB expone una API JSON simple que puede ser consultada usando el cliente de línea de comandos o cualquier cliente http. Se puede desplegar en una configuración sin servidor con un backend de BigQuery (sin índices), o como un servidor fuera de línea/tradicional con índices.

LeakDB utiliza un filtro Bloom configurable para eliminar entradas duplicadas, ordena índices utilizando quicksort paralelo externo (es decir, con restricción de memoria) con una fusión de árbol binario de k vías, y búsqueda en árbol binario para encontrar entradas en el índice.

Traiga sus propios datos

⚠️ Importante: Debe proporcionar sus propios datos; estas herramientas se proporcionan tal cual y no se distribuyen con ningún conjunto de datos, públicos o de otro tipo.

Descargar

Descargue la última versión

Uso

Consulte la wiki para obtener una configuración y uso detallados.

Compilar desde el código fuente

Simplemente ejecute make <platform>, los archivos se colocarán en ./bin. El cliente, el curador y el servidor están escritos en Go puro y deberían soportar cualquier objetivo válido del compilador Go, pero es posible que necesite modificar el Makefile. El binario sin servidor es solo para Linux, ya que AWS Lambda solo admite Linux. La forma más fácil de compilar los binarios de Windows es compilarlos de forma cruzada desde un sistema operativo mejor como Linux o MacOS.

Por ejemplo:

• make macos
• make linux
• make windows