researchanddestroy/dorxngDorX de próxima generación. Construido por Dorks, para Dorks. 🤓
DorXNG es una solución moderna para recolectar datos de OSINT utilizando operadores de búsqueda avanzados a través de múltiples proveedores de búsqueda upstream. En el backend, utiliza una imagen contenerizada especialmente construida de SearXNG, un metabuscador autoalojado, hackeable y centrado en la privacidad.
Nuestra implementación de SearXNG enruta todas las consultas de búsqueda a través de la red Tor, renovando los circuitos cada diez segundos mediante la directiva de configuración MaxCircuitDirtiness de Tor. También hemos desactivado todas las funciones de tiempo de espera del lado del cliente de SearXNG. Estos ajustes permiten evadir las restricciones que los motores de búsqueda suelen imponer al realizar muchas consultas repetidas.
La aplicación cliente de DorXNG está escrita en Python3 e interactúa con la API de SearXNG para emitir consultas de búsqueda de forma concurrente. Incluso puede realizar peticiones a través de múltiples instancias de SearXNG. Los resultados obtenidos se almacenan en una base de datos SQLite3.
Hemos habilitado todos los motores de búsqueda upstream compatibles que permiten consultas con operadores avanzados:
GoogleDuckDuckGoQwantBingBraveStartpageYahooPara más información sobre qué motores de búsqueda soporta SearXNG, consulte: Configured Engines
Un agradecimiento a los desarrolladores de Tor y SearXNG por hacer esto posible. ¡Donen a ambos proyectos!
Otro agradecimiento al desarrollador de pagodo por la inspiración y ese fantástico script ghdb_scraper.py.
Por último, pero no menos importante, un agradecimiento a j0hnny. El OG Dork. 🧠🏴☠
Instalar DorXNG
git clone https://github.com/researchanddestroy/dorxng
cd dorxng
pip install -r requirements.txt
./DorXNG.py -h
Descargar y ejecutar nuestro contenedor Docker personalizado de SearXNG (al menos uno). Se pueden usar múltiples instancias de SearXNG. Utilice la opción --serverlist con DorXNG. Consulte: server.lst
docker run researchanddestroy/searxng:latest
Si desea construir el contenedor usted mismo:
git clone https://github.com/researchanddestroy/searxng # La URL debe estar en minúsculas para que el proceso de compilación se complete
cd searxng
DOCKER_BUILDKIT=1 make docker.build
docker images
docker run <image-id>
Por defecto, DorXNG tiene una variable server codificada en parse_args.py que está configurada con la dirección IP que Docker asignará al primer contenedor que ejecute en su máquina: 172.17.0.2. Esto se puede cambiar o sobrescribir con --server o --serverlist.
Comenzar a emitir consultas de búsqueda
./DorXNG.py -q 'consulta de búsqueda'
Consultar la base de datos de DorXNG
./DorXNG.py -D 'cadena de búsqueda regex'
-h, --help Muestra este mensaje de ayuda y sale.
-s SERVER, --server SERVER
Instancia del servidor DorXNG - Ejemplo: 'https://172.17.0.2/search'
-S SERVERLIST, --serverlist SERVERLIST
Emite consultas de búsqueda a través de una lista de servidores - Formato: delimitado por nueva línea
-q QUERY, --query QUERY
Emite una consulta de búsqueda - Ejemplos: 'consulta de búsqueda' | '!tch consulta de búsqueda' | 'site:ejemplo.com intext:ejemplo'
-Q QUERYLIST, --querylist QUERYLIST
Itera a través de una lista de consultas de búsqueda - Formato: delimitado por nueva línea
-n NUMBER, --number NUMBER
Define el número de iteraciones de resultados por página
-c CONCURRENT, --concurrent CONCURRENT
Define el número de peticiones de página concurrentes
-l LIMITDATABASE, --limitdatabase LIMITDATABASE
Establece el tamaño máximo de la base de datos - Inicia una nueva base de datos al superarlo - Ejemplo: --limitdatabase 10 (10k entradas en la base de datos) - Tamaño máximo sugerido: 50k
cuando se hace recursión profunda
-L LOOP, --loop LOOP Define el número de iteraciones del bucle de la función principal - Bucle infinito con 0
-d DATABASE, --database DATABASE
Especifica el archivo de base de datos SQL - Por defecto: 'dorxng.db'
-D DATABASEQUERY, --databasequery DATABASEQUERY
Emite una consulta en la base de datos - Formato: Regex
-m MERGEDATABASE, --mergedatabase MERGEDATABASE
Fusiona un archivo de base de datos SQL - Ejemplo: --mergedatabase database.db
-t TIMEOUT, --timeout TIMEOUT
Especifica el intervalo de espera entre peticiones - Por defecto: 4 segundos - Deshabilitar con 0
-r NONEWRESULTS, --nonewresults NONEWRESULTS
Especifica el número de iteraciones sin resultados nuevos - Por defecto: 4 (3 intentos) - Deshabilitar con 0
-v, --verbose Activa la salida detallada
-vv, --veryverbose Activa la salida muy detallada - Muestra la salida JSON sin procesar
A veces te encontrarás con un nodo de salida de Tor que ya está bloqueado por los proveedores de búsqueda upstream, lo que provocará que recibas una cantidad mínima de resultados. No te preocupes... Sigue lanzando consultas. 😉
Conserva tu archivo de base de datos SQL de DorXNG y vuelve a ejecutar tu comando, o usa el interruptor --loop para iterar la función principal repetidamente. 🔁
Por lo general, cuantas más pasadas hagas sobre una consulta de búsqueda, más resultados encontrarás. 🍻
También ten en cuenta que hemos sacrificado velocidad para obtener un mayor volumen de datos. Después de todo, esto es un proyecto de OSINT. 🔎🌎
Cada consulta de búsqueda que realizas se envía a 7 proveedores de búsqueda upstream... Especialmente con consultas --concurrent, esto genera muchas peticiones upstream... Así que ten paciencia.
Ten en cuenta que DorXNG seguirá añadiendo nuevos resultados de búsqueda a tu archivo de base de datos. Usa el interruptor --database para especificar un nombre de archivo de base de datos; el nombre por defecto es dorxng.db. Esto probablemente no importe para la mayoría, pero si quieres mantener separadas tus investigaciones de OSINT, está ahí para ti.
Cuatro consultas concurrentes parece ser el punto óptimo. Puedes emitir más, pero cuantas más consultas hagas a la vez, más tardarás en recibir los resultados. También aumenta la probabilidad de recibir respuestas HTTP/429 Too Many Requests de los proveedores de búsqueda upstream en ese circuito específico de Tor.
Si inicias varios contenedores Docker de SearXNG demasiado rápido, las conexiones Tor pueden fallar al establecerse. Al inicializar un contenedor, una respuesta válida de la función de verificación de conectividad Tor tiene este aspecto:
Checking Tor Connectivity..
{"IsTor":true,"IP":"<tor-exit-node>"}
Si ves algo diferente, o si empiezas a ver códigos de respuesta HTTP/500 provenientes del script de monitoreo de SearXNG (STDOUT en el contenedor), mata el contenedor Docker y levanta uno nuevo.