Fresh Onions - Rastreador de Servicios Ocultos TOR

Esta es una copia del código fuente del servicio oculto http://zlal32teyptf4tvi.onion, que implementa un rastreador / araña de servicios ocultos TOR y un sitio web.

Características

• Rastrea la darknet en busca de nuevos servicios ocultos
• Encuentra servicios ocultos desde varias fuentes de clearnet
• Soporte opcional de búsqueda de texto completo con elasticsearch
• Marca sitios clonados de la superlista de /r/darknet
• Encuentra huellas digitales SSH en servicios ocultos
• Encuentra direcciones de correo electrónico en servicios ocultos
• Encuentra direcciones de bitcoin en servicios ocultos
• Muestra enlaces entrantes/salientes a dominios onion
• Estado actualizado de servicios ocultos vivos/muertos
• Escáner de puertos
• Búsqueda de rutas URL 'interesantes', detección útil de 404
• Detección automática de idioma
• Detección difusa de clones (requiere elasticsearch, más avanzada que la detección de clones de superlista)

Licencia

Este software se distribuye bajo la Licencia Pública General Affero de GNU versión 3.. Lo que esto significa es que si implementa este software como parte de un software en red que está disponible para el público, debe poner a disposición el código fuente (y cualquier modificación).

Del sitio de GNU:

La Licencia Pública General Affero de GNU es una versión modificada de la GNU GPL versión 3 ordinaria. Tiene un requisito adicional: si ejecuta un programa modificado en un servidor y permite que otros usuarios se comuniquen con él allí, su servidor también debe permitirles descargar el código fuente correspondiente a la versión modificada que se ejecuta allí.

Dependencias

• python
• tor

pip install:

pip install -r requirements.txt

Instalación

Crear la base de datos mysql a partir de schema.sql

Editar etc/database para la configuración de su base de datos

Editar etc/proxy para la configuración de su TOR

script/push.sh someoniondirectory.onion 
script/push.sh anotheroniondirectory.onion

Editar etc/uwsgi_only y establecer BASEDIR en el lugar donde esté instalado torscraper (p.ej., /home/user/torscraper)

Ejecutar:

init/scraper_service.sh # para comenzar a rastrear
init/isup_service.sh # para mantener el estado del sitio actualizado

Búsqueda de Texto Completo Opcional con ElasticSearch

El torscraper incluye capacidad opcional de elasticsearch (habilitada por defecto). Edite etc/elasticsearch y configure las variables o establezca ELASTICSEARCH_ENABLED=false para deshabilitarlo. Ejecute scripts/elasticsearch_migrate.sh para realizar la configuración inicial después de la configuración.

Si elasticsearch está deshabilitado, no habrá búsqueda de texto completo, sin embargo, el rastreo y descubrimiento de nuevos sitios seguirá funcionando.

cronjobs

# recolectar cebollas de varias fuentes
1 18 * * * /home/scraper/torscraper/scripts/harvest.sh

# obtener huellas digitales SSH para nuevos sitios
1 4,16 * * * /home/scraper/torscraper/scripts/update_fingerprints.sh

# marcar sitios como genuinos/falsos desde la superlista de /r/darknetmarkets    
1 9 * * 1 /home/scraper/torscraper/scripts/get_valid.sh

# extraer pastebin en busca de cebollas (requiere cuenta de pago / lista blanca de IP)                 
*/5 * * * * /home/scraper/torscraper/scripts/pastebin.sh

# escanear puertos de nuevas cebollas               
1 */6 * * * /home/scraper/torscraper/scripts/portscan_up.sh

# extraer stronghold paste
32 */2 * * * /home/scraper/torscraper/scripts/stronghold_paste_rip.sh

# detectar clones
16 3 * * * /home/scraper/torscraper/scripts/detect_clones.sh

Infraestructura

Fresh Onions se ejecuta en dos servidores: un host frontend que ejecuta la base de datos y el sitio web del servicio oculto, y un host backend que ejecuta el rastreador. Probablemente lo más interesante para el lector sea la configuración del backend. TOR como cliente es COMPLETAMENTE MONOHILO. ¡Lo sé! Es 2017, y junto con una total falta de autos voladores, TOR se ejecuta en un solo hilo. Lo que esto significa es que si intenta ejecutar un rastreador en una sola instancia de TOR, rápidamente encontrará que su CPU está al 100%.

La solución a este problema es ejecutar múltiples instancias de TOR y conectarse a ellas a través de algún tipo de frontend que distribuya sus solicitudes en forma round-robin. El rastreador de Fresh Onions ejecuta ocho instancias de Tor.

Debian (y ubuntu) incluye un programa útil 'tor-instance-create' para crear rápidamente múltiples instancias de TOR. Usé Squid como mi proxy frontend, pero desafortunadamente no puede conectarse a SOCKS directamente, así que usé 'privoxy' como proxy intermedio. Necesitará una instancia de privoxy por cada instancia de TOR. Hay un script en 'scripts/create_privoxy.sh' para ayudar a crear instancias de privoxy en sistemas Debian. También ayuda reemplazar /etc/privoxy/default.filter con un archivo vacío para reducir la carga de la CPU eliminando expresiones regulares innecesarias.

Además, este recurso https://www.howtoforge.com/ultimate-security-proxy-with-tor podría ser útil para configurar squid. Si todo lo que está haciendo es rastrear y no le importa el anonimato, también recomiendo ejecutar TOR en modo tor2web (requiere recompilación) para mayor velocidad.