URLextractor

Recopilación de información y reconocimiento de sitios web

Uso: ./extractor http://www.hackthissite.org/

Consejos:

• Colorex: añade colores a la salida pip install colorex y úsalo como ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract: es usado por la función de enumeración DNS pip install tldextract

Características:

• Información de IP y hosting como ciudad y país (usando FreegeoIP)
• Servidores DNS (usando dig)
• ASN, rango de red, nombre del ISP (usando RISwhois)
• Prueba de balanceador de carga
• Whois para correo de abuso (usando Spamcop)
• Archivo PAC (Proxy Auto Configuration)
• Compara hashes para hacer diff de código
• robots.txt (buscando recursivamente contenido oculto)
• Código fuente (buscando contraseñas y usuarios)
• Enlaces externos (frames de otros sitios web)
• FUZZ de directorios (como Dirbuster y Wfuzz - usando la lista de directorios de Dirbuster)
• API de URLvoid - verifica el PageRank de Google, el ranking Alexa y posibles listas negras
• Proporciona enlaces útiles a otros sitios web para correlacionar con IP/ASN
• Opción para abrir TODOS los resultados en el navegador al final

Registro de cambios hasta la versión 0.2.0:

• [Corrección] Cambiado GeoIP de freegeoip a ip-api
• [Corrección/Mejora] Eliminados duplicados de robots.txt
• [Mejora] Mejores contactos de abuso whois (abuse.net)
• [Mejora] Añadida colección de contraseñas comunes a la verificación del código fuente
• [Nueva característica] Verificación de primera ejecución para instalar dependencias si es necesario
• [Nueva característica] Archivo de registro
• [Nueva característica] Verificar nombre de host en archivo de registro
• [Nueva característica] Verificar si el nombre de host está listado en Spamaus Domain Blacklist
• [Nueva característica] Ejecutar una enumeración DNS rápida con nombres de servidor comunes

Registro de cambios hasta la versión 0.1.9:

• Correo de abuso usando lynx en lugar de curl
• Corregido el análisis del nombre del servidor objetivo
• Más detallado sobre códigos HTTP y descubrimiento de directorios
• Corregida la recopilación de MD5 para IP
• Los enlaces encontrados ahora muestran URLs únicas desde un array
• [Nueva característica] Resultados de Google
• [Nueva característica] Verificación de IP de Bing para otros hosts/vhosts
• [Nueva característica] Puertos abiertos desde Shodan
• [Nueva característica] Información de VirusTotal sobre la IP
• [Nueva característica] Información de Alexa Rank sobre $TARGET_HOST

Requisitos:

Probado en Kali light mini Y OSX 10.11.3 con brew

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

Archivo de configuración:

CURL_TIMEOUT=15 #tiempo de espera en --connect-timeout
CURL_UA=Mozilla #user-agent (manténgalo simple)
INTERNAL=NO #SÍ O NO (mostrar información de red interna)
URLVOID_KEY=tu_clave_API #usando API de http://www.urlvoid.com/
FUZZ_LIMIT=10 #cuántas líneas leerá del archivo de fuzz
OPEN_TARGET_URLS=NO #abrir URLs encontradas al final del script
OPEN_EXTERNAL_LINKS=NO #abrir enlaces externos (frames) al final del script
FIRST_TIME=YES #si es la primera vez, verificar dependencias

Lista de tareas pendientes:

• Subir a github :)
• Verificar paquetes instalados
• Integración con otras APIs
• Exportar a CSV
• Integración con CipherScan

Stargazers over time