URLextractor

Coleta de informações e reconhecimento de sites

Uso: ./extractor http://www.hackthissite.org/

Dicas:

• Colorex: coloca cores na saída pip install colorex e use como ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract: é usado pela função dnsenumeration pip install tldextract

Funcionalidades:

• Informações de IP e hospedagem como cidade e país (usando FreegeoIP)
• Servidores DNS (usando dig)
• ASN, faixa de rede, nome do ISP (usando RISwhois)
• Teste de balanceamento de carga
• Whois para e-mail de abuso (usando Spamcop)
• Arquivo PAC (Proxy Auto Configuration)
• Compara hashes para diferenciar código
• robots.txt (procurando recursivamente por coisas ocultas)
• Código fonte (procurando por senhas e usuários)
• Links externos (frames de outros sites)
• FUZZ de diretório (como Dirbuster e Wfuzz - usando lista de diretórios do Dirbuster)
• API URLvoid - verifica o PageRank do Google, o rank Alexa e possíveis listas negras
• Fornece links úteis em outros sites para correlacionar com IP/ASN
• Opção de abrir TODOS os resultados no navegador ao final

Changelog para versão 0.2.0:

• [Correção] Alterado GeoIP de freegeoip para ip-api
• [Correção/Melhoria] Remove duplicatas do robots.txt
• [Melhoria] Melhores contatos de abuso whois (abuse.net)
• [Melhoria] Coleção de senhas principais adicionada à verificação de código fonte
• [Nova funcionalidade] Verificação na primeira execução para instalar dependências se necessário
• [Nova funcionalidade] Arquivo de log
• [Nova funcionalidade] Verificar hostname no arquivo de log
• [Nova funcionalidade] Verificar se o hostname está listado na lista negra de domínios Spamaus
• [Nova funcionalidade] Executar uma enumeração DNS rápida com nomes de servidores comuns

Changelog para versão 0.1.9:

• E-mail de abuso usando lynx em vez de curl
• Análise do nome do servidor alvo corrigida
• Mais detalhado sobre códigos HTTP e descoberta de diretórios
• Coleção MD5 para IP corrigida
• Links encontrados agora mostram URLs únicas do array
• [Nova funcionalidade] Resultados do Google
• [Nova funcionalidade] Verificação de IP do Bing para outros hosts/vhosts
• [Nova funcionalidade] Portas abertas do Shodan
• [Nova funcionalidade] Informações do VirusTotal sobre o IP
• [Nova funcionalidade] Informações do Alexa Rank sobre $TARGET_HOST

Requisitos:

Testado no Kali light mini E OSX 10.11.3 com brew

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

Arquivo de configuração:

CURL_TIMEOUT=15 #timeout in --connect-timeout
CURL_UA=Mozilla #user-agent (keep it simple)
INTERNAL=NO #YES OR NO (show internal network info)
URLVOID_KEY=your_API_key #using API from http://www.urlvoid.com/
FUZZ_LIMIT=10 #how many lines it will read from fuzz file
OPEN_TARGET_URLS=NO #open found URLs at the end of script
OPEN_EXTERNAL_LINKS=NO #open external links (frames) at the end of script
FIRST_TIME=YES #if first time check for dependecies

Lista de tarefas:

• Enviar para o github :)
• Verificar pacotes instalados
• Integração com outras APIs
• Exportar para CSV
• Integração com CipherScan

Stargazers over time