URLextractor

Raccolta di informazioni e ricognizione di siti web

Utilizzo: ./extractor http://www.hackthissite.org/

Suggerimenti:

• Colorex: metti colori all'output pip install colorex e usalo come ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract: è utilizzato dalla funzione dnsenumeration pip install tldextract

Caratteristiche:

• Informazioni IP e hosting come città e paese (usando FreegeoIP)
• Server DNS (usando dig)
• ASN, intervallo di rete, nome ISP (usando RISwhois)
• Test del bilanciatore di carico
• Whois per email di abuso (usando Spamcop)
• File PAC (Proxy Auto Configuration)
• Confronta hash con codice diff
• robots.txt (ricerca ricorsiva di elementi nascosti)
• Codice sorgente (ricerca di password e utenti)
• Link esterni (frame da altri siti web)
• Directory FUZZ (come Dirbuster e Wfuzz - usando la directory list di Dirbuster)
• API URLvoid - controlla Google Page Rank, Alexa Rank e possibili blacklist
• Fornisce link utili ad altri siti web per correlare con IP/ASN
• Opzione per aprire TUTTI i risultati nel browser alla fine

Registro delle modifiche per la versione 0.2.0:

• [Fix] Modificato GeoIP da freegeoip a ip-api
• [Fix/Miglioramento] Rimosse duplicazioni da robots.txt
• [Miglioramento] Migliori contatti whois per abuso (abuse.net)
• [Miglioramento] Aggiunta raccolta delle password più comuni al controllo del codice sorgente
• [Nuova funzionalità] Verifica al primo avvio per installare le dipendenze se necessario
• [Nuova funzionalità] File di log
• [Nuova funzionalità] Controllo dell'hostname nel file di log
• [Nuova funzionalità] Controllo se l'hostname è nella blacklist dei domini di Spamaus
• [Nuova funzionalità] Esecuzione rapida di dnsenumeration con nomi di server comuni

Registro delle modifiche per la versione 0.1.9:

• Email di abuso utilizzando lynx invece di curl
• Risolto il parsing del nome del server target
• Più dettagliato sui codici HTTP e sulla scoperta delle directory
• Raccolta MD5 per IP corretta
• I link trovati ora mostrano URL unici dall'array
• [Nuova funzionalità] Risultati Google
• [Nuova funzionalità] Controllo IP Bing per altri host/vhost
• [Nuova funzionalità] Porte aperte da Shodan
• [Nuova funzionalità] Informazioni VirusTotal sull'IP
• [Nuova funzionalità] Informazioni Alexa Rank su $TARGET_HOST

Requisiti:

Testato su Kali light mini E OSX 10.11.3 con brew

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

File di configurazione:

CURL_TIMEOUT=15 #timeout in --connect-timeout
CURL_UA=Mozilla #user-agent (keep it simple)
INTERNAL=NO #YES OR NO (show internal network info)
URLVOID_KEY=your_API_key #using API from http://www.urlvoid.com/
FUZZ_LIMIT=10 #how many lines it will read from fuzz file
OPEN_TARGET_URLS=NO #open found URLs at the end of script
OPEN_EXTERNAL_LINKS=NO #open external links (frames) at the end of script
FIRST_TIME=YES #if first time check for dependecies

Lista delle cose da fare:

• Caricato su github :)
• Controllo dei pacchetti installati
• Integrazione con altre API
• Esportazione in CSV
• Integrazione con CipherScan

Stargazers over time