URLextractor

Collecte d'informations et reconnaissance de sites web

Utilisation : ./extractor http://www.hackthissite.org/

Astuces :

• Colorex : ajoute des couleurs à la sortie pip install colorex et utilisez-le comme ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract : utilisé par la fonction dnsenumeration pip install tldextract

Fonctionnalités :

• Informations IP et d'hébergement comme la ville et le pays (en utilisant FreegeoIP)
• Serveurs DNS (en utilisant dig)
• ASN, plage réseau, nom du FAI (en utilisant RISwhois)
• Test d'équilibreur de charge
• Whois pour email d'abus (en utilisant Spamcop)
• Fichier PAC (Proxy Auto Configuration)
• Compare les hachages pour différencier le code
• robots.txt (recherche récursive d'éléments cachés)
• Code source (recherche de mots de passe et d'utilisateurs)
• Liens externes (cadres d'autres sites web)
• FUZZ de répertoires (comme Dirbuster et Wfuzz - en utilisant la liste de répertoires de Dirbuster)
• API URLvoid - vérifie le PageRank Google, le classement Alexa et les éventuelles listes noires
• Fournit des liens utiles vers d'autres sites web pour corréler avec l'IP/ASN
• Option d'ouvrir TOUS les résultats dans le navigateur à la fin

Journal des modifications pour la version 0.2.0 :

• [Fix] Changement de GeoIP de freegeoip vers ip-api
• [Fix/Amélioration] Suppression des doublons de robots.txt
• [Amélioration] Meilleurs contacts d'abus whois (abuse.net)
• [Amélioration] Ajout de la collection des mots de passe courants à la vérification du code source
• [Nouvelle fonctionnalité] Vérification lors de la première exécution pour installer les dépendances si nécessaire
• [Nouvelle fonctionnalité] Fichier journal
• [Nouvelle fonctionnalité] Vérification du nom d'hôte dans le fichier journal
• [Nouvelle fonctionnalité] Vérification si le nom d'hôte est listé sur la liste noire Spamhaus Domain
• [Nouvelle fonctionnalité] Exécution d'une dnsenumeration rapide avec des noms de serveurs courants

Journal des modifications pour la version 0.1.9 :

• Email d'abus utilisant lynx au lieu de curl
• Analyse du nom du serveur cible corrigée
• Plus verbeux sur les codes HTTP et la découverte de répertoires
• Collecte MD5 pour l'IP corrigée
• Les liens trouvés affichent désormais les URLs uniques depuis le tableau
• [Nouvelle fonctionnalité] Résultats Google
• [Nouvelle fonctionnalité] Vérification IP Bing pour d'autres hôtes/virtualhosts
• [Nouvelle fonctionnalité] Ports ouverts depuis Shodan
• [Nouvelle fonctionnalité] Informations VirusTotal sur l'IP
• [Nouvelle fonctionnalité] Informations sur le classement Alexa de $TARGET_HOST

Prérequis :

Testé sur Kali light mini ET OSX 10.11.3 avec brew

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

Fichier de configuration :

CURL_TIMEOUT=15 #timeout in --connect-timeout
CURL_UA=Mozilla #user-agent (keep it simple)
INTERNAL=NO #YES OR NO (show internal network info)
URLVOID_KEY=your_API_key #using API from http://www.urlvoid.com/
FUZZ_LIMIT=10 #how many lines it will read from fuzz file
OPEN_TARGET_URLS=NO #open found URLs at the end of script
OPEN_EXTERNAL_LINKS=NO #open external links (frames) at the end of script
FIRST_TIME=YES #if first time check for dependecies

Liste des tâches :

• Télécharger sur GitHub :)
• Vérifier les paquets installés
• Intégration avec d'autres API
• Export en CSV
• Intégration avec CipherScan

Évolution des étoiles