URLextractor

Informationssammlung und Website-Erkundung

Verwendung: ./extractor http://www.hackthissite.org/

Tipps:

• Colorex: Farben zur Ausgabe hinzufügen pip install colorex und verwenden wie ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract: wird von der dnsenumeration-Funktion verwendet pip install tldextract

Funktionen:

• IP- und Hosting-Informationen wie Stadt und Land (mittels FreegeoIP)
• DNS-Server (mittels dig)
• ASN, Netzwerkbereich, ISP-Name (mittels RISwhois)
• Lastverteilungstest
• Whois für Missbrauchs-E-Mail (mittels Spamcop)
• PAC-Datei (Proxy Auto Configuration)
• Vergleicht Hashes, um Code zu differenzieren
• robots.txt (rekursiv nach versteckten Inhalten suchen)
• Quellcode (nach Passwörtern und Benutzern suchen)
• Externe Links (Frames von anderen Websites)
• Directory FUZZ (wie Dirbuster und Wfuzz - verwendet die Dirbuster-Verzeichnisliste)
• URLvoid API - überprüft Google Page Rank, Alexa Rank und mögliche Blacklists
• Stellt nützliche Links zu anderen Websites bereit, um mit IP/ASN zu korrelieren
• Option, am Ende ALLE Ergebnisse im Browser zu öffnen

Änderungsprotokoll zu Version 0.2.0:

• [Fix] GeoIP von freegeoip auf ip-api geändert
• [Fix/Verbesserung] Duplikate aus robots.txt entfernt
• [Verbesserung] Bessere Whois-Missbrauchskontakte (abuse.net)
• [Verbesserung] Sammlung gängiger Passwörter zur Quellcode-Prüfung hinzugefügt
• [Neue Funktion] Erstmalige Ausführung zur Überprüfung und Installation von Abhängigkeiten
• [Neue Funktion] Log-Datei
• [Neue Funktion] Prüfung auf Hostnamen in der Log-Datei
• [Neue Funktion] Prüfung, ob Hostname auf der Spamaus Domain Blacklist steht
• [Neue Funktion] Schnelle DNS-Enumeration mit gängigen Servernamen durchführen

Änderungsprotokoll zu Version 0.1.9:

• Missbrauchs-E-Mail verwendet lynx anstelle von curl
• Fehler beim Parsen des Zielservernamens behoben
• Ausführlichere Informationen zu HTTP-Codes und Verzeichniserkennung
• MD5-Sammlung für IP behoben
• Gefundene Links zeigen nun eindeutige URLs aus dem Array
• [Neue Funktion] Google-Ergebnisse
• [Neue Funktion] Bing-IP-Prüfung auf andere Hosts/vhosts
• [Neue Funktion] Geöffnete Ports von Shodan
• [Neue Funktion] VirusTotal-Informationen über IP
• [Neue Funktion] Alexa Rank-Informationen über $TARGET_HOST

Anforderungen:

Getestet auf Kali light mini UND OSX 10.11.3 mit brew

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

Konfigurationsdatei:

CURL_TIMEOUT=15 #timeout in --connect-timeout
CURL_UA=Mozilla #user-agent (keep it simple)
INTERNAL=NO #YES OR NO (show internal network info)
URLVOID_KEY=your_API_key #using API from http://www.urlvoid.com/
FUZZ_LIMIT=10 #how many lines it will read from fuzz file
OPEN_TARGET_URLS=NO #open found URLs at the end of script
OPEN_EXTERNAL_LINKS=NO #open external links (frames) at the end of script
FIRST_TIME=YES #if first time check for dependecies

TODO-Liste:

• Auf GitHub hochladen :)
• Auf installierte Pakete prüfen
• Integration mit anderen APIs
• Export nach CSV
• Integration mit CipherScan

Stargazers im Zeitverlauf