hostintel

Dieses Tool wird verwendet, um verschiedene Informationsquellen für Hosts zu sammeln. Hostintel ist modular aufgebaut, sodass problemlos neue Informationsquellen hinzugefügt werden können.

Hosts werden per FQDN-Hostname, Domain oder IP-Adresse identifiziert. Dieses Tool unterstützt derzeit nur IPv4. Die Ausgabe erfolgt im CSV-Format und wird auf STDOUT ausgegeben, sodass die Daten gespeichert oder in ein anderes Programm weitergeleitet werden können. Da die Ausgabe im CSV-Format erfolgt, können Tabellenkalkulationen wie Excel oder Datenbanksysteme die Daten problemlos importieren.

Ich habe eine kurze Einführung zu diesem Tool auf YouTube erstellt: https://youtu.be/aYK0gILDA6w

Dies funktioniert mit Python v2 und Python v3. Falls Sie feststellen, dass es nicht mit Python v3 funktioniert, melden Sie bitte ein Problem.

Hilfe-Bildschirm:

$ python hostintel.py -h
usage: hostintel.py [-h] [-a] [-d] [-v] [-p] [-s] [-c] [-t] [-o] [-i] [-r]
                    ConfigurationFile InputFile

Modular application to look up host intelligence information. Outputs CSV to
STDOUT. This application will not output information until it has finished all
of the input.

positional arguments:
  ConfigurationFile     Configuration file
  InputFile             Input file, one host per line (IP, domain, or FQDN
                        host name)

optional arguments:
  -h, --help            show this help message and exit
  -a, --all             Perform All Lookups.
  -d, --dns             DNS Lookup.
  -v, --virustotal      VirusTotal Lookup.
  -p, --passivetotal    PassiveTotal Lookup.
  -s, --shodan          Shodan Lookup.
  -c, --censys          Censys Lookup.
  -t, --threatcrowd     ThreatCrowd Lookup.
  -o, --otx             OTX by AlienVault Lookup.
  -i, --isc             Internet Storm Center DShield Lookup.
  -r, --carriagereturn  Use carriage returns with new lines on csv.

Installation:

Stellen Sie zunächst sicher, dass Ihre Konfigurationsdatei für Ihren Computer/Ihre Installation korrekt ist. Fügen Sie Ihre API-Schlüssel und Benutzernamen entsprechend in der Konfigurationsdatei ein. Python und Pip werden benötigt, um dieses Tool auszuführen. Es gibt Module, die von GitHub installiert werden müssen, stellen Sie daher sicher, dass der git-Befehl über die Befehlszeile verfügbar ist. Git ist für jede Plattform einfach zu installieren. Installieren Sie als Nächstes die Python-Anforderungen (führen Sie dies auch jedes Mal aus, wenn Sie dieses Repository mit git pull aktualisieren):

$ pip install -r requirements.txt

Es gab einige Probleme mit der Standardversion von Python auf Mac OSX (http://stackoverflow.com/questions/31649390/python-requests-ssl-handshake-failure). Möglicherweise müssen Sie den Sicherheitsteil der Requests-Bibliothek mit dem folgenden Befehl installieren:

$ pip install requests[security]

Zuletzt bin ich ein Fan von virtualenv für Python. Um eine maßgeschneiderte lokale Installation von Python zum Ausführen dieses Tools zu erstellen, empfehle ich die Lektüre von: http://docs.python-guide.org/en/latest/dev/virtualenvs/

Ausführung:

$ python hostintel.py myconfigfile.conf myhosts.txt -a > myoutput.csv

Sie sollten myoutput.csv in jedes Datenbank- oder Tabellenkalkulationsprogramm importieren können.

Beachten Sie, dass dieses Skript abhängig von Ihrem Netzwerk, Ihren API-Key-Limits und den von Ihnen gesuchten Daten sehr lange laufen kann! Verwenden Sie jedes Modul sparsam! Als Gegenleistung für die lange Wartezeit ersparen Sie sich, diese Daten manuell abrufen zu müssen.

Beispieldaten:

Im Verzeichnis „sampledata“ befinden sich einige Beispieldaten. Die IPs, Domains und Hosts wurden zufällig ausgewählt und richten sich keinesfalls gegen eine Organisation oder Einzelperson. Die Ausführung dieses Tools mit den Beispieldaten funktioniert wie folgt:

Kleine Hosts-Liste:

$ python hostintel.py local/config.conf sampledata/smalllist.txt -a > sampledata/smalllist.csv
*** Processing 8.8.8.8 ***
*** Processing 8.8.4.4 ***
*** Processing 192.168.1.1 ***
*** Processing 10.0.0.1 ***
*** Processing google.com ***
*** Processing 212.227.247.242 ***
*** Writing Output ***

Größere Hosts-Liste:

$ python hostintel.py local/config.conf sampledata/largerlist.txt -a > sampledata/largerlist.csv
*** Processing 114.34.84.13 ***
*** Processing 116.102.34.212 ***
*** Processing 118.75.180.168 ***
*** Processing 123.195.184.13 ***
*** Processing 14.110.216.236 ***
*** Processing 14.173.147.69 ***
*** Processing 14.181.192.151 ***
*** Processing 146.120.11.66 ***
*** Processing 163.172.149.131 ***

...

*** Processing 54.239.26.180 ***
*** Processing 62.141.39.155 ***
*** Processing 71.6.135.131 ***
*** Processing 72.30.2.74 ***
*** Processing 74.125.34.101 ***
*** Processing 83.31.179.71 ***
*** Processing 85.25.217.155 ***
*** Processing 93.174.93.94 ***
*** Writing Output ***

Informationsquellen:

Sie erhalten API-Schlüssel auf den untenstehenden Websites für Ihre Konfigurationsdatei.

• GeoLite2 (Kein Netzwerk-I/O erforderlich)
  • http://www.maxmind.com
• DNS (Netzwerk-I/O erforderlich)
  • https://github.com/rthalley/dnspython
• VirusTotal (Öffentlicher API-Schlüssel und Netzwerk-I/O erforderlich, bei Bedarf gedrosselt)
  • http://www.virustotal.com
• PassiveTotal (API-Schlüssel, Benutzername und Netzwerk-I/O erforderlich)
  • http://www.passivetotal.com
• Shodan (API-Schlüssel und Netzwerk-I/O erforderlich)
  • http://www.shodan.io
• Censys (API-Schlüssel, Benutzername und Netzwerk-I/O erforderlich)
  • http://www.censys.io
• ThreatCrowd (Netzwerk-I/O erforderlich, bei Bedarf gedrosselt)
  • http://www.threatcrowd.org
• OTX by AlienVault (API-Schlüssel und Netzwerk-I/O erforderlich)
  • https://otx.alienvault.com
• Internet Storm Center (Netzwerk-I/O erforderlich)
  • https://isc.sans.edu

Ressourcen:

• Die GeoIP2 Python-Bibliothek
  • https://github.com/maxmind/GeoIP2-python
• Die Python DNS-Bibliothek
  • https://github.com/rthalley/dnspython
  • Grundlage der DNS-Abfragen inspiriert von http://www.iodigitalsec.com/performing-dns-queries-python/
• Die VirusTotal Python-Bibliothek
  • https://github.com/blacktop/virustotal-api
• Die Shodan Python-Bibliothek
  • http://shodan.readthedocs.io/en/latest/
  • https://github.com/achillean/shodan-python
• Die Censys Python-Bibliothek
  • https://github.com/censys/censys-python
  • https://www.censys.io/api
• Die PassiveTotal Python-Bibliothek
  • https://passivetotal.readthedocs.io/en/latest/
  • https://github.com/passivetotal/python_api
• Die ThreatCrowd Python-Bibliothek
  • https://github.com/threatcrowd/ApiV2
  • https://github.com/jheise/threatcrowd_api
• Die OTX Python-Bibliothek
  • https://github.com/AlienVault-Labs/OTX-Python-SDK
  • https://otx.alienvault.com/api/
• Die Internet Storm Center DShield Python-Bibliothek
  • https://github.com/rshipp/python-dshield
  • https://isc.sans.edu/api/

Hinweise:

Rohe Notizen sind hier verfügbar.

Lizenz:

Diese Anwendung ist unter der Creative Commons BY-SA-Lizenz lizenziert.

• https://creativecommons.org/licenses/by-sa/4.0/
• https://creativecommons.org/licenses/by-sa/4.0/legalcode

This product includes GeoLite2 data created by MaxMind, available from
<a href="http://www.maxmind.com">http://www.maxmind.com</a>.

Mitwirken:

Lesen Sie Contributing.md

To-Do:

• Versuchen, https://github.com/mlsecproject/combine zu integrieren
• Versuchen, Bedrohungsfeeds von http://www.secrepo.com/ einzubinden
• Malwr hinzufügen
• Spalte hinzufügen, die anzeigt, ob die Eingabe IPv4, Domain oder Hostname war
• https://github.com/Yelp/threat_intel ansehen