Cloud

Überwachung der Cloud-Landschaft

Unsere Mission mit diesem Projekt ist es, eine stets aktuelle und frei zugängliche Karte der Cloud-Landschaft für jeden großen Cloud-Dienstanbieter bereitzustellen.

Wir haben uns entschieden, mit der Erfassung von SSL-Zertifikatsdaten von AWS EC2- und GCP-Maschinen zu beginnen, angesichts des Werts dieser Daten für Sicherheitsforscher. In naher Zukunft planen wir jedoch, das Projekt zu erweitern, um weitere Daten und Anbieter einzubeziehen. Ihr Input und Ihre Vorschläge sind für uns unglaublich wertvoll. Zögern Sie daher nicht, uns auf Twitter oder Discord zu kontaktieren und uns mitzuteilen, welche Bereiche wir Ihrer Meinung nach als Nächstes priorisieren sollten!

Wie können SSL-Zertifikatsdaten Ihnen helfen?

Die SSL-Daten sind in CSV-Dateien organisiert, mit den folgenden Eigenschaften, die für jedes gefundene Zertifikat erfasst werden:

• IP-Adresse
• Allgemeiner Name
• Organisation
• Land
• Ort
• Provinz
• Subject Alternative DNS-Name
• Subject Alternative IP-Adresse
• Selbstsigniert (boolesch)

Was können Sie mit diesen Daten tun?

Subdomains Ihrer Ziel-Domains aufzählen

Suchen Sie nach den Domainnamen Ihres Ziels (z. B. example.com) und finden Sie Treffer in den Feldern Common Name und Subject Alternative Name der gesammelten Zertifikate. Alle IP-Bereiche werden täglich gescannt und der Datensatz wird entsprechend aktualisiert, sodass Sie sehr wahrscheinlich flüchtige Hosts finden, bevor sie abgeschaltet werden.

Domains Ihrer Zielunternehmen aufzählen

Suchen Sie nach dem Firmennamen Ihres Ziels (z. B. Example, Inc.), finden Sie Treffer im Feld Organization und erkunden Sie die zugehörigen Felder Common Name und Subject Alternative Name. Die Ergebnisse werden wahrscheinlich Subdomains der Ihnen bekannten Domains enthalten, und wenn Sie Glück haben, könnten Sie neue Root-Domains finden, die den Umfang erweitern.

Mögliche Sub-Subdomain-Enumeration-Ziele aufzählen

Wenn das Zertifikat für einen Wildcard (z. B. *.foo.example.com) ausgestellt ist, besteht die Möglichkeit, dass dort andere Subdomains durch Brute-Force gefunden werden können. Und Sie wissen, wie effektiv diese Technik sein kann. Hier sind einige Wordlists, die Ihnen dabei helfen!

💡 Hinweis: Denken Sie daran, den Datensatz auf tägliche Updates zu überwachen, um benachrichtigt zu werden, sobald ein neues Asset auftaucht!

IP-Nachforschungen durchführen

Suchen Sie nach einer IP-Adresse (z. B. 3.122.37.147), um die zugehörigen Hostnamen zu finden, und erkunden Sie die Felder Common Name, Subject Alternative Name und Organization, um weitere Informationen über diese Adresse zu erhalten.

Ursprungs-IP-Adressen entdecken, um Proxy-Dienste zu umgehen

Wenn eine Website hinter Sicherheitsproxy-Diensten wie Cloudflare, Akamai, Incapsula und anderen versteckt ist, ist es möglich, im Datensatz nach dem Hostnamen (z. B. example.com) zu suchen. Diese Suche kann die Ursprungs-IP-Adresse aufdecken, sodass Sie den Proxy umgehen können. Wir haben eine ähnliche Technik in unserem Blog besprochen, den Sie hier finden!

Einen aktuellen Datensatz von Live-Webservern erhalten

Jede IP-Adresse im Datensatz entspricht einem HTTPS-Server, der auf Port 443 läuft. Sie können diese Daten für groß angelegte Forschungen verwenden, ohne Zeit mit der eigenen Sammlung verbringen zu müssen.

Was auch immer Ihnen sonst noch einfällt

Wenn Sie diese Daten für ein cooles Projekt oder eine Forschung verwenden, würden wir uns freuen, davon zu hören!

Darüber hinaus finden Sie unten eine detaillierte Erklärung unseres Datenerfassungsprozesses und wie Sie dieselbe Technik implementieren können, um Informationen aus Ihren eigenen IP-Bereichen zu sammeln.

Wie es funktioniert

TB; DZ (Zu groß; nicht gezoomt):

1. Wir starten den Workflow mit 2 einfachen Bash-Skripten, die die IP-Bereiche abrufen:
   • Die IP-Bereiche von AWS werden mit einer JQ-Abfrage gefiltert. Wir extrahieren die IP-Bereiche von EC2-Maschinen, indem wir nach .prefixes[] | select(.service=="EC2") | .ip_prefix filtern. Andere Dienste werden aus diesem Workflow ausgeschlossen, da sie keine benutzerdefinierten SSL-Zertifikate unterstützen, was ihre Daten für unseren Datensatz irrelevant macht.
   • Die IP-Bereiche von GCP werden mit einer weiteren JQ-Abfrage extrahiert: .prefixes[].ipv4Prefix.
2. Dann verwenden wir mapcidr, um die in Schritt 1 erhaltenen IP-Bereiche in kleinere Bereiche aufzuteilen, die jeweils bis zu 100k Hosts enthalten (Danke an das ProjectDiscovery-Team!). Dieser Schritt wird im nächsten Schritt nützlich sein, wenn wir den parallelen Scanprozess ausführen.
3. Zum Zeitpunkt der Erstellung dieses Artikels umfassen die Cloud-IP-Bereiche über 75 Millionen IP-Adressen, weshalb das Scannen aller auf einer einzigen Maschine unpraktisch wäre. Hier kommt unser file-splitter-Knoten ins Spiel. Dieser Knoten durchläuft die Eingabe von mapcidr und löst für jeden Bereich einzelne Jobs aus. Wenn dieser Workflow auf mehreren Maschinen (sagen wir 30) ausgeführt wird, verarbeiten diese die Jobs parallel, was die Gesamtlaufzeit erheblich verkürzt. Diese Effizienz ermöglicht es uns, den Workflow täglich auszuführen und die Daten ständig aktuell zu halten.
4. Die parallelen Maschinen starten dann zgrab2-Instanzen, um die SSL-Zertifikate zu sammeln. Nach Experimenten mit verschiedenen Tools und Techniken erwies sich das tls-Modul von zgrab2 als die schnellste und zuverlässigste Option. Ein großes Lob an das Team von !

Beitrag

Alle Beiträge/Ideen/Vorschläge sind willkommen! Erstellen Sie gerne ein neues Ticket über GitHub issues, twittern Sie uns unter @trick3st oder nehmen Sie an der Unterhaltung auf Discord teil.

Erstellen Sie Ihre eigenen Workflows

Wir glauben an den Wert des Tüftelns; Standardlösungen reichen selten aus. Melden Sie sich für eine Trickest-Demo an, um diesen Workflow an Ihren Anwendungsfall anzupassen, Zugriff auf viele weitere Workflows zu erhalten oder Ihre eigenen Workflows von Grund auf zu erstellen!