Crawlector

Crawlector (der Name Crawlector ist eine Kombination aus Crawler & Detector) ist ein Threat-Hunting-Framework, das zum Scannen von Websites auf schädliche Objekte entwickelt wurde.

Hinweis-1: Das Framework wurde erstmals auf der No Hat Konferenz in Bergamo, Italien am 22. Oktober 2022 vorgestellt (Folien, YouTube-Aufzeichnung). Außerdem wurde es zum zweiten Mal auf der AVAR Konferenz in Singapur am 2. Dezember 2022 präsentiert.

Hinweis-2: Das begleitende Tool EKFiddle2Yara (ist ein Tool, das EKFiddle-Regeln nimmt und in Yara-Regeln umwandelt), das im Vortrag erwähnt wurde, wurde ebenfalls auf beiden Konferenzen veröffentlicht.

Hinweis-3: Version 2.0 (Photoid Build:180923), ein Meilenstein-Release, wurde am 18. September 2023 veröffentlicht.

Hinweis-4: Version 2.1 (Universe-647 Build:031023) wurde am 3. Oktober 2023 veröffentlicht. Eine wichtige Neuerung ist die Slack-Benachrichtigungsfunktion.

Hinweis-5: Version 2.2 (Hallstatt Build:051123) wurde am 5. November 2023 veröffentlicht. Eine wichtige Neuerung ist die Slack-Fernsteuerungsfunktion.

Hinweis-6: Version 2.3 (München Build:241123) wurde am 24. November 2023 veröffentlicht. Eine wichtige Neuerung ist die DNS-Nameserver-Funktion.

Hinweis-6: Version 2.3.1 {Nero Build:131225} wurde am 13. Dezember 2025 veröffentlicht. Dies ist ein Wartungs-Release.

Funktionen

• Unterstützt das Spidern von Websites, um zusätzliche Links zum Scannen zu finden (nur bis zu 2 Ebenen)
• Integriert Yara als Backend-Engine für den Regel-Scan
• Unterstützt Online- und Offline-Scanning
• Unterstützt das Crawlen nach digitalen Zertifikaten von Domains/Websites
• Unterstützt das Abfragen von URLhaus, um bösartige URLs auf der Seite zu finden
• Deep Object Extraction (DOE)
• Slack-Benachrichtigungen
• Parametrisierte Unterstützung für HTTP-Weiterleitungen
• Abrufen von Whois-Informationen
• Unterstützt das Hashing des Seiteninhalts mit TLSH (Trend Micro Locality Sensitive Hash) und anderen standardmäßigen kryptografischen Hash-Funktionen wie md5, sha1, sha256 und ripemd128, unter anderem
  • TLSH liefert keinen Wert zurück, wenn die Seitengröße kleiner als 50 Bytes ist oder wenn nicht genügend Zufälligkeit in den Daten vorhanden ist
• Unterstützt das Abfragen der Bewertung und Kategorie jeder URL
• Unterstützt die Erweiterung einer bestimmten Website, indem versucht wird, alle verfügbaren TLDs und/oder Subdomains für dieselbe Domain zu finden
  • Diese Funktion verwendet die Omnisint Labs API (diese Website ist seit dem 10. März 2023 nicht mehr erreichbar) und die RapidAPI-APIs
  • Die TLD-Erweiterungsimplementierung ist nativ
  • Diese Funktion bietet zusammen mit der Bewertung und Kategorisierung die Möglichkeit, Betrugs-/Phishing-/Schad-Domains für die ursprüngliche Domain zu finden
• Unterstützt die Domain-Auflösung (IPv4 und IPv6)
• Speichert gescannte Webseiten für spätere Scans (kann als ZIP-komprimiert gespeichert werden)
• Die gesamten Einstellungen des Frameworks werden über eine einzige anpassbare Konfigurationsdatei gesteuert
• Alle Scan-Sitzungen werden in einer gut strukturierten CSV-Datei mit einer Fülle von Informationen über die gescannte Website sowie Informationen über die ausgelösten Yara-Regeln gespeichert
• Viele weitere Funktionen...
• Alle HTTP(S)-Kommunikationen sind Proxy-bewusst
• Eine ausführbare Datei
• Geschrieben in C++

URLHaus-Scanning & API-Integration

Dies dient der Überprüfung auf bösartige URLs für jede gescannte Seite. Das Framework kann entweder die Liste der bösartigen URLs vom URLHaus-Server abfragen (Konfiguration: url_list_web) oder aus einer Datei auf der Festplatte (Konfiguration: url_list_file). Wenn Letzteres angegeben ist, hat es Vorrang vor Ersterem.

Es funktioniert, indem der Inhalt jeder Seite gegen alle URL-Einträge in url_list_web oder url_list_file durchsucht wird, um alle Vorkommen zu überprüfen. Wenn eine Übereinstimmung gefunden wird und die Konfigurationsoption check_url_api auf true gesetzt ist, sendet Crawlector eine POST-Anfrage an die in der url_api-Konfigurationsoption festgelegte API-URL, die ein JSON-Objekt mit zusätzlichen Informationen über eine übereinstimmende URL zurückgibt. Solche Informationen umfassen urlh_status (z. B. online, offline, unbekannt), urlh_threat (z. B. malware_download), urlh_tags (z. B. elf, Mozi) und urlh_reference (z. B. https://urlhaus.abuse.ch/url/1116455/). Diese Informationen werden in der Logdatei cl_mlog_<aktuelles_Datum><aktuelle_Zeit><(vormittags|nachmittags)>.csv (siehe unten) aufgenommen, jedoch nur, wenn check_url_api auf true gesetzt ist. Andernfalls enthält die Logdatei die Spalten urlh_url (Liste der übereinstimmenden bösartigen URLs) und urlh_hit (Anzahl der Vorkommen für jede übereinstimmende bösartige URL), abhängig davon, ob check_url auf true gesetzt ist.

Die URLHaus-Funktion kann vollständig deaktiviert werden, indem die Konfigurationsoption check_url auf false gesetzt wird.

Es ist wichtig zu beachten, dass diese Funktion das Scannen verlangsamen kann, angesichts der riesigen Anzahl von bösartigen URLs (~ 130 Millionen Einträge zum Zeitpunkt dieses Schreibens), die überprüft werden müssen, und der Zeit, die benötigt wird, um zusätzliche Informationen vom URLHaus-Server zu erhalten (wenn die Option check_url_api auf true gesetzt ist).

Dateien- und Ordnerstrukturen