AIL Framework

Open-Source-Framework für die Sammlung, das Crawling, die Verarbeitung und Analyse unstrukturierter Informationen.

AIL Framework ist eine Open-Source-Plattform zum Sammeln, Crawlen, Verarbeiten und Analysieren unstrukturierter Daten aus dem Clear Web, Tor, I2P, Chats, Dateien und externen Feeds.

Ursprünglich bei CIRCL entwickelt, hilft AIL Analysten, rohe, chaotische Inhalte durch Extraktion, Tagging, Erkennung, Korrelation und Untersuchungs-Workflows in strukturierte Intelligenz umzuwandeln.

Was ist AIL? https://ail-project.org

AIL (Analyse von Informationslecks) ist ein Open-Source-Framework für die Sammlung, das Crawling, die Verarbeitung und Analyse unstrukturierter Informationen. Es unterstützt Bedrohungsaufklärung, Leckanalyse und Untersuchungs-Workflows, indem es Analysten hilft, relevante Informationen aus einer Vielzahl von Quellen zu extrahieren, zu erkennen, zu korrelieren und zu teilen.

AIL umfasst:

• ein erweiterbares Python-basiertes Framework zur Verarbeitung und Analyse unstrukturierter Informationen,
• einen Crawler-Manager für kontinuierliche und authentifizierte Sammlung,
• Feeder für Kommunikationsplattformen und externe Streams,
• eine Erkennungs- und Retro-Hunt-Engine basierend auf Schlüsselwörtern, Regex und YARA,
• Such-, Korrelations- und Untersuchungsfunktionen zum Navigieren durch extrahierte Daten,
• und Export-/Integrationsfunktionen für Plattformen wie MISP.

AIL-Intelligenz-Lebenszyklus

AIL folgt einem praktischen Intelligenz-Workflow:

1. Sammlung Kontinuierliche Aufnahme aus Chats, Websites, versteckten Diensten, Dateien und Feeds.
2. Verarbeitung Extraktion, Dekodierung, OCR, QR-/Barcode-Parsing, Anreicherung und Tagging.
3. Erkennung Echtzeitverfolgung mit Wörtern, Wortmengen, Regex, Tippfehler-Squatting und YARA-Regeln.
4. Analyse Suche, Pivotieren, Korrelationsgraphen und Untersuchungen.
5. Verbreitung Export von Erkenntnissen und Objekten an MISP-Plattformen zur Aufklärungsteilung.

Neues in AIL v6.7

AIL ist jetzt bei v6.7 und aktuelle Veröffentlichungen haben die Such-, Bildanalyse-, Crawling- und Dokumentverarbeitungsfunktionen erheblich erweitert.

Highlights sind:

• Vereinheitlichte Suchoberfläche mit Best-Match- und Neueste-zuerst-Ordnung
• Datumsbereichsfilterung und verbesserte erweiterte Such-Workflows
• Bild- und Screenshot-Beschreibungen für schnellere visuelle Analyse und Durchsuchbarkeit
• Erweiterte OCR- und QR-Extraktion, einschließlich Unterstützung für schwierigere Bildfälle
• Vollständige PDF-Verarbeitungspipeline, einschließlich Metadaten-Extraktion und Übersetzungsunterstützung
• I2P-Crawling-Unterstützung zusätzlich zur Sammlung aus Clear Web und Tor
• Passive SSH-Korrelation für Infrastrukturanalyse und Deanonymisierungs-Workflows
• Verbesserte Chat-Exploration für Plattformen wie Discord, Telegram und Matrix

Funktionen

Sammlung

• Modulare Architektur zur Verarbeitung von Strömen unstrukturierter Informationen
• Unterstützung mehrerer Feeder und Importeure
• Feeder für Chat- und Stream-Quellen wie Discord, Telegram und andere Anbieter
• Crawling-Unterstützung für das Clear Web, Darknet, Tor-Versteckte Dienste (.onion) und I2P
• Authentifiziertes Crawling mit Browsersitzungen, Cookies und Wiederverwendung von lokalem Speicher
• Kontinuierliche oder bedarfsgesteuerte Überwachung von Websites und versteckten Diensten über die Zeit
• UI-Übermittlungs-/Importfunktionen

Verarbeitung und Anreicherung

• Volltext-Indexierung unstrukturierter Informationen (Chats, gecrawlte Inhalte)
• Extraktion von URLs, Hostnamen, E-Mail-Adressen und Anmeldeinformationen
• Erkennung von Telefonnummern, API-Schlüsseln, IBANs, Zertifikaten und privaten Schlüsseln
• Erkennung von Bitcoin-Adressen, privaten Schlüsseln und zugehörigen Kryptowährungs-Artefakten
• Dateiextraktion und -dekodierung aus codierten Inhalten (Base64, Hex)
• OCR-Verarbeitung für Screenshots und Bilder
• QR-Code- und Barcode-Extraktion mit erneuter Verarbeitung eingebetteter Inhalte
• KI-gestützte Beschreibungen für Bilder, Screenshots und Domains
• PDF-Metadaten-Extraktion, -Aufnahme und -Übersetzung
• Tagging-System unter Verwendung von MISP Galaxy und MISP Taxonomies

Erkennung und Verfolgung

Tracker sind benutzerdefinierte Regeln oder Muster, die automatisch relevante, von AIL gesammelte Informationen erkennen, taggen und Analysten benachrichtigen.

Unterstützte Tracker-Typen:

• Wort-Tracking
• Wortmengen-Tracking
• Regex-Tracking
• YARA-Regeln
• Tippfehler-Squatting-Erkennung

Erkennungsfähigkeiten umfassen:

• Echtzeit-Tagging und -Klassifizierung
• Verfolgung des Vorkommens von Objekten
• Webhook- oder E-Mail-Benachrichtigungs-Workflows
• Integrierter YARA-Editor

AIL unterstützt auch Retro Hunts, die es Analysten ermöglichen, neu erstellte YARA-Regeln gegen historische Daten auszuführen, um zuvor übersehene Inhalte aufzudecken.

Suche, Korrelation und Untersuchung