AIL Framework

Open-Source-Framework für die Sammlung, das Crawling, die Verarbeitung und Analyse unstrukturierter Informationen.

AIL Framework ist eine Open-Source-Plattform zum Sammeln, Crawlen, Verarbeiten und Analysieren unstrukturierter Daten aus dem Clear Web, Tor, I2P, Chats, Dateien und externen Feeds.

Ursprünglich bei CIRCL entwickelt, hilft AIL Analysten, rohe, chaotische Inhalte durch Extraktion, Tagging, Erkennung, Korrelation und Untersuchungs-Workflows in strukturierte Intelligenz umzuwandeln.

Was ist AIL? https://ail-project.org

AIL (Analyse von Informationslecks) ist ein Open-Source-Framework für die Sammlung, das Crawling, die Verarbeitung und Analyse unstrukturierter Informationen. Es unterstützt Bedrohungsaufklärung, Leckanalyse und Untersuchungs-Workflows, indem es Analysten hilft, relevante Informationen aus einer Vielzahl von Quellen zu extrahieren, zu erkennen, zu korrelieren und zu teilen.

AIL umfasst:

• ein erweiterbares Python-basiertes Framework zur Verarbeitung und Analyse unstrukturierter Informationen,
• einen Crawler-Manager für kontinuierliche und authentifizierte Sammlung,
• Feeder für Kommunikationsplattformen und externe Streams,
• eine Erkennungs- und Retro-Hunt-Engine basierend auf Schlüsselwörtern, Regex und YARA,
• Such-, Korrelations- und Untersuchungsfunktionen zum Navigieren durch extrahierte Daten,
• und Export-/Integrationsfunktionen für Plattformen wie MISP.

AIL-Intelligenz-Lebenszyklus

AIL folgt einem praktischen Intelligenz-Workflow:

1. Sammlung Kontinuierliche Aufnahme aus Chats, Websites, versteckten Diensten, Dateien und Feeds.
2. Verarbeitung Extraktion, Dekodierung, OCR, QR-/Barcode-Parsing, Anreicherung und Tagging.
3. Erkennung Echtzeitverfolgung mit Wörtern, Wortmengen, Regex, Tippfehler-Squatting und YARA-Regeln.
4. Analyse Suche, Pivotieren, Korrelationsgraphen und Untersuchungen.
5. Verbreitung Export von Erkenntnissen und Objekten an MISP-Plattformen zur Aufklärungsteilung.

Neues in AIL v6.7

AIL ist jetzt bei v6.7 und aktuelle Veröffentlichungen haben die Such-, Bildanalyse-, Crawling- und Dokumentverarbeitungsfunktionen erheblich erweitert.

Highlights sind:

• Vereinheitlichte Suchoberfläche mit Best-Match- und Neueste-zuerst-Ordnung
• Datumsbereichsfilterung und verbesserte erweiterte Such-Workflows
• Bild- und Screenshot-Beschreibungen für schnellere visuelle Analyse und Durchsuchbarkeit
• Erweiterte OCR- und QR-Extraktion, einschließlich Unterstützung für schwierigere Bildfälle
• Vollständige PDF-Verarbeitungspipeline, einschließlich Metadaten-Extraktion und Übersetzungsunterstützung
• I2P-Crawling-Unterstützung zusätzlich zur Sammlung aus Clear Web und Tor
• Passive SSH-Korrelation für Infrastrukturanalyse und Deanonymisierungs-Workflows
• Verbesserte Chat-Exploration für Plattformen wie Discord, Telegram und Matrix

Funktionen

Sammlung

• Modulare Architektur zur Verarbeitung von Strömen unstrukturierter Informationen
• Unterstützung mehrerer Feeder und Importeure
• Feeder für Chat- und Stream-Quellen wie Discord, Telegram und andere Anbieter
• Crawling-Unterstützung für das Clear Web, Darknet, Tor-Versteckte Dienste (.onion) und I2P
• Authentifiziertes Crawling mit Browsersitzungen, Cookies und Wiederverwendung von lokalem Speicher
• Kontinuierliche oder bedarfsgesteuerte Überwachung von Websites und versteckten Diensten über die Zeit
• UI-Übermittlungs-/Importfunktionen

Verarbeitung und Anreicherung

• Volltext-Indexierung unstrukturierter Informationen (Chats, gecrawlte Inhalte)
• Extraktion von URLs, Hostnamen, E-Mail-Adressen und Anmeldeinformationen
• Erkennung von Telefonnummern, API-Schlüsseln, IBANs, Zertifikaten und privaten Schlüsseln
• Erkennung von Bitcoin-Adressen, privaten Schlüsseln und zugehörigen Kryptowährungs-Artefakten
• Dateiextraktion und -dekodierung aus codierten Inhalten (Base64, Hex)
• OCR-Verarbeitung für Screenshots und Bilder
• QR-Code- und Barcode-Extraktion mit erneuter Verarbeitung eingebetteter Inhalte
• KI-gestützte Beschreibungen für Bilder, Screenshots und Domains
• PDF-Metadaten-Extraktion, -Aufnahme und -Übersetzung
• Tagging-System unter Verwendung von MISP Galaxy und MISP Taxonomies

Erkennung und Verfolgung

Tracker sind benutzerdefinierte Regeln oder Muster, die automatisch relevante, von AIL gesammelte Informationen erkennen, taggen und Analysten benachrichtigen.

Unterstützte Tracker-Typen:

• Wort-Tracking
• Wortmengen-Tracking
• Regex-Tracking
• YARA-Regeln
• Tippfehler-Squatting-Erkennung

Erkennungsfähigkeiten umfassen:

• Echtzeit-Tagging und -Klassifizierung
• Verfolgung des Vorkommens von Objekten
• Webhook- oder E-Mail-Benachrichtigungs-Workflows
• Integrierter YARA-Editor

AIL unterstützt auch Retro Hunts, die es Analysten ermöglichen, neu erstellte YARA-Regeln gegen historische Daten auszuführen, um zuvor übersehene Inhalte aufzudecken.

Suche, Korrelation und Untersuchung

• Vereinheitlichte Suchoberfläche mit Sortierung nach Aktualität und Relevanz
• Suche nach Datumsbereich und spezialisierte erweiterte Suche für ausgewählte Datentypen
• Suche über Chats, gecrawlte Domains, Titel, Dateinamen und KI-generierte Beschreibungen
• Korrelations-Engine und Graph-Visualisierung für Beziehungen zwischen:
  • dekodierten Dateien und Hashes
  • PGP-Metadaten
  • Domains, Titeln, Dom-Hash, Favicons, Cookie-Namen
  • Benutzernamen und Benutzerkonten
  • CVEs
  • SSH-Schlüsseln
  • Kryptowährungen
  • PDF-Metadaten
  • ...
• Untersuchungs-Workflow zum Gruppieren, Anreichern und Verfolgen von Analysten-Erkenntnissen

Export und Integrationen

• Alarmierung und Weitergabe an MISP
• Export von AIL-Objekten und -Untersuchungen in MISP-Formate
• Automatischer Export bei ausgewählten Erkennungen und Tags
• Integrationen zur Unterstützung kollaborativer Aufklärung und Incident-Response-Workflows

Warum AIL?

AIL wurde für Analysten entwickelt, die mit chaotischen, realen Daten arbeiten müssen:

• Freitext,
• Screenshots,
• PDFs und Dateien,
• Chat-Nachrichten,
• codierte Payloads,
• Inhalte, die aus Web-, Tor- und I2P-Quellen gesammelt wurden.

Anstatt diese Quellen getrennt zu behandeln, hilft AIL, sie in durchsuchbare, korrelierte und umsetzbare Intelligenz zu verwandeln.

Screenshots

Websites, Foren und versteckte Dienste

Durch Login geschütztes Crawling mit vorab aufgezeichneten Sitzungscookies

Extrahierte und decodierte Dateien

Korrelations-Engine

Untersuchung

Tagging-System

MISP-Export

Automatische Ereignisse und Benachrichtigungen

UI-Übermittlung

Installation

Um das AIL Framework zu installieren:

# Repository klonen
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive

# Abhängigkeiten auf Debian/Ubuntu-basierten Distributionen installieren
./installing_deps.sh

# AIL starten
cd bin
./LAUNCH.sh -l

Das Standard-Skript installing_deps.sh zielt auf Debian- und Ubuntu-basierte Distributionen ab.

Anforderungen

• Python 3.8+

Wie dimensioniere ich die Hardware-Anforderungen für AIL?

Installationshinweise

Einige optionale Komponenten erfordern zusätzliche Konfiguration, darunter der Lacus-Crawler, der Meilisearch-Suchindex und die Übersetzung. Siehe HOWTO für detaillierte Einrichtungsanleitungen.

AIL starten

cd bin
./LAUNCH.sh -l

Die Weboberfläche ist erreichbar unter:

https://localhost:7000/

Die Standard-Anmeldedaten sind in der Datei DEFAULT_PASSWORD gespeichert; diese Datei wird entfernt, sobald das Passwort geändert wurde.

Dokumentation

• Hauptdokumentation: doc/README.md
• API-Dokumentation: doc/api.md
• HOWTO-Anleitungen: HOWTO.md

Schulung

Schulungsmaterial zur Nutzung und Erweiterung des AIL Frameworks ist verfügbar unter ail-project/ail-training.

Datenschutz und DSGVO

Informationen zu Datenschutz- und DSGVO-bezogenen Aspekten finden Sie im Dokument AIL information leaks analysis and the GDPR in the context of collection, analysis and sharing information leaks.

Dieses Dokument bietet eine Anleitung zur rechtmäßigen Nutzung von AIL, insbesondere im Rahmen der Datenschutz-Grundverordnung.

Forschung mit AIL

Wenn Sie AIL in akademischen Arbeiten verwenden oder zitieren, können Sie es wie folgt angeben:

@inproceedings{mokaddem2018ail,
  title={AIL-The design and implementation of an Analysis Information Leak framework},
  author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},
  booktitle={2018 IEEE International Conference on Big Data (Big Data)},
  pages={5049--5057},
  year={2018},
  organization={IEEE}
}

Finanzierung 🇪🇺

AIL wird entwickelt und gepflegt mit Unterstützung der Europäischen Union als Teil des europäischen Projekts HOPLITE und des europäischen Projekts AIPITCH.

Haftungsausschluss

Kofinanziert von der Europäischen Union. Die geäußerten Ansichten und Meinungen sind jedoch ausschließlich die der Autoren und spiegeln nicht unbedingt die der Europäischen Union oder des Europäischen Kompetenzzentrums für Cybersicherheit wider. Weder die Europäische Union noch die Bewilligungsbehörde können für sie verantwortlich gemacht werden.

Lizenz

Copyright (C) 2014 Jules Debra
Copyright (c) 2021 Olivier Sagit
Copyright (C) 2014-2026 CIRCL - Computer Incident Response Center Luxembourg
Copyright (c) 2014-2024 Raphaël Vinot
Copyright (c) 2014-2026 Alexandre Dulaunoy
Copyright (c) 2016-2024 Sami Mokaddem
Copyright (c) 2018-2026 Thirion Aurélien

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU Affero General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU Affero General Public License for more details.

You should have received a copy of the GNU Affero General Public License
along with this program.  If not, see <http://www.gnu.org/licenses/>.