Framework AIL

Framework open-source pour la collecte, le crawl, le traitement et l'analyse d'informations non structurées.

Le framework AIL est une plateforme open-source pour collecter, crawler, traiter et analyser des données non structurées provenant du web clair, de Tor, I2P, des chats, des fichiers et des flux externes.

Développé à l'origine au CIRCL, AIL aide les analystes à transformer des contenus bruts et désordonnés en renseignement structuré grâce à des workflows d'extraction, de marquage, de détection, de corrélation et d'investigation.

Qu'est-ce qu'AIL ? https://ail-project.org

AIL (Analysis of Information Leaks) est un framework open-source pour la collecte, le crawl, le traitement et l'analyse d'informations non structurées. Il prend en charge le renseignement de menace, l'analyse de fuites et les workflows d'investigation en aidant les analystes à extraire, détecter, corréler et partager des informations pertinentes provenant d'une large gamme de sources.

AIL inclut :

• un framework extensible basé sur Python pour traiter et analyser des informations non structurées,
• un gestionnaire de crawl pour une collecte continue et authentifiée,
• des feeders pour les plateformes de communication et les flux externes,
• un moteur de détection et de rétro-chasse basé sur des mots-clés, des expressions régulières et YARA,
• des capacités de recherche, de corrélation et d'investigation pour naviguer dans les données extraites,
• et des fonctionnalités d'exportation et d'intégration pour des plateformes telles que MISP.

Cycle de vie du renseignement AIL

AIL suit un workflow pratique de renseignement :

1. Collecte Ingestion continue depuis les chats, sites web, services cachés, fichiers et flux.
2. Traitement Extraction, décodage, OCR, analyse de codes QR/barcodes, enrichissement et marquage.
3. Détection Suivi en temps réel avec mots, ensembles, expressions régulières, typosquatting et règles YARA.
4. Analyse Recherche, pivotement, graphes de corrélation et investigations.
5. Diffusion Export des résultats et objets vers les plateformes de partage de renseignement MISP.

Quoi de neuf dans AIL v6.7

AIL est maintenant en v6.7 et les versions récentes ont considérablement étendu les capacités de recherche, d'analyse d'images, de crawl et de traitement de documents.

Les points forts incluent :

• Interface de recherche unifiée avec classement par meilleure correspondance et plus récent
• Filtrage par plage de dates et workflows de recherche avancée améliorés
• Descriptions d'images et de captures d'écran pour une analyse visuelle plus rapide et une meilleure recherche
• Extraction OCR et QR étendue, y compris la prise en charge de cas d'images plus difficiles
• Pipeline complet de traitement des PDF, incluant l'extraction de métadonnées et le support de traduction
• Support de crawl I2P en plus de la collecte sur le web clair et Tor
• Corrélation SSH passive pour l'analyse d'infrastructure et les workflows de désanonymisation
• Exploration améliorée des chats pour des plateformes comme Discord, Telegram et Matrix

Fonctionnalités

Collecte

• Architecture modulaire pour gérer les flux d'informations non structurées
• Support de multiples feeders et importateurs
• Feeders pour les sources de chat et de flux comme Discord, Telegram et d'autres fournisseurs
• Support de crawl pour le web clair, le darknet, les services cachés Tor (.onion) et I2P
• Crawl authentifié avec sessions navigateur, cookies et réutilisation du stockage local
• Surveillance continue ou à la demande de sites web et services cachés dans le temps
• Capacités de soumission/import via l'interface utilisateur

Traitement et enrichissement

• Indexation plein texte des informations non structurées (chats, contenus crawls)
• Extraction d'URL, noms d'hôtes, adresses e-mail et identifiants
• Détection de numéros de téléphone, clés API, IBAN, certificats et clés privées
• Détection d'adresses Bitcoin, clés privées et autres artefacts liés aux crypto-monnaies
• Extraction et décodage de fichiers à partir de contenu encodé (Base64, hex)
• Traitement OCR pour captures d'écran et images
• Extraction de codes QR et barcodes avec retraitement du contenu intégré
• Descriptions assistées par IA pour images, captures d'écran et domaines
• Extraction, ingestion et traduction de métadonnées PDF
• Système de marquage utilisant MISP Galaxy et MISP Taxonomies

Détection et suivi

Les trackers sont des règles ou motifs définis par l'utilisateur qui détectent, marquent et notifient automatiquement les analystes des informations pertinentes collectées par AIL.

Types de trackers supportés :

• suivi de mots
• suivi d'ensembles de mots
• suivi par expressions régulières
• règles YARA
• détection de typosquatting

Capacités de détection :

• marquage et classification en temps réel
• suivi d'occurrences d'objets
• notifications via webhook ou e-mail
• éditeur YARA intégré

AIL supporte également les Rétro-chasses (Retro Hunts), permettant aux analystes d'exécuter de nouvelles règles YARA sur des données historiques pour découvrir des contenus précédemment manqués.

Recherche, corrélation et investigation