AIL Framework

Framework open-source per la raccolta, il crawling, l'elaborazione e l'analisi di informazioni non strutturate.

Il framework AIL è una piattaforma open-source per raccogliere, fare crawling, elaborare e analizzare dati non strutturati dal clear web, Tor, I2P, chat, file e feed esterni.

Sviluppato originariamente presso CIRCL, AIL aiuta gli analisti a trasformare contenuti grezzi e disordinati in intelligence strutturata attraverso flussi di lavoro di estrazione, tagging, rilevamento, correlazione e investigazione.

Cos'è AIL? https://ail-project.org

AIL (Analysis of Information Leaks) è un framework open-source per la raccolta, il crawling, l'elaborazione e l'analisi di informazioni non strutturate. Supporta l'intelligence sulle minacce, l'analisi delle fughe di dati e flussi di lavoro investigativi, aiutando gli analisti a estrarre, rilevare, correlare e condividere informazioni rilevanti da un'ampia gamma di fonti.

AIL include:

• un framework Python estensibile per l'elaborazione e l'analisi di informazioni non strutturate,
• un gestore di crawler per la raccolta continua e autenticata,
• feeders per piattaforme di comunicazione e flussi esterni,
• un motore di rilevamento e retro-hunt basato su parole chiave, regex e YARA,
• capacità di ricerca, correlazione e investigazione per navigare tra i dati estratti,
• e funzionalità di esportazione/integrazione per piattaforme come MISP.

Ciclo di vita dell'intelligence AIL

AIL segue un flusso di lavoro di intelligence pratico:

1. Raccolta Ingestione continua da chat, siti web, servizi nascosti, file e feed.
2. Elaborazione Estrazione, decodifica, OCR, lettura QR/codici a barre, arricchimento e tagging.
3. Rilevamento Monitoraggio in tempo reale con parole, set, regex, typo-squatting e regole YARA.
4. Analisi Ricerca, pivot, grafici di correlazione e investigazioni.
5. Diffusione Esportazione di risultati e oggetti verso le piattaforme di condivisione dell'intelligence MISP.

Novità in AIL v6.7

AIL è ora alla v6.7 e le versioni recenti hanno ampliato significativamente le capacità di ricerca, analisi delle immagini, crawling e elaborazione dei documenti.

Tra le novità:

• Interfaccia di ricerca unificata con ordinamento per miglior corrispondenza e più recenti
• Filtro per intervallo di date e flussi di lavoro di ricerca avanzata migliorati
• Descrizioni di immagini e screenshot per un'analisi visiva più rapida e ricercabilità
• Estrazione OCR e QR estesa, compreso il supporto per casi di immagine più difficili
• Pipeline completa per l'elaborazione PDF, inclusa l'estrazione dei metadati e il supporto per la traduzione
• Supporto per il crawling I2P in aggiunta alla raccolta dal clear web e Tor
• Correlazione SSH passiva per l'analisi dell'infrastruttura e flussi di lavoro di de-anonimizzazione
• Esplorazione migliorata delle chat per piattaforme come Discord, Telegram e Matrix

Funzionalità

Raccolta

• Architettura modulare per gestire flussi di informazioni non strutturate
• Supporto per più feeder e importatori
• Feeders per fonti chat e stream come Discord, Telegram e altri fornitori
• Supporto per il crawling del clear web, darknet, servizi nascosti Tor (.onion) e I2P
• Crawling autenticato con sessioni browser, cookie e riutilizzo di archiviazione locale
• Monitoraggio continuo o su richiesta di siti web e servizi nascosti nel tempo
• Capacità di invio/importazione tramite UI

Elaborazione e arricchimento

• Indicizzazione full-text di informazioni non strutturate (chat, contenuti crawlerizzati)
• Estrazione di URL, hostname, indirizzi email e credenziali
• Rilevamento di numeri di telefono, chiavi API, IBAN, certificati e chiavi private
• Rilevamento di indirizzi Bitcoin, chiavi private e altri artefatti relativi a criptovalute
• Estrazione e decodifica di file da contenuti codificati (Base64, hex)
• Elaborazione OCR per screenshot e immagini
• Lettura di codici QR e codici a barre con rielaborazione del contenuto incorporato
• Descrizioni assistite dall'IA per immagini, screenshot e domini
• Estrazione, ingestione e traduzione di metadati PDF
• Sistema di tagging che utilizza MISP Galaxy e MISP Taxonomies

Rilevamento e monitoraggio

I tracker sono regole o pattern definiti dall'utente che rilevano, taggano e notificano automaticamente gli analisti sulle informazioni rilevanti raccolte da AIL.

Tipi di tracker supportati:

• monitoraggio di parole
• monitoraggio di set di parole
• monitoraggio regex
• regole YARA
• rilevamento di typo-squatting

Capacità di rilevamento:

• tagging e classificazione in tempo reale
• monitoraggio delle occorrenze degli oggetti
• flussi di lavoro di notifica tramite webhook o email
• editor YARA integrato

AIL supporta anche Retro Hunts, consentendo agli analisti di eseguire regole YARA appena create su dati storici per scoprire contenuti precedentemente mancati.

Ricerca, correlazione e investigazione