AIL Framework

Framework open-source per la raccolta, il crawling, l'elaborazione e l'analisi di informazioni non strutturate.

Il framework AIL è una piattaforma open-source per raccogliere, fare crawling, elaborare e analizzare dati non strutturati dal clear web, Tor, I2P, chat, file e feed esterni.

Sviluppato originariamente presso CIRCL, AIL aiuta gli analisti a trasformare contenuti grezzi e disordinati in intelligence strutturata attraverso flussi di lavoro di estrazione, tagging, rilevamento, correlazione e investigazione.

Cos'è AIL? https://ail-project.org

AIL (Analysis of Information Leaks) è un framework open-source per la raccolta, il crawling, l'elaborazione e l'analisi di informazioni non strutturate. Supporta l'intelligence sulle minacce, l'analisi delle fughe di dati e flussi di lavoro investigativi, aiutando gli analisti a estrarre, rilevare, correlare e condividere informazioni rilevanti da un'ampia gamma di fonti.

AIL include:

• un framework Python estensibile per l'elaborazione e l'analisi di informazioni non strutturate,
• un gestore di crawler per la raccolta continua e autenticata,
• feeders per piattaforme di comunicazione e flussi esterni,
• un motore di rilevamento e retro-hunt basato su parole chiave, regex e YARA,
• capacità di ricerca, correlazione e investigazione per navigare tra i dati estratti,
• e funzionalità di esportazione/integrazione per piattaforme come MISP.

Ciclo di vita dell'intelligence AIL

AIL segue un flusso di lavoro di intelligence pratico:

1. Raccolta Ingestione continua da chat, siti web, servizi nascosti, file e feed.
2. Elaborazione Estrazione, decodifica, OCR, lettura QR/codici a barre, arricchimento e tagging.
3. Rilevamento Monitoraggio in tempo reale con parole, set, regex, typo-squatting e regole YARA.
4. Analisi Ricerca, pivot, grafici di correlazione e investigazioni.
5. Diffusione Esportazione di risultati e oggetti verso le piattaforme di condivisione dell'intelligence MISP.

Novità in AIL v6.7

AIL è ora alla v6.7 e le versioni recenti hanno ampliato significativamente le capacità di ricerca, analisi delle immagini, crawling e elaborazione dei documenti.

Tra le novità:

• Interfaccia di ricerca unificata con ordinamento per miglior corrispondenza e più recenti
• Filtro per intervallo di date e flussi di lavoro di ricerca avanzata migliorati
• Descrizioni di immagini e screenshot per un'analisi visiva più rapida e ricercabilità
• Estrazione OCR e QR estesa, compreso il supporto per casi di immagine più difficili
• Pipeline completa per l'elaborazione PDF, inclusa l'estrazione dei metadati e il supporto per la traduzione
• Supporto per il crawling I2P in aggiunta alla raccolta dal clear web e Tor
• Correlazione SSH passiva per l'analisi dell'infrastruttura e flussi di lavoro di de-anonimizzazione
• Esplorazione migliorata delle chat per piattaforme come Discord, Telegram e Matrix

Funzionalità

Raccolta

• Architettura modulare per gestire flussi di informazioni non strutturate
• Supporto per più feeder e importatori
• Feeders per fonti chat e stream come Discord, Telegram e altri fornitori
• Supporto per il crawling del clear web, darknet, servizi nascosti Tor (.onion) e I2P
• Crawling autenticato con sessioni browser, cookie e riutilizzo di archiviazione locale
• Monitoraggio continuo o su richiesta di siti web e servizi nascosti nel tempo
• Capacità di invio/importazione tramite UI

Elaborazione e arricchimento

• Indicizzazione full-text di informazioni non strutturate (chat, contenuti crawlerizzati)
• Estrazione di URL, hostname, indirizzi email e credenziali
• Rilevamento di numeri di telefono, chiavi API, IBAN, certificati e chiavi private
• Rilevamento di indirizzi Bitcoin, chiavi private e altri artefatti relativi a criptovalute
• Estrazione e decodifica di file da contenuti codificati (Base64, hex)
• Elaborazione OCR per screenshot e immagini
• Lettura di codici QR e codici a barre con rielaborazione del contenuto incorporato
• Descrizioni assistite dall'IA per immagini, screenshot e domini
• Estrazione, ingestione e traduzione di metadati PDF
• Sistema di tagging che utilizza MISP Galaxy e MISP Taxonomies

Rilevamento e monitoraggio

I tracker sono regole o pattern definiti dall'utente che rilevano, taggano e notificano automaticamente gli analisti sulle informazioni rilevanti raccolte da AIL.

Tipi di tracker supportati:

• monitoraggio di parole
• monitoraggio di set di parole
• monitoraggio regex
• regole YARA
• rilevamento di typo-squatting

Capacità di rilevamento:

• tagging e classificazione in tempo reale
• monitoraggio delle occorrenze degli oggetti
• flussi di lavoro di notifica tramite webhook o email
• editor YARA integrato

AIL supporta anche Retro Hunts, consentendo agli analisti di eseguire regole YARA appena create su dati storici per scoprire contenuti precedentemente mancati.

Ricerca, correlazione e investigazione

• Interfaccia di ricerca unificata con ordinamento per recenza e rilevanza
• Ricerca per intervallo di date e ricerca avanzata specializzata per tipi di dati selezionati
• Ricerca in chat, domini crawlerizzati, titoli, nomi di file e descrizioni generate dall'IA
• Motore di correlazione e visualizzazione a grafo per relazioni tra:
  • file decodificati e hash
  • metadati PGP
  • domini, titoli, dom-hash, favicon, nomi di cookie
  • username e account utente
  • CVE
  • chiavi SSH
  • criptovalute
  • metadati PDF
  • ...
• Flusso di lavoro di investigazione per raggruppare, arricchire e seguire i risultati degli analisti

Esportazione e integrazioni

• Invio di avvisi e condivisione verso MISP
• Esportazione di oggetti e investigazioni AIL nei formati MISP
• Esportazioni automatiche su rilevamenti e tag selezionati
• Integrazioni a supporto di flussi di lavoro collaborativi di intelligence e risposta agli incidenti

Perché AIL?

AIL è costruito per analisti che devono lavorare con dati reali e disordinati:

• testo libero,
• screenshot,
• PDF e file,
• messaggi di chat,
• payload codificati,
• contenuti raccolti da fonti web, Tor e I2P.

Invece di trattare queste fonti separatamente, AIL aiuta a trasformarle in intelligence ricercabile, correlata e fruibile.

Screenshot

Siti web, forum e servizi nascosti

Crawling con protezione login tramite cookie di sessione preregistrati

File estratti e decodificati

Motore di correlazione

Investigazione

Sistema di tagging

Esportazione MISP

Eventi e avvisi automatici

Invio tramite UI

Installazione

Per installare il framework AIL:

# Clona il repository
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive

# Installa le dipendenze su distribuzioni basate su Debian/Ubuntu
./installing_deps.sh

# Avvia AIL
cd bin
./LAUNCH.sh -l

Lo script predefinito installing_deps.sh è pensato per distribuzioni Debian e Ubuntu.

Requisiti

• Python 3.8+

Come dimensionare i requisiti hardware per AIL?

Note di installazione

Alcuni componenti opzionali richiedono una configurazione aggiuntiva, tra cui il crawler Lacus, l'indicizzatore di ricerca Meilisearch e la traduzione. Consulta la HOWTO per istruzioni di configurazione dettagliate.

Avviare AIL

cd bin
./LAUNCH.sh -l

L'interfaccia web è disponibile su:

https://localhost:7000/

Le credenziali predefinite sono memorizzate nel file DEFAULT_PASSWORD e il file viene rimosso una volta cambiata la password.

Documentazione

• Documentazione principale: doc/README.md
• Documentazione API: doc/api.md
• Guide HOWTO: HOWTO.md

Formazione

Il materiale formativo su come utilizzare ed estendere il framework AIL è disponibile su ail-project/ail-training.

Privacy e GDPR

Per informazioni sulla privacy e sugli aspetti legati al GDPR, consulta il documento AIL information leaks analysis and the GDPR in the context of collection, analysis and sharing information leaks.

Questo documento fornisce indicazioni sull'uso di AIL in un contesto legale, in particolare nell'ambito del Regolamento Generale sulla Protezione dei Dati.

Ricerca con AIL

Se utilizzi o citi AIL in un lavoro accademico, puoi citarlo come segue:

@inproceedings{mokaddem2018ail,
  title={AIL-The design and implementation of an Analysis Information Leak framework},
  author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},
  booktitle={2018 IEEE International Conference on Big Data (Big Data)},
  pages={5049--5057},
  year={2018},
  organization={IEEE}
}

Finanziamento 🇪🇺

AIL è sviluppato e mantenuto con il supporto dell'Unione Europea nell'ambito del progetto europeo HOPLITE e del progetto europeo AIPITCH.

Disclaimer

Co-finanziato dall'Unione Europea. Le opinioni espresse sono tuttavia solo quelle dell'autore/i e non riflettono necessariamente quelle dell'Unione Europea o del Centro Europeo per le Competenze in materia di Cybersecurity. Né l'Unione Europea né l'autorità finanziatrice possono essere ritenute responsabili per esse.

Licenza

Copyright (C) 2014 Jules Debra
Copyright (c) 2021 Olivier Sagit
Copyright (C) 2014-2026 CIRCL - Computer Incident Response Center Luxembourg
Copyright (c) 2014-2024 Raphaël Vinot
Copyright (c) 2014-2026 Alexandre Dulaunoy
Copyright (c) 2016-2024 Sami Mokaddem
Copyright (c) 2018-2026 Thirion Aurélien

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU Affero General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU Affero General Public License for more details.

You should have received a copy of the GNU Affero General Public License
along with this program.  If not, see <http://www.gnu.org/licenses/>.