Framework open-source para coleta, rastreamento, processamento e análise de informações não estruturadas.
AIL framework é uma plataforma open-source para coletar, rastrear, processar e analisar dados não estruturados da web clara, Tor, I2P, chats, arquivos e feeds externos.
Originalmente desenvolvido no CIRCL, o AIL ajuda analistas a transformar conteúdo bruto e confuso em inteligência estruturada por meio de workflows de extração, marcação, detecção, correlação e investigação.
AIL (Analysis of Information Leaks) é um framework open-source para coleta, rastreamento, processamento e análise de informações não estruturadas. Ele oferece suporte a inteligência de ameaças, análise de vazamentos e workflows investigativos, ajudando analistas a extrair, detectar, correlacionar e compartilhar informações relevantes de uma ampla variedade de fontes.
AIL inclui:
um framework extensível baseado em Python para processar e analisar informações não estruturadas,
um gerenciador de crawlers para coleta contínua e autenticada,
feeders para plataformas de comunicação e streams externos,
um mecanismo de detecção e retro-hunt baseado em palavras-chave, regex e YARA,
capacidades de busca, correlação e investigação para pivotar entre dados extraídos,
e recursos de exportação/integração para plataformas como MISP.
Ciclo de vida de inteligência do AIL
O AIL segue um workflow prático de inteligência:
Coleta
Ingestão contínua de chats, sites, serviços ocultos, arquivos e feeds.
Processamento
Extração, decodificação, OCR, análise de QR/código de barras, enriquecimento e marcação.
Detecção
Rastreamento em tempo real com palavras, conjuntos, regex, typosquatting e regras YARA.
Análise
Busca, pivoteamento, gráficos de correlação e investigações.
Disseminação
Exportação de descobertas e objetos para plataformas de compartilhamento de inteligência MISP.
Novidades na AIL v6.7
A AIL está agora na v6.7 e os lançamentos recentes expandiram significativamente as capacidades de busca, análise de imagens, rastreamento e processamento de documentos.
Destaques incluem:
Interface de busca unificada com ordem de melhor correspondência e mais recente
Filtro por intervalo de datas e workflows de busca avançada melhorados
Descrições de imagens e capturas de tela para análise visual mais rápida e pesquisabilidade
Extração expandida de OCR e QR, incluindo suporte para casos de imagem mais difíceis
Pipeline completo de processamento de PDF, incluindo extração de metadados e suporte a tradução
Suporte a rastreamento I2P além da coleta na web clara e Tor
Correlação SSH passiva para análise de infraestrutura e workflows de desanonimização
Exploração de chat melhorada para plataformas como Discord, Telegram e Matrix
Funcionalidades
Coleta
Arquitetura modular para lidar com streams de informações não estruturadas
Suporte a múltiplos feeders e importadores
Feeders para fontes de chat e stream como Discord, Telegram e outros provedores
Suporte a rastreamento para web clara, darknet, serviços ocultos Tor (.onion) e I2P
Rastreamento autenticado com sessões de navegador, cookies e reutilização de armazenamento local
Monitoramento contínuo ou sob demanda de sites e serviços ocultos ao longo do tempo
Capacidades de submissão/importação pela interface de usuário
Processamento e enriquecimento
Indexação de texto completo de informações não estruturadas (chats, conteúdos rastreados)
Extração de URLs, nomes de host, endereços de e-mail e credenciais
Detecção de números de telefone, chaves de API, IBANs, certificados e chaves privadas
Detecção de endereços Bitcoin, chaves privadas e artefatos de criptomoedas relacionados
Extração e decodificação de arquivos de conteúdo codificado (Base64, hex)
Processamento OCR para capturas de tela e imagens
Extração de código QR e código de barras com reprocessamento de conteúdo incorporado
Descrições assistidas por IA para imagens, capturas de tela e domínios
Trackers são regras ou padrões definidos pelo usuário que detectam, marcam e notificam automaticamente os analistas sobre informações relevantes coletadas pelo AIL.
Tipos de tracker suportados:
rastreamento por palavra
rastreamento por conjunto de palavras
rastreamento por regex
regras YARA
detecção de typosquatting
Capacidades de detecção incluem:
marcação e classificação em tempo real
rastreamento de ocorrência de objetos
workflows de notificação por webhook ou e-mail
editor YARA integrado
A AIL também suporta Retro Hunts, permitindo que analistas executem regras YARA recém-criadas contra dados históricos para descobrir conteúdo anteriormente perdido.
Busca, correlação e investigação
Interface de busca unificada com ordenação por relevância e recenticidade
Busca por intervalo de datas e busca avançada especializada para tipos de dados selecionados
Busca em chats, domínios rastreados, títulos, nomes de arquivos e descrições geradas por IA
Mecanismo de correlação e visualização de gráficos para relações entre:
arquivos decodificados e hashes
metadados PGP
domínios, títulos, dom-hash, favicons, nomes de cookies
nomes de usuário e contas de usuário
CVEs
chaves SSH
criptomoedas
metadados PDF
...
Workflow de investigação para agrupar, enriquecer e acompanhar descobertas do analista
Exportação de objetos do AIL e investigações para formatos MISP
Exportações automáticas em detecções e tags selecionadas
Integrações que suportam inteligência colaborativa e workflows de resposta a incidentes
Por que o AIL?
A AIL é construída para analistas que precisam trabalhar com dados confusos do mundo real:
texto livre,
capturas de tela,
PDFs e arquivos,
mensagens de chat,
payloads codificados,
conteúdo coletado de fontes web, Tor e I2P.
Em vez de tratar essas fontes separadamente, a AIL ajuda a transformá-las em inteligência pesquisável, correlacionada e acionável.
Capturas de tela
Sites, fóruns e serviços ocultos
Rastreamento protegido por login com cookies de sessão pré-gravados
Arquivos extraídos e decodificados
Mecanismo de correlação
Investigação
Sistema de marcação
Exportação MISP
Eventos e alertas automáticos
Submissão pela interface
Instalação
Para instalar o framework AIL:
root@kitploit:~
# Clone o repositório
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive
# Instale as dependências em distribuições baseadas em Debian/Ubuntu
./installing_deps.sh
# Inicie o AIL
cd bin
./LAUNCH.sh -l
O script padrão installing_deps.sh é direcionado a distribuições baseadas em Debian e Ubuntu.
Alguns componentes opcionais exigem configuração adicional, incluindo o crawler Lacus, o indexador de busca Meilisearch e a tradução. Consulte o HOWTO para instruções detalhadas de configuração.
Iniciando o AIL
root@kitploit:~
cd bin
./LAUNCH.sh -l
A interface web está disponível em:
root@kitploit:~
https://localhost:7000/
As credenciais padrão são armazenadas no arquivo DEFAULT_PASSWORD e o arquivo é removido assim que a senha é alterada.
Este documento fornece orientações sobre o uso do AIL em um contexto legal, especialmente dentro do escopo do Regulamento Geral de Proteção de Dados.
Pesquisa usando o AIL
Se você usar ou referenciar o AIL em trabalhos acadêmicos, pode citá-lo da seguinte forma:
root@kitploit:~
@inproceedings{mokaddem2018ail,
title={AIL-The design and implementation of an Analysis Information Leak framework},
author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},
booktitle={2018 IEEE International Conference on Big Data (Big Data)},
pages={5049--5057},
year={2018},
organization={IEEE}
}
Financiamento 🇪🇺
O AIL é desenvolvido e mantido com o apoio da União Europeia como parte do Projeto Europeu HOPLITE e parte do projeto europeu AIPITCH.
Aviso Legal
Cofinanciado pela União Europeia. No entanto, as opiniões e pontos de vista expressos são apenas dos autores e não refletem necessariamente os da União Europeia ou do Centro Europeu de Competências em Cibersegurança. Nem a União Europeia nem a autoridade concedente podem ser responsabilizadas por eles.
Licença
root@kitploit:~
Copyright (C) 2014 Jules Debra
Copyright (c) 2021 Olivier Sagit
Copyright (C) 2014-2026 CIRCL - Computer Incident Response Center Luxembourg
Copyright (c) 2014-2024 Raphaël Vinot
Copyright (c) 2014-2026 Alexandre Dulaunoy
Copyright (c) 2016-2024 Sami Mokaddem
Copyright (c) 2018-2026 Thirion Aurélien
This program is free software: you can redistribute it and/or modify
it under the terms of the GNU Affero General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU Affero General Public License for more details.
You should have received a copy of the GNU Affero General Public License
along with this program. If not, see <http://www.gnu.org/licenses/>.