AIL Framework
Framework open-source para coleta, rastreamento, processamento e análise de informações não estruturadas.
AIL framework é uma plataforma open-source para coletar, rastrear, processar e analisar dados não estruturados da web clara, Tor, I2P, chats, arquivos e feeds externos.
Originalmente desenvolvido no CIRCL, o AIL ajuda analistas a transformar conteúdo bruto e confuso em inteligência estruturada por meio de workflows de extração, marcação, detecção, correlação e investigação.
AIL (Analysis of Information Leaks) é um framework open-source para coleta, rastreamento, processamento e análise de informações não estruturadas. Ele oferece suporte a inteligência de ameaças, análise de vazamentos e workflows investigativos, ajudando analistas a extrair, detectar, correlacionar e compartilhar informações relevantes de uma ampla variedade de fontes.
AIL inclui:
- um framework extensível baseado em Python para processar e analisar informações não estruturadas,
- um gerenciador de crawlers para coleta contínua e autenticada,
- feeders para plataformas de comunicação e streams externos,
- um mecanismo de detecção e retro-hunt baseado em palavras-chave, regex e YARA,
- capacidades de busca, correlação e investigação para pivotar entre dados extraídos,
- e recursos de exportação/integração para plataformas como MISP.
Ciclo de vida de inteligência do AIL
O AIL segue um workflow prático de inteligência:
- Coleta
Ingestão contínua de chats, sites, serviços ocultos, arquivos e feeds.
- Processamento
Extração, decodificação, OCR, análise de QR/código de barras, enriquecimento e marcação.
- Detecção
Rastreamento em tempo real com palavras, conjuntos, regex, typosquatting e regras YARA.
- Análise
Busca, pivoteamento, gráficos de correlação e investigações.
- Disseminação
Exportação de descobertas e objetos para plataformas de compartilhamento de inteligência MISP.
Novidades na AIL v6.7
A AIL está agora na v6.7 e os lançamentos recentes expandiram significativamente as capacidades de busca, análise de imagens, rastreamento e processamento de documentos.
Destaques incluem:
- Interface de busca unificada com ordem de melhor correspondência e mais recente
- Filtro por intervalo de datas e workflows de busca avançada melhorados
- Descrições de imagens e capturas de tela para análise visual mais rápida e pesquisabilidade
- Extração expandida de OCR e QR, incluindo suporte para casos de imagem mais difíceis
- Pipeline completo de processamento de PDF, incluindo extração de metadados e suporte a tradução
- Suporte a rastreamento I2P além da coleta na web clara e Tor
- Correlação SSH passiva para análise de infraestrutura e workflows de desanonimização
- Exploração de chat melhorada para plataformas como Discord, Telegram e Matrix
Funcionalidades
Coleta
- Arquitetura modular para lidar com streams de informações não estruturadas
- Suporte a múltiplos feeders e importadores
- Feeders para fontes de chat e stream como Discord, Telegram e outros provedores
- Suporte a rastreamento para web clara, darknet, serviços ocultos Tor (.onion) e I2P
- Rastreamento autenticado com sessões de navegador, cookies e reutilização de armazenamento local
- Monitoramento contínuo ou sob demanda de sites e serviços ocultos ao longo do tempo
- Capacidades de submissão/importação pela interface de usuário
Processamento e enriquecimento
- Indexação de texto completo de informações não estruturadas (chats, conteúdos rastreados)
- Extração de URLs, nomes de host, endereços de e-mail e credenciais
- Detecção de números de telefone, chaves de API, IBANs, certificados e chaves privadas
- Detecção de endereços Bitcoin, chaves privadas e artefatos de criptomoedas relacionados
- Extração e decodificação de arquivos de conteúdo codificado (Base64, hex)
- Processamento OCR para capturas de tela e imagens
- Extração de código QR e código de barras com reprocessamento de conteúdo incorporado
- Descrições assistidas por IA para imagens, capturas de tela e domínios
- Extração, ingestão e tradução de metadados de PDF
- Sistema de marcação usando MISP Galaxy e MISP Taxonomias
Detecção e rastreamento
Trackers são regras ou padrões definidos pelo usuário que detectam, marcam e notificam automaticamente os analistas sobre informações relevantes coletadas pelo AIL.
Tipos de tracker suportados:
- rastreamento por palavra
- rastreamento por conjunto de palavras
- rastreamento por regex
- regras YARA
- detecção de typosquatting
Capacidades de detecção incluem:
- marcação e classificação em tempo real
- rastreamento de ocorrência de objetos
- workflows de notificação por webhook ou e-mail
- editor YARA integrado
A AIL também suporta Retro Hunts, permitindo que analistas executem regras YARA recém-criadas contra dados históricos para descobrir conteúdo anteriormente perdido.
Busca, correlação e investigação
circl/ail-framework