AIL Framework
Marco de trabajo de código abierto para la recolección, rastreo, procesamiento y análisis de información no estructurada.
AIL framework es una plataforma de código abierto para recolectar, rastrear, procesar y analizar datos no estructurados procedentes de la web clara, Tor, I2P, chats, archivos y fuentes externas.
Desarrollado originalmente en CIRCL, AIL ayuda a los analistas a transformar contenido bruto y desordenado en inteligencia estructurada mediante flujos de trabajo de extracción, etiquetado, detección, correlación e investigación.
AIL (Análisis de Filtraciones de Información) es un marco de trabajo de código abierto para la recolección, rastreo, procesamiento y análisis de información no estructurada. Apoya la inteligencia de amenazas, el análisis de filtraciones y los flujos de trabajo de investigación ayudando a los analistas a extraer, detectar, correlacionar y compartir información relevante de una amplia variedad de fuentes.
AIL incluye:
- un marco extensible basado en Python para procesar y analizar información no estructurada,
- un gestor de rastreadores para recolección continua y autenticada,
- alimentadores para plataformas de comunicación y flujos externos,
- un motor de detección y retro-búsqueda basado en palabras clave, expresiones regulares y YARA,
- capacidades de búsqueda, correlación e investigación para pivotar entre los datos extraídos,
- y funciones de exportación/integración para plataformas como MISP.
Ciclo de vida de la inteligencia en AIL
AIL sigue un flujo de trabajo de inteligencia práctico:
- Recolección
Ingesta continua desde chats, sitios web, servicios ocultos, archivos y fuentes.
- Procesamiento
Extracción, decodificación, OCR, análisis de códigos QR/códigos de barras, enriquecimiento y etiquetado.
- Detección
Seguimiento en tiempo real con palabras, conjuntos, expresiones regulares, detección de suplantación tipográfica y reglas YARA.
- Análisis
Búsqueda, pivotaje, gráficos de correlación e investigaciones.
- Difusión
Exportación de hallazgos y objetos a plataformas de intercambio de inteligencia MISP.
Novedades en AIL v6.7
AIL está ahora en v6.7 y las versiones recientes han ampliado significativamente las capacidades de búsqueda, análisis de imágenes, rastreo y procesamiento de documentos.
Los aspectos más destacados incluyen:
- Interfaz de búsqueda unificada con ordenación por mejor coincidencia y más recientes
- Filtrado por rango de fechas y flujos de búsqueda avanzada mejorados
- Descripciones de imágenes y capturas de pantalla para un análisis visual más rápido y capacidad de búsqueda
- Extracción ampliada de OCR y códigos QR, incluyendo soporte para casos de imagen más difíciles
- Pipeline completo de procesamiento de PDF, incluyendo extracción de metadatos y soporte de traducción
- Soporte de rastreo en I2P además de la recolección en la web clara y Tor
- Correlación pasiva de SSH para análisis de infraestructura y flujos de trabajo de desanonimización
- Exploración mejorada de chats para plataformas como Discord, Telegram y Matrix
Características
Recolección
- Arquitectura modular para manejar flujos de información no estructurada
- Soporte de múltiples alimentadores e importadores
- Alimentadores para chats y fuentes de flujo como Discord, Telegram y otros proveedores
- Soporte de rastreo para la web clara, darknet, servicios ocultos Tor (.onion) y I2P
- Rastreo autenticado con sesiones de navegador, cookies y reutilización de almacenamiento local
- Monitoreo continuo o bajo demanda de sitios web y servicios ocultos a lo largo del tiempo
- Capacidad de envío/importación desde la interfaz de usuario
Procesamiento y enriquecimiento
- Indexación de texto completo de información no estructurada (chats, contenidos rastreados)
- Extracción de URL, nombres de host, direcciones de correo electrónico y credenciales
- Detección de números de teléfono, claves API, IBANs, certificados y claves privadas
- Detección de direcciones Bitcoin, claves privadas y otros artefactos de criptomonedas
- Extracción y decodificación de archivos a partir de contenido codificado (Base64, hex)
- Procesamiento OCR para capturas de pantalla e imágenes
- Extracción de códigos QR y códigos de barras con reprocesamiento del contenido incrustado
- Descripciones asistidas por IA para imágenes, capturas de pantalla y dominios
- Extracción de metadatos de PDF, ingesta y traducción
- Sistema de etiquetado usando MISP Galaxy y MISP Taxonomies
Detección y seguimiento
Los rastreadores (trackers) son reglas o patrones definidos por el usuario que detectan, etiquetan y notifican automáticamente a los analistas sobre información relevante recopilada por AIL.
Tipos de rastreadores soportados:
- seguimiento de palabras
- seguimiento de conjuntos de palabras
- seguimiento con expresiones regulares
- reglas YARA
- detección de suplantación tipográfica
Las capacidades de detección incluyen:
- etiquetado y clasificación en tiempo real
- seguimiento de ocurrencia de objetos
- flujos de trabajo de notificación mediante webhook o correo electrónico
- editor YARA integrado
AIL también soporta Retro Hunts, que permiten a los analistas ejecutar reglas YARA recién creadas contra datos históricos para descubrir contenido previamente pasado por alto.
Búsqueda, correlación e investigación
circl/ail-framework