AIL 框架
用于收集、爬取、处理和分析非结构化信息的开源框架。
AIL 框架是一个开源平台,用于收集、爬取、处理和分析来自明网、Tor、I2P、聊天、文件和外部数据源的非结构化数据。
AIL 最初由 CIRCL 开发,通过提取、标记、检测、关联和调查工作流,帮助分析师将原始杂乱的内容转化为结构化情报。

AIL(信息泄漏分析)是一个开源框架,用于收集、爬取、处理和分析非结构化信息。它通过帮助分析师从广泛的来源中提取、检测、关联和共享相关信息,支持威胁情报、泄漏分析和调查工作流。
AIL 包括:
- 一个可扩展的基于 Python 的框架,用于处理和分析非结构化信息,
- 一个爬虫管理器,用于持续和经过认证的收集,
- 用于通信平台和外部流的数据源,
- 基于关键词、正则表达式和 YARA 的检测和回溯搜索引擎,
- 搜索、关联和调查功能,可在提取的数据之间进行切换,
- 以及针对 MISP 等平台的导出/集成功能。
AIL 情报生命周期
AIL 遵循一个实用的情报工作流:
- 收集
来自聊天、网站、隐藏服务、文件和数据源的持续摄入。
- 处理
提取、解码、OCR、二维码/条码解析、富化和标记。
- 检测
使用词语、集合、正则表达式、域名相似度和 YARA 规则进行实时跟踪。
- 分析
搜索、数据透视、关联图和调查。
- 分发
将发现结果和对象导出到 MISP 情报共享平台。
AIL v6.7 的新特性
AIL 目前是 v6.7 版本,最近的发布版显著扩展了搜索、图像分析、爬取和文档处理能力。
亮点包括:
- 统一的搜索界面,支持最佳匹配和最新排序
- 日期范围过滤和改进的高级搜索工作流
- 图像和截图描述,加快视觉分析和可搜索性
- 扩展的 OCR 和二维码提取,包括对更困难图像案例的支持
- 完整 PDF 处理流水线,包括元数据提取和翻译支持
- I2P 爬取支持,除了明网和 Tor 收集外
- 被动 SSH 关联,用于基础设施分析和去匿名化工作流
- 改进的聊天探索,针对 Discord、Telegram 和 Matrix 等平台
特性

收集
- 模块化架构,处理非结构化信息流
- 支持多个数据源和导入器
- 用于聊天和流源的数据源,例如 Discord、Telegram 和其他提供商
- 支持明网、暗网、Tor 隐藏服务 (.onion) 和 I2P 的爬取
- 使用浏览器会话、cookie 和本地存储重用的认证爬取
- 对网站和隐藏服务的持续或按需监控
- UI 提交/导入功能
处理与富化
- 非结构化信息(聊天、爬取内容)的全文索引
- 提取 URL、主机名、电子邮件地址和凭证
- 检测电话号码、API 密钥、IBAN、证书和私钥
- 检测比特币地址、私钥和相关加密货币工件
- 从编码内容(Base64、十六进制)中提取和解码文件
- 对截图和图像进行 OCR 处理
- 二维码和条码提取,以及嵌入内容的重新处理
- 图像、截图和域名的 AI 辅助描述
- PDF 元数据提取、摄入和翻译
- 使用 MISP Galaxy 和 MISP Taxonomies 的标记系统
检测与跟踪
跟踪器是用户定义的规则或模式,可自动检测、标记和通知分析师有关 AIL 收集的相关信息。
支持的跟踪器类型:
- 词语跟踪
- 词组跟踪
- 正则表达式跟踪
- YARA 规则
- 域名相似度检测
检测能力包括:
- 实时标记和分类
- 对象出现跟踪
- webhook 或电子邮件通知工作流
- 内置 YARA 编辑器
AIL 还支持回溯搜索,使分析师能够针对历史数据运行新创建的 YARA 规则,以发现先前遗漏的内容。



搜索、关联与调查
- 统一的搜索界面,支持最新和相关性排序
- 按日期范围搜索以及针对特定数据类型的专门高级搜索
- 搜索聊天、爬取域、标题、文件名和 AI 生成的描述
- 关联引擎和图形可视化,用于以下实体之间的关系:
- 解码文件和哈希
- PGP 元数据
- 域、标题、域哈希、网站图标、cookie 名称
- 用户名和用户账户
- CVE
- SSH 密钥
- 加密货币
- PDF 元数据
- ...
- 调查工作流,用于分组、富化和跟踪分析师的发现

导出与集成
- 向 MISP 发送警报和共享
- 将 AIL 对象和调查导出为 MISP 格式
- 对选定检测和标记的自动导出
- 支持协作情报和事件响应工作流的集成
为什么选择 AIL?
AIL 专为需要处理杂乱、真实世界数据的分析师构建:
- 自由文本,
- 截图,
- PDF 和文件,
- 聊天消息,
- 编码负载,
- 从 Web、Tor 和 I2P 源收集的内容。
AIL 不是将上述来源分开处理,而是帮助将它们转化为可搜索、可关联且可操作的情报。
截图
网站、论坛和隐藏服务

使用预录制会话 cookie 的登录保护爬取

提取和解码的文件

关联引擎


调查

标记系统


MISP 导出

自动事件与警报

UI 提交

安装
要安装 AIL 框架:
# Clone the repository
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive
# Install dependencies on Debian/Ubuntu-based distributions
./installing_deps.sh
# Start AIL
cd bin
./LAUNCH.sh -l
默认的 installing_deps.sh 脚本面向 Debian 和 Ubuntu 发行版。
要求
如何确定 AIL 的硬件需求?
安装说明
一些可选组件需要额外配置,包括 Lacus 爬虫、Meilisearch 搜索索引器 和 翻译。有关详细设置说明,请参阅 HOWTO。
启动 AIL
cd bin
./LAUNCH.sh -l
Web 界面可通过以下地址访问:
https://localhost:7000/
默认凭据存储在 DEFAULT_PASSWORD 文件中,密码更改后该文件将被删除。
文档
培训
有关如何使用和扩展 AIL 框架的培训材料可在 ail-project/ail-training 获取。
隐私与 GDPR
有关隐私和 GDPR 相关注意事项的信息,请参阅文档 AIL 信息泄漏分析与 GDPR 在收集、分析和共享信息泄漏方面的背景。
该文档提供了在合法环境下使用 AIL 的指导,尤其是在《通用数据保护条例》范围内。
使用 AIL 的研究
如果您在学术工作中使用或引用 AIL,可以按以下方式引用: