用于收集、爬取、处理和分析非结构化信息的开源框架。
AIL 框架是一个开源平台,用于收集、爬取、处理和分析来自明网、Tor、I2P、聊天、文件和外部数据源的非结构化数据。
AIL 最初由 CIRCL 开发,通过提取、标记、检测、关联和调查工作流,帮助分析师将原始杂乱的内容转化为结构化情报。

AIL(信息泄漏分析)是一个开源框架,用于收集、爬取、处理和分析非结构化信息。它通过帮助分析师从广泛的来源中提取、检测、关联和共享相关信息,支持威胁情报、泄漏分析和调查工作流。
AIL 包括:
AIL 遵循一个实用的情报工作流:
AIL 目前是 v6.7 版本,最近的发布版显著扩展了搜索、图像分析、爬取和文档处理能力。
亮点包括:

跟踪器是用户定义的规则或模式,可自动检测、标记和通知分析师有关 AIL 收集的相关信息。
支持的跟踪器类型:
检测能力包括:
AIL 还支持回溯搜索,使分析师能够针对历史数据运行新创建的 YARA 规则,以发现先前遗漏的内容。




AIL 专为需要处理杂乱、真实世界数据的分析师构建:
AIL 不是将上述来源分开处理,而是帮助将它们转化为可搜索、可关联且可操作的情报。











要安装 AIL 框架:
# Clone the repository
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive
# Install dependencies on Debian/Ubuntu-based distributions
./installing_deps.sh
# Start AIL
cd bin
./LAUNCH.sh -l
默认的 installing_deps.sh 脚本面向 Debian 和 Ubuntu 发行版。
一些可选组件需要额外配置,包括 Lacus 爬虫、Meilisearch 搜索索引器 和 翻译。有关详细设置说明,请参阅 HOWTO。
cd bin
./LAUNCH.sh -l
Web 界面可通过以下地址访问:
https://localhost:7000/
默认凭据存储在 DEFAULT_PASSWORD 文件中,密码更改后该文件将被删除。
有关如何使用和扩展 AIL 框架的培训材料可在 ail-project/ail-training 获取。
有关隐私和 GDPR 相关注意事项的信息,请参阅文档 AIL 信息泄漏分析与 GDPR 在收集、分析和共享信息泄漏方面的背景。
该文档提供了在合法环境下使用 AIL 的指导,尤其是在《通用数据保护条例》范围内。
如果您在学术工作中使用或引用 AIL,可以按以下方式引用:
@inproceedings{mokaddem2018ail,
title={AIL-The design and implementation of an Analysis Information Leak framework},
author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},
booktitle={2018 IEEE International Conference on Big Data (Big Data)},
pages={5049--5057},
year={2018},
organization={IEEE}
}
AIL 在欧盟的支持下开发和维护,作为 HOPLITE 欧洲项目的一部分,并且是 AIPITCH 欧洲项目的一部分。

由欧盟共同资助。然而,所表达的观点和意见仅代表作者本人,不一定反映欧盟或欧洲网络安全能力中心的观点。欧盟和资助机构均不对其承担责任。
Copyright (C) 2014 Jules Debra
Copyright (c) 2021 Olivier Sagit
Copyright (C) 2014-2026 CIRCL - Computer Incident Response Center Luxembourg
Copyright (c) 2014-2024 Raphaël Vinot
Copyright (c) 2014-2026 Alexandre Dulaunoy
Copyright (c) 2016-2024 Sami Mokaddem
Copyright (c) 2018-2026 Thirion Aurélien
This program is free software: you can redistribute it and/or modify
it under the terms of the GNU Affero General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU Affero General Public License for more details.
You should have received a copy of the GNU Affero General Public License
along with this program. If not, see <http://www.gnu.org/licenses/>.