AIL logo

AIL Framework

非構造化情報の収集、クロール、処理、分析のためのオープンソースフレームワーク。

AILフレームワークは、クリアウェブ、Tor、I2P、チャット、ファイル、外部フィードから非構造化データを収集、クロール、処理、分析するためのオープンソースプラットフォームです。

CIRCLで最初に開発されたAILは、アナリストが抽出、タグ付け、検出、相関、調査ワークフローを通じて、生の雑然としたコンテンツを構造化されたインテリジェンスに変換するのに役立ちます。

AILダッシュボード

AILとは？ https://ail-project.org

AIL (Analysis of Information Leaks: 情報漏洩分析) は、非構造化情報の収集、クロール、処理、分析のためのオープンソースフレームワークです。幅広い情報源から関連情報を抽出、検出、相関、共有することで、脅威インテリジェンス、漏洩分析、調査ワークフローを支援します。

AILには以下が含まれます:

非構造化情報の処理・分析のための拡張可能なPythonベースのフレームワーク、
継続的および認証済み収集のためのクローラマネージャー、
コミュニケーションプラットフォームや外部ストリームのためのフィーダー、
キーワード、正規表現、YARAに基づく検出およびレトロハントエンジン、
抽出データ間をピボットする検索、相関、調査機能、
そしてMISPのようなプラットフォーム向けのエクスポート/統合機能。

AILのインテリジェンスライフサイクル

AILは実用的なインテリジェンスワークフローに従います:

収集チャット、ウェブサイト、隠しサービス、ファイル、フィードからの継続的な取り込み。
処理抽出、デコード、OCR、QR/バーコード解析、エンリッチメント、タグ付け。
検出単語、セット、正規表現、タイポスクワッティング、YARAルールによるリアルタイム追跡。
分析検索、ピボット、相関グラフ、調査。
拡散発見結果やオブジェクトのMISPインテリジェンス共有プラットフォームへのエクスポート。

AIL v6.7の新機能

AILは現在v6.7で、最近のリリースで検索、画像分析、クローリング、ドキュメント処理機能が大幅に拡張されました。

ハイライトは以下の通りです:

統一検索インターフェース: ベストマッチおよび最新順の並び替え
日付範囲フィルタリングと改善された高度な検索ワークフロー
画像とスクリーンショットの説明: より迅速な視覚的分析と検索可能性の向上
拡張されたOCRとQR抽出: より困難な画像ケースのサポートを含む
完全なPDF処理パイプライン: メタデータ抽出と翻訳サポートを含む
I2Pクローリングサポート: クリアウェブとTor収集に加えて
パッシブSSH相関: インフラ分析と非匿名化ワークフロー向け
改善されたチャット探索: Discord、Telegram、Matrixなどのプラットフォーム向け

特徴

AIL内部概要

収集

非構造化情報のストリームを処理するためのモジュラーアーキテクチャ
複数のフィーダーとインポーターのサポート
Discord、Telegramなどのチャットおよびストリームソース向けフィーダー
クリアウェブ、ダークネット、Tor隠しサービス (.onion)、I2Pのクローリングサポート
ブラウザセッション、クッキー、ローカルストレージ再利用による認証済みクローリング
ウェブサイトおよび隠しサービスの継続的またはオンデマンドの監視
UIからの送信/インポート機能

処理とエンリッチメント

非構造化情報（チャット、クロール済みコンテンツ）の全文インデックス作成
URL、ホスト名、メールアドレス、認証情報の抽出
電話番号、APIキー、IBAN、証明書、秘密鍵の検出
Bitcoinアドレス、秘密鍵、関連する暗号通貨アーティファクトの検出
エンコードされたコンテンツ（Base64、hex）からのファイル抽出とデコード
スクリーンショットや画像のOCR処理
QRコードとバーコードの抽出、埋め込みコンテンツの再処理
画像、スクリーンショット、ドメインのAI支援説明
PDFメタデータの抽出、取り込み、翻訳
MISP GalaxyとMISP Taxonomiesを使用したタグ付けシステム

検出と追跡

トラッカーは、AILが収集した関連情報を自動的に検出、タグ付け、通知するユーザー定義のルールまたはパターンです。

サポートされているトラッカータイプ:

単語追跡
単語セット追跡
正規表現追跡
YARAルール
タイポスクワッティング検出

検出機能には以下が含まれます:

リアルタイムのタグ付けと分類
オブジェクト出現追跡
ウェブフックまたはメール通知ワークフロー
組み込みYARAエディター

AILはレトロハントもサポートしており、アナリストが新しく作成したYARAルールを過去データに対して実行し、以前に見逃されたコンテンツを発見できます。

tracker-create

tracker-yara

retro-hunt

検索、相関、調査

最新性と関連性で並べ替え可能な統一検索インターフェース
日付範囲による検索と、選択されたデータタイプ向けの特化型高度検索
チャット、クロール済みドメイン、タイトル、ファイル名、AI生成説明の検索
相関エンジンとグラフ可視化による以下の間の関係:
- デコード済みファイルとハッシュ
- PGPメタデータ
- ドメイン、タイトル、dom-hash、ファビコン、クッキー名
- ユーザー名とユーザーアカウント
- CVE
- SSHキー
- 暗号通貨
- PDFメタデータ
- ...
調査ワークフロー: 分析結果のグループ化、エンリッチメント、追跡

global search

エクスポートと統合

MISPへの警告と共有
AILオブジェクトと調査のMISP形式へのエクスポート
選択した検出とタグに対する自動エクスポート
協調的なインテリジェンスとインシデント対応ワークフローをサポートする統合

なぜAILなのか？

AILは、雑然とした現実のデータを扱う必要のあるアナリストのために構築されています:

自由テキスト、
スクリーンショット、
PDFやファイル、
チャットメッセージ、
エンコードされたペイロード、
ウェブ、Tor、I2Pソースから収集されたコンテンツ。

これらのソースを個別に扱うのではなく、AILはそれらを検索可能、相関可能、実用的なインテリジェンスに変換するのに役立ちます。

スクリーンショット

ウェブサイト、フォーラム、隠しサービス

Domain CIRCL

事前記録されたセッションクッキーを使用したログイン保護クローリング

Domain cookiejar

抽出・デコード済みファイル

Extracted files

相関エンジン

Onion Domains Correlations

Correlation decoded image

調査

Investigation

タグ付けシステム

MISPエクスポート

misp_export

自動イベントとアラート

tags_misp_auto

UI送信

ui_submit

インストール

AILフレームワークをインストールするには:

# リポジトリをクローン
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive

# Debian/Ubuntuベースのディストリビューションに依存関係をインストール
./installing_deps.sh

# AILを起動
cd bin
./LAUNCH.sh -l

デフォルトの installing_deps.sh スクリプトは Debian および Ubuntu ベースのディストリビューションを対象としています。

要件

Python 3.8+

AILのハードウェア要件のサイジング方法

インストールノート

いくつかのオプションコンポーネントは追加の設定が必要です。これにはLacusクローラ、Meilisearch検索インデクサー、翻訳が含まれます。詳細なセットアップ手順についてはHOWTOを参照してください。

AILの起動

cd bin
./LAUNCH.sh -l

Webインターフェースは以下で利用可能です:

https://localhost:7000/

デフォルトの認証情報は DEFAULT_PASSWORD ファイルに保存されており、パスワードが変更されるとファイルは削除されます。

ドキュメント

メインドキュメント: doc/README.md
APIドキュメント: doc/api.md
HOWTOガイド: HOWTO.md

トレーニング

AILフレームワークの使用方法と拡張方法に関するトレーニング資料は、ail-project/ail-trainingで入手できます。

プライバシーとGDPR

プライバシーとGDPR関連の考慮事項については、文書「AIL情報漏洩分析とGDPR: 情報漏洩の収集、分析、共有におけるコンテキスト」を参照してください。

この文書は、特にGeneral Data Protection Regulation（一般データ保護規則）の範囲内で、AILを合法的に使用するためのガイダンスを提供します。

AILを使った研究

学術研究でAILを使用または参照する場合は、以下のように引用できます:

@inproceedings{mokaddem2018ail,
  title={AIL-The design and implementation of an Analysis Information Leak framework},
  author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},
  booktitle={2018 IEEE International Conference on Big Data (Big Data)},
  pages={5049--5057},
  year={2018},
  organization={IEEE}
}

資金 🇪🇺

AILは、欧州連合の支援により、HOPLITE欧州プロジェクトおよびAIPITCH欧州プロジェクトの一部として開発・維持されています。

EU logo

免責事項

欧州連合により共同資金提供されています。表明された見解や意見は著者のみのものであり、必ずしも欧州連合または欧州サイバーセキュリティ能力センター（European Cybersecurity Competence Centre）の見解を反映するものではありません。欧州連合および助成機関はこれらに対して責任を負いません。

ライセンス

Copyright (C) 2014 Jules Debra
Copyright (c) 2021 Olivier Sagit
Copyright (C) 2014-2026 CIRCL - Computer Incident Response Center Luxembourg
Copyright (c) 2014-2024 Raphaël Vinot
Copyright (c) 2014-2026 Alexandre Dulaunoy
Copyright (c) 2016-2024 Sami Mokaddem
Copyright (c) 2018-2026 Thirion Aurélien

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU Affero General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU Affero General Public License for more details.

You should have received a copy of the GNU Affero General Public License
along with this program.  If not, see <http://www.gnu.org/licenses/>.

AIL-framework

人気