AIL logo

AIL Framework

非構造化情報の収集、クロール、処理、分析のためのオープンソースフレームワーク。

AILフレームワークは、クリアウェブ、Tor、I2P、チャット、ファイル、外部フィードから非構造化データを収集、クロール、処理、分析するためのオープンソースプラットフォームです。

CIRCLで最初に開発されたAILは、アナリストが抽出、タグ付け、検出、相関、調査ワークフローを通じて、生の雑然としたコンテンツを構造化されたインテリジェンスに変換するのに役立ちます。

AILダッシュボード

AILとは？ https://ail-project.org

AIL (Analysis of Information Leaks: 情報漏洩分析) は、非構造化情報の収集、クロール、処理、分析のためのオープンソースフレームワークです。幅広い情報源から関連情報を抽出、検出、相関、共有することで、脅威インテリジェンス、漏洩分析、調査ワークフローを支援します。

AILには以下が含まれます:

非構造化情報の処理・分析のための拡張可能なPythonベースのフレームワーク、
継続的および認証済み収集のためのクローラマネージャー、
コミュニケーションプラットフォームや外部ストリームのためのフィーダー、
キーワード、正規表現、YARAに基づく検出およびレトロハントエンジン、
抽出データ間をピボットする検索、相関、調査機能、
そしてMISPのようなプラットフォーム向けのエクスポート/統合機能。

AILのインテリジェンスライフサイクル

AILは実用的なインテリジェンスワークフローに従います:

収集チャット、ウェブサイト、隠しサービス、ファイル、フィードからの継続的な取り込み。
処理抽出、デコード、OCR、QR/バーコード解析、エンリッチメント、タグ付け。
検出単語、セット、正規表現、タイポスクワッティング、YARAルールによるリアルタイム追跡。
分析検索、ピボット、相関グラフ、調査。
拡散発見結果やオブジェクトのMISPインテリジェンス共有プラットフォームへのエクスポート。

AIL v6.7の新機能

AILは現在v6.7で、最近のリリースで検索、画像分析、クローリング、ドキュメント処理機能が大幅に拡張されました。

ハイライトは以下の通りです:

統一検索インターフェース: ベストマッチおよび最新順の並び替え
日付範囲フィルタリングと改善された高度な検索ワークフロー
画像とスクリーンショットの説明: より迅速な視覚的分析と検索可能性の向上
拡張されたOCRとQR抽出: より困難な画像ケースのサポートを含む
完全なPDF処理パイプライン: メタデータ抽出と翻訳サポートを含む
I2Pクローリングサポート: クリアウェブとTor収集に加えて
パッシブSSH相関: インフラ分析と非匿名化ワークフロー向け
改善されたチャット探索: Discord、Telegram、Matrixなどのプラットフォーム向け

特徴

AIL内部概要

収集

非構造化情報のストリームを処理するためのモジュラーアーキテクチャ
複数のフィーダーとインポーターのサポート
Discord、Telegramなどのチャットおよびストリームソース向けフィーダー
クリアウェブ、ダークネット、Tor隠しサービス (.onion)、I2Pのクローリングサポート
ブラウザセッション、クッキー、ローカルストレージ再利用による認証済みクローリング
ウェブサイトおよび隠しサービスの継続的またはオンデマンドの監視
UIからの送信/インポート機能

処理とエンリッチメント

非構造化情報（チャット、クロール済みコンテンツ）の全文インデックス作成
URL、ホスト名、メールアドレス、認証情報の抽出
電話番号、APIキー、IBAN、証明書、秘密鍵の検出
Bitcoinアドレス、秘密鍵、関連する暗号通貨アーティファクトの検出
エンコードされたコンテンツ（Base64、hex）からのファイル抽出とデコード
スクリーンショットや画像のOCR処理
QRコードとバーコードの抽出、埋め込みコンテンツの再処理
画像、スクリーンショット、ドメインのAI支援説明
PDFメタデータの抽出、取り込み、翻訳
MISP GalaxyとMISP Taxonomiesを使用したタグ付けシステム

検出と追跡

トラッカーは、AILが収集した関連情報を自動的に検出、タグ付け、通知するユーザー定義のルールまたはパターンです。

サポートされているトラッカータイプ:

単語追跡
単語セット追跡
正規表現追跡
YARAルール
タイポスクワッティング検出

検出機能には以下が含まれます:

リアルタイムのタグ付けと分類
オブジェクト出現追跡
ウェブフックまたはメール通知ワークフロー
組み込みYARAエディター

AILはレトロハントもサポートしており、アナリストが新しく作成したYARAルールを過去データに対して実行し、以前に見逃されたコンテンツを発見できます。

tracker-create

tracker-yara

retro-hunt

検索、相関、調査

最新性と関連性で並べ替え可能な統一検索インターフェース
日付範囲による検索と、選択されたデータタイプ向けの特化型高度検索
チャット、クロール済みドメイン、タイトル、ファイル名、AI生成説明の検索
相関エンジンとグラフ可視化による以下の間の関係:
- デコード済みファイルとハッシュ
- PGPメタデータ
- ドメイン、タイトル、dom-hash、ファビコン、クッキー名
- ユーザー名とユーザーアカウント
- CVE
- SSHキー
- 暗号通貨
- PDFメタデータ
- ...
調査ワークフロー: 分析結果のグループ化、エンリッチメント、追跡

global search

エクスポートと統合

MISPへの警告と共有
AILオブジェクトと調査のMISP形式へのエクスポート
選択した検出とタグに対する自動エクスポート
協調的なインテリジェンスとインシデント対応ワークフローをサポートする統合

なぜAILなのか？

AILは、雑然とした現実のデータを扱う必要のあるアナリストのために構築されています:

自由テキスト、
スクリーンショット、
PDFやファイル、
チャットメッセージ、
エンコードされたペイロード、
ウェブ、Tor、I2Pソースから収集されたコンテンツ。

これらのソースを個別に扱うのではなく、AILはそれらを検索可能、相関可能、実用的なインテリジェンスに変換するのに役立ちます。

スクリーンショット

ウェブサイト、フォーラム、隠しサービス

Domain CIRCL

事前記録されたセッションクッキーを使用したログイン保護クローリング

Domain cookiejar

抽出・デコード済みファイル

Extracted files

相関エンジン

Onion Domains Correlations

Correlation decoded image

調査

Investigation

タグ付けシステム

MISPエクスポート

misp_export

自動イベントとアラート

tags_misp_auto

UI送信

ui_submit

インストール

AILフレームワークをインストールするには:

# リポジトリをクローン
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive

# Debian/Ubuntuベースのディストリビューションに依存関係をインストール
./installing_deps.sh

# AILを起動
cd bin
./LAUNCH.sh -l

デフォルトの installing_deps.sh スクリプトは Debian および Ubuntu ベースのディストリビューションを対象としています。

人気

AIL-framework