maureille/agentic-pcapツールを利用するLLMエージェントが生のPCAPを調査して自律的にネットワーク攻撃を検出するためのベンチマークコードと対話型結果。
ツールを利用するLLMエージェントは、生のネットワークキャプチャを独立して調査し、攻撃を特定できるのか?
どのパケット分析クエリを選択するのか、そして同じトラフィックがはるかに多くのバックグラウンドアクティビティに囲まれている場合でも有効性を維持できるのか?
本プロジェクトは、ツールを利用するLLMが生のパケットキャプチャから直接攻撃を特定できるかどうか、また、より大量の良性バックグラウンドトラフィックの下でその調査がどのように変化するかを評価する。各調査はPCAPパスと11種類の想定される攻撃の一般的な説明から始まる。モデルには事前計算されたパケット特徴量やトラフィックサマリーは与えられない。
flowchart TB
low["Low background<br/>11 attack captures + 11 benign captures"] --> matrix
high["Generated high background<br/>11 attack captures + 11 benign captures"] --> matrix
prompts["6 prompt variants<br/>generic labels and observable descriptions"] --> matrix
configurations["18 model/reasoning configurations"] --> matrix
matrix["44 PCAPs × 6 prompts × 18 configurations<br/>4,752 completed investigations"]
matrix -->|"PCAP path; no precomputed features"| agent["Tool-using OpenCode agent"]
agent -->|"selects a query"| tools["Packet-analysis and shell tools"]
tools -->|"returns observations"| agent
agent --> decision["One capture-level decision"]
agent --> trace["Complete investigation trajectory"]
decision --> results["Scoring and aggregate results"]
trace --> dashboard["Session dashboard"]
| リソース | 内容 |
|---|---|
| Hugging Face データセットとアーティファクトページ | 44 個の PCAP、4,752 件の調査トラジェクトリすべて、プロンプトバリアント、モデル設定、集計結果、ライセンス情報、引用メタデータを含む正規リリース |
| インタラクティブ結果ポータル | 結果テーブル、7 つの研究図、モデル比較、完全なセッションダッシュボード |
このリポジトリには、MIT ライセンスの実装と再現ワークフローが含まれています。Matthieu Aureille と Jan Fesl による付随の原稿は査読のために提出済みです。公開リンクは利用可能になり次第追加されます。
| トラフィック条件 | キャプチャの構成 |
|---|---|
| 低バックグラウンド | 生成バックグラウンドトラフィックを含まない、シナリオトラフィックと通常のテストベッドのアイドル活動 |
| 生成高バックグラウンド | 同種のシナリオに、自動生成された良性トラフィックを大幅に追加したもの |
各条件には 11 件の攻撃キャプチャと 11 件の良性キャプチャが含まれます。すべてのキャプチャには 1 つの固定された期待出力があります。
この表は、汎用ベンチマークラベルに対する読者向けの解釈を示しています。基盤となる攻撃名、スキャン名、ツール名は LLM には表示されませんでした。プロンプトでは Attack 1 から Attack 11 のみを使用し、観測可能なトラフィック特性を記述しました。
生成されたプロンプトファイルにおいて、「匿名化された攻撃」とは攻撃名が汎用ラベルに置き換えられたことを意味します。パケットデータ自体は匿名化されていません。
| ベンチマークラベル | 想定される基盤クラス（LLM には非表示） |
|---|---|
| Attack 1 | IP フラグメンテーションを使用した TCP ACK フラッド |
| Attack 2 | ARP スプーフィング |
| Attack 3 | DNS フラッド |
| Attack 4 | FIN スキャン |
| Attack 5 | ICMP フラグメンテーションフラッド |
| Attack 6 | NULL スキャン |
| Attack 7 | TCP SYN ポートスキャン（nmap -sS） |
| Attack 8 | Slowloris |
| Attack 9 | UDP フラグメンテーションフラッド |
| Attack 10 | UDP スキャン |
| Attack 11 | Xmas スキャン |
| 目的 | 開始地点 |
|---|---|
| ベンチマークを再現する | RUNBOOK.md |
| 実装を理解する | scripts/README.md |
| ベンチマーク設定とプロンプトバリアントを確認する | config/ と prompts/ |
| モデル、ソフトウェア、テストベッド、パーサーのメタデータを確認する | reproducibility/ と vllm_parsers/ |
| 生成された図とダッシュボードを探索する | docs/ |
flowchart LR
entry["scripts/*.py<br/>command-line entry points"] --> benchmark["benchmark/<br/>execute · schedule · resume"]
entry --> reporting["reporting/<br/>score · aggregate · publish"]
entry --> orchestration["orchestration/<br/>optional remote model lifecycle"]
sources["config/ · prompts/ · PCAP workspaces"] --> benchmark
orchestration --> benchmark
benchmark --> artifacts["Retained run artifacts"]
artifacts --> reporting
reporting --> outputs["CSVs · figures · dashboards"]
共有パス、ワークスペース、OpenCode、レンダリング、および結果ユーティリティは、scripts/agentic_pcap/ の直下にあります。内部モジュールの完全なマップは scripts/README.md に記載されています。
Python 実装は標準ライブラリのみを使用します。ライブ調査にはさらに OpenCode、TShark、tcpdump、一般的な Unix ツール、PCAP ワークスペース、および設定済みのモデルプロバイダーが必要です。
[!WARNING] エージェントは無制限のシェルコマンドを実行します。隔離されたコンテナまたは使い捨ての仮想マシンでのみ実行してください。
Debian/Ubuntu のセットアップ、ハードウェア固有の vLLM 設定、実行、リカバリ、およびダッシュボード生成については、新規マシンでの実行ガイドに従ってください。過去の起動コマンドは研究環境を記録したものです。config/benchmark_orchestrator.local.json は新しいマシン用のテンプレートです。
サンプリングやシードの上書きは適用されていません。正確なランタイムメタデータは reproducibility/ に保持されており、ビルド済みのセッションとダッシュボードは公式の Hugging Face リリースから入手できます。
このベンチマークを使用する場合は、Hugging Face データセットを引用し、このGitHub コードリポジトリを参照してください。
データセットの推奨引用形式
M. Aureille and J. Fesl, “Agentic LLMs for Network Attack Detection,” version 1.0.0, Hugging Face dataset, 2026. [Online]. Available: https://huggingface.co/datasets/maureille/agentic-pcap
BibTeX
@misc{aureille2026agentic,
author = {Matthieu Aureille and Jan Fesl},
title = {Agentic LLMs for Network Attack Detection},
year = {2026},
howpublished = {Hugging Face dataset},
note = {Version 1.0.0},
url = {https://huggingface.co/datasets/maureille/agentic-pcap}
}
このリポジトリの機械可読なソフトウェア引用メタデータは
CITATION.cff で入手できます。
このプロジェクトは、ソフトウェアとデータのコンポーネントに対して別々のライセンスを使用しています:
| コンポーネント | ライセンス | 対象範囲 |
|---|---|---|
| ソフトウェア | MIT | ベンチマーク、オーケストレーション、スコアリング、プロンプト生成、ダッシュボード生成、および GitHub Pages プレゼンテーションのコード |
| ミラーリングされた Gemma 4 テンプレート | Apache 2.0 | vllm_parsers/ 配下の 2 つのサードパーティ製 Jinja テンプレート。不変のソースとハッシュは vllm_parsers/README.md に記録されています |
| データセットおよび実験成果物 | CC BY 4.0 | PCAP、キャプチャメタデータ、攻撃の説明、送信されたプロンプト、セッション、判定、表、図、および埋め込みベンチマークデータ。完全なライセンスは Hugging Face データセット とともに提供されています |
データセットおよび実験成果物の再利用、再配布、改変、商用利用は CC BY 4.0 の下で許可されています。データセットまたは改変版を共有する際は、Matthieu Aureille と Jan Fesl のクレジットを明記し、正規の Hugging Face リリースおよび CC BY 4.0 ライセンスへのリンクを記載し、変更を加えたかどうかを示してください。非公式のミラーや派生リリースは、その旨を明確に識別し、正規リリースへのリンクを記載する必要があります。
MIT ライセンスのソフトウェアも、使用、改変、再配布、販売が可能です。ソフトウェアのコピーまたは実質的な部分には、著作権表示および MIT ライセンスの通知を保持する必要があります。
docs/ 全体において、HTML/CSS/JavaScript プレゼンテーションソフトウェアは MIT の対象ですが、ページに埋め込まれた調査記録、指標、表、および図は引き続き CC BY 4.0 の対象です。
Copyright © 2026 Matthieu Aureille and Jan Fesl.