用于网络攻击检测的智能体式 LLM

一个使用工具的 LLM 智能体能否独立调查原始网络抓包并识别出攻击？

它会选择哪些数据包分析查询，并且当同一流量被大量背景活动包围时，它能否依然保持有效？

本项目评估一个使用工具的 LLM 能否直接从原始数据包抓包中识别出攻击，以及当良性背景流量更繁重时其调查过程会如何变化。每次调查都从一个 PCAP 路径和 11 种可能攻击的通用描述开始。模型不会获得任何预先计算的数据包特征或流量摘要。

基准概览

flowchart TB
    low["Low background<br/>11 attack captures + 11 benign captures"] --> matrix
    high["Generated high background<br/>11 attack captures + 11 benign captures"] --> matrix
    prompts["6 prompt variants<br/>generic labels and observable descriptions"] --> matrix
    configurations["18 model/reasoning configurations"] --> matrix

    matrix["44 PCAPs × 6 prompts × 18 configurations<br/>4,752 completed investigations"]
    matrix -->|"PCAP path; no precomputed features"| agent["Tool-using OpenCode agent"]

    agent -->|"selects a query"| tools["Packet-analysis and shell tools"]
    tools -->|"returns observations"| agent

    agent --> decision["One capture-level decision"]
    agent --> trace["Complete investigation trajectory"]
    decision --> results["Scoring and aggregate results"]
    trace --> dashboard["Session dashboard"]

数据与结果

资源	内容
Hugging Face 数据集与制品页面	规范发布版本，包含 44 个 PCAP、全部 4,752 条调查轨迹、提示变体、模型配置、汇总结果、许可信息以及引用元数据
交互式结果门户	结果表格、七张研究图表、模型对比以及完整的会话仪表板

本仓库包含采用 MIT 许可的实现与复现工作流。由 Matthieu Aureille 和 Jan Fesl 撰写的配套手稿已提交同行评审；公开链接将在可用时添加。

数据集覆盖范围

流量条件	捕获组成
低背景	场景流量与正常测试平台空闲活动，不含生成的背景流量
生成的高背景	同一类型的场景与大幅增加的自动生成良性流量相结合

每种条件包含 11 个攻击捕获和 11 个良性捕获。每个捕获都有一个固定的预期输出。

攻击类别

该表提供了面向读者的通用基准标签解读。底层攻击名称、扫描名称和工具名称未向 LLM 展示。提示仅使用 Attack 1 至 Attack 11，并描述可观察的流量特征。

在生成的提示文件中，“anonymized attacks”（匿名化攻击）是指攻击名称被替换为通用标签；数据包本身并未匿名化。

基准标签	指示性底层类别（未向 LLM 展示）
Attack 1	使用 IP 分片的 TCP ACK 洪泛
Attack 2	ARP 欺骗
Attack 3	DNS 洪泛
Attack 4	FIN 扫描
Attack 5	ICMP 分片洪泛
Attack 6	NULL 扫描
Attack 7	TCP SYN 端口扫描（nmap -sS）
Attack 8	Slowloris
Attack 9	UDP 分片洪泛
Attack 10	UDP 扫描
Attack 11	Xmas 扫描

仓库指南

目标	从这里开始
复现基准测试	RUNBOOK.md
理解实现	scripts/README.md
检查基准配置与提示变体	config/ 和 prompts/
查看模型、软件、测试平台与解析器元数据	reproducibility/ 和 vllm_parsers/
浏览生成的图表与仪表板	docs/

实现流程

flowchart LR
    entry["scripts/*.py<br/>command-line entry points"] --> benchmark["benchmark/<br/>execute · schedule · resume"]
    entry --> reporting["reporting/<br/>score · aggregate · publish"]
    entry --> orchestration["orchestration/<br/>optional remote model lifecycle"]

    sources["config/ · prompts/ · PCAP workspaces"] --> benchmark
    orchestration --> benchmark
    benchmark --> artifacts["Retained run artifacts"]
    artifacts --> reporting
    reporting --> outputs["CSVs · figures · dashboards"]

共享路径、工作区、OpenCode、渲染和结果工具直接位于 scripts/agentic_pcap/ 下。完整的内部模块映射记录在 scripts/README.md 中。

复现基准测试

Python 实现仅使用标准库。实时调查 还需要 OpenCode、TShark、tcpdump、常用 Unix 工具、PCAP 工作区以及已配置的模型提供方。

[!WARNING] 该智能体会执行不受限制的 shell 命令。请仅在隔离的 容器或一次性虚拟机中运行它。

请按照全新机器执行指南进行 Debian/Ubuntu 环境搭建、 特定硬件的 vLLM 配置、执行、恢复以及仪表板 生成。历史启动命令记录了研究环境； config/benchmark_orchestrator.local.json 是新机器的模板。

未应用采样或种子覆盖。确切的运行时元数据保留在 reproducibility/ 下，预构建的会话和 仪表板可从规范的 Hugging Face 发布版本获取。

引用

如果您使用此基准测试，请引用 Hugging Face 数据集 并参考此 GitHub 代码仓库。

建议的数据集引用

M. Aureille and J. Fesl, “Agentic LLMs for Network Attack Detection,” version 1.0.0, Hugging Face dataset, 2026. [Online]. Available: https://huggingface.co/datasets/maureille/agentic-pcap

BibTeX

@misc{aureille2026agentic,
  author       = {Matthieu Aureille and Jan Fesl},
  title        = {Agentic LLMs for Network Attack Detection},
  year         = {2026},
  howpublished = {Hugging Face dataset},
  note         = {Version 1.0.0},
  url          = {https://huggingface.co/datasets/maureille/agentic-pcap}
}

本仓库的机器可读软件引用元数据可在 CITATION.cff 中获取。

许可证

本项目对其软件和数据组件使用单独的许可证：

组件	许可证	覆盖范围
软件	MIT	基准测试、编排、评分、提示生成、仪表板生成以及 GitHub Pages 展示代码
镜像的 Gemma 4 模板	Apache 2.0	vllm_parsers/ 下的两个第三方 Jinja 模板；不可变源和哈希记录在 vllm_parsers/README.md 中
数据集和实验产物	CC BY 4.0	PCAP、捕获元数据、攻击描述、提交的提示、会话、决策、表格、图表以及嵌入的基准数据；完整许可证随 Hugging Face 数据集 提供

署名与再分发

在 CC BY 4.0 下，允许对数据集和实验产物进行重用、再分发、修改和商业使用。在分享数据集或修改版本时，请注明 Matthieu Aureille 和 Jan Fesl，链接到 Hugging Face 上的规范发布版本和 CC BY 4.0 许可证，并说明是否进行了更改。非官方镜像和衍生发布版本应明确标识为非官方，并链接回规范发布版本。

MIT 许可的软件也可以被使用、修改、再分发和销售。软件的副本或实质性部分必须保留版权和 MIT 许可证声明。

在 docs/ 中，HTML/CSS/JavaScript 展示软件受 MIT 覆盖，而嵌入页面中的调查记录、指标、表格和图表仍受 CC BY 4.0 覆盖。

版权所有 © 2026 Matthieu Aureille 和 Jan Fesl。