Агентные LLM для обнаружения сетевых атак

Может ли LLM-агент, использующий инструменты, самостоятельно исследовать необработанный сетевой дамп и выявить атаку?

Какие запросы анализа пакетов он выберет и сможет ли он оставаться эффективным, когда тот же трафик окружён гораздо большей фоновой активностью?

Этот проект оценивает, может ли LLM, использующий инструменты, выявить атаку непосредственно из необработанного дампа пакетов и как меняется его расследование при более интенсивном фоновом доброкачественном трафике. Каждое расследование начинается с пути к PCAP и общих описаний 11 возможных атак. Модель не получает предварительно вычисленных признаков пакетов или сводки трафика.

Бенчмарк вкратце

flowchart TB
    low["Low background<br/>11 attack captures + 11 benign captures"] --> matrix
    high["Generated high background<br/>11 attack captures + 11 benign captures"] --> matrix
    prompts["6 prompt variants<br/>generic labels and observable descriptions"] --> matrix
    configurations["18 model/reasoning configurations"] --> matrix

    matrix["44 PCAPs × 6 prompts × 18 configurations<br/>4,752 completed investigations"]
    matrix -->|"PCAP path; no precomputed features"| agent["Tool-using OpenCode agent"]

    agent -->|"selects a query"| tools["Packet-analysis and shell tools"]
    tools -->|"returns observations"| agent

    agent --> decision["One capture-level decision"]
    agent --> trace["Complete investigation trajectory"]
    decision --> results["Scoring and aggregate results"]
    trace --> dashboard["Session dashboard"]

Данные и результаты

Ресурс	Содержимое
Датасет и страница артефактов на Hugging Face	Канонический релиз с 44 PCAP-файлами, всеми 4 752 траекториями расследований, вариантами промптов, конфигурациями моделей, агрегированными результатами, информацией о лицензировании и метаданными цитирования
Интерактивный портал результатов	Таблицы результатов, семь иллюстраций исследования, сравнения моделей и полная панель сессий

Этот репозиторий содержит реализацию под лицензией MIT и рабочий процесс воспроизведения. Сопутствующая рукопись Матьё Орейля (Matthieu Aureille) и Яна Фесла (Jan Fesl) подана на рецензирование; публичная ссылка будет добавлена, когда она станет доступна.

Покрытие датасета

Условие трафика	Состав захвата
Низкий фон	Трафик сценария и обычная активность простоя тестового стенда без сгенерированного фонового трафика
Сгенерированный высокий фон	Тот же тип сценария в сочетании с существенно большим объёмом автоматически сгенерированного доброкачественного трафика

Каждое условие содержит 11 захватов атак и 11 доброкачественных захватов. Каждый захват имеет один фиксированный ожидаемый результат.

Классы атак

Таблица представляет ориентированную на читателя интерпретацию обобщённых меток бенчмарка. Лежащие в основе названия атак, названия сканирований и названия инструментов не показывались LLM. В промптах использовались только Attack 1–Attack 11, а также описывались наблюдаемые характеристики трафика.

В сгенерированных файлах промптов «анонимизированные атаки» означают, что названия атак были заменены обобщёнными метками; сами пакетные данные не были анонимизированы.

Метка бенчмарка	Ориентировочный лежащий в основе класс (не показан LLM)
Attack 1	TCP ACK-флуд с использованием IP-фрагментации
Attack 2	ARP-спуфинг
Attack 3	DNS-флуд
Attack 4	FIN-сканирование
Attack 5	ICMP-флуд с фрагментацией
Attack 6	NULL-сканирование
Attack 7	Сканирование портов TCP SYN (`nmap -sS`)
Attack 8	Slowloris
Attack 9	UDP-флуд с фрагментацией
Attack 10	UDP-сканирование
Attack 11	Xmas-сканирование

Навигация по репозиторию

Цель	С чего начать
Воспроизвести бенчмарк	`RUNBOOK.md`
Понять реализацию	`scripts/README.md`
Изучить конфигурацию бенчмарка и варианты промптов	`config/` и `prompts/`
Просмотреть метаданные моделей, программного обеспечения, тестового стенда и парсеров	`reproducibility/` и `vllm_parsers/`
Изучить сгенерированные иллюстрации и панели	`docs/`

Схема реализации

flowchart LR
    entry["scripts/*.py<br/>command-line entry points"] --> benchmark["benchmark/<br/>execute · schedule · resume"]
    entry --> reporting["reporting/<br/>score · aggregate · publish"]
    entry --> orchestration["orchestration/<br/>optional remote model lifecycle"]

    sources["config/ · prompts/ · PCAP workspaces"] --> benchmark
    orchestration --> benchmark
    benchmark --> artifacts["Retained run artifacts"]
    artifacts --> reporting
    reporting --> outputs["CSVs · figures · dashboards"]

Общие утилиты для путей, рабочих пространств, OpenCode, рендеринга и результатов находятся непосредственно в scripts/agentic_pcap/. Полная карта внутренних модулей описана в scripts/README.md.

Воспроизведение бенчмарка

Реализация на Python использует только стандартную библиотеку. Для живых исследований также требуются OpenCode, TShark, tcpdump, стандартные Unix-утилиты, рабочие пространства PCAP и настроенный провайдер модели.

[!WARNING] Агент выполняет неограниченные shell-команды. Запускайте его только в изолированном контейнере или одноразовой виртуальной машине.

Следуйте руководству по запуску на чистой машине для настройки Debian/Ubuntu, конфигурации vLLM под конкретное оборудование, выполнения, восстановления и генерации дашборда. Исторические команды запуска документируют среду исследования; config/benchmark_orchestrator.local.json — это шаблон для новой машины.

Никакая выборка или переопределение seed не применялись. Точные метаданные выполнения сохранены в reproducibility/, а готовые сессии и дашборды доступны в каноническом релизе Hugging Face.

Цитирование

Если вы используете этот бенчмарк, пожалуйста, цитируйте датасет Hugging Face и ссылайтесь на этот репозиторий кода на GitHub.

Рекомендуемая ссылка на датасет

M. Aureille and J. Fesl, “Agentic LLMs for Network Attack Detection,” version 1.0.0, Hugging Face dataset, 2026. [Online]. Available: https://huggingface.co/datasets/maureille/agentic-pcap

BibTeX

@misc{aureille2026agentic,
  author       = {Matthieu Aureille and Jan Fesl},
  title        = {Agentic LLMs for Network Attack Detection},
  year         = {2026},
  howpublished = {Hugging Face dataset},
  note         = {Version 1.0.0},
  url          = {https://huggingface.co/datasets/maureille/agentic-pcap}
}

Машиночитаемые метаданные цитирования программного обеспечения для этого репозитория доступны в CITATION.cff.

Лицензия

Этот проект использует отдельные лицензии для своих программных и данных компонентов:

agentic-pcap

Популярное