네트워크 공격 탐지를 위한 에이전틱 LLM

도구를 사용하는 LLM 에이전트가 원시 네트워크 캡처를 독립적으로 조사하여 공격을 식별할 수 있는가?

어떤 패킷 분석 쿼리를 선택할 것이며, 동일한 트래픽이 훨씬 더 많은 배경 활동에 둘러싸여 있을 때에도 효과를 유지할 수 있는가?

이 프로젝트는 도구를 사용하는 LLM이 원시 패킷 캡처로부터 직접 공격을 식별할 수 있는지, 그리고 더 많은 정상 배경 트래픽 환경에서 그 조사 방식이 어떻게 달라지는지를 평가한다. 각 조사는 PCAP 경로와 11가지 가능한 공격에 대한 일반적인 설명으로 시작된다. 모델은 사전 계산된 패킷 특징이나 트래픽 요약을 제공받지 않는다.

한눈에 보는 벤치마크

flowchart TB
    low["Low background<br/>11 attack captures + 11 benign captures"] --> matrix
    high["Generated high background<br/>11 attack captures + 11 benign captures"] --> matrix
    prompts["6 prompt variants<br/>generic labels and observable descriptions"] --> matrix
    configurations["18 model/reasoning configurations"] --> matrix

    matrix["44 PCAPs × 6 prompts × 18 configurations<br/>4,752 completed investigations"]
    matrix -->|"PCAP path; no precomputed features"| agent["Tool-using OpenCode agent"]

    agent -->|"selects a query"| tools["Packet-analysis and shell tools"]
    tools -->|"returns observations"| agent

    agent --> decision["One capture-level decision"]
    agent --> trace["Complete investigation trajectory"]
    decision --> results["Scoring and aggregate results"]
    trace --> dashboard["Session dashboard"]

데이터 및 결과

리소스	내용
Hugging Face 데이터셋 및 아티팩트 페이지	44개의 PCAP, 4,752개의 조사 궤적 전체, 프롬프트 변형, 모델 구성, 집계 결과, 라이선스 정보, 인용 메타데이터를 포함한 정식 릴리스
대화형 결과 포털	결과 표, 7개의 연구 그림, 모델 비교, 전체 세션 대시보드

이 저장소에는 MIT 라이선스가 적용된 구현과 재현 워크플로가 포함되어 있습니다. Matthieu Aureille과 Jan Fesl이 작성한 동반 논문은 동료 심사를 위해 제출되었으며, 공개 링크는 제공되는 대로 추가될 예정입니다.

데이터셋 범위

트래픽 조건	캡처 구성
낮은 배경	생성된 배경 트래픽 없이 시나리오 트래픽과 정상적인 테스트베드 유휴 활동
생성된 높은 배경	동일한 유형의 시나리오에 자동 생성된 다량의 양성 트래픽을 결합

각 조건에는 11개의 공격 캡처와 11개의 양성 캡처가 포함되어 있습니다. 모든 캡처에는 하나의 고정된 예상 출력이 있습니다.

공격 클래스

이 표는 일반 벤치마크 레이블에 대한 독자용 해석을 제공합니다. 기저의 공격 이름, 스캔 이름, 도구 이름은 LLM에 표시되지 않았습니다. 프롬프트는 Attack 1부터 Attack 11까지만 사용했으며 관찰 가능한 트래픽 특성을 설명했습니다.

생성된 프롬프트 파일에서 "익명화된 공격"은 공격 이름이 일반 레이블로 대체되었음을 의미하며, 패킷 데이터 자체는 익명화되지 않았습니다.

벤치마크 레이블	표시적 기저 클래스 (LLM에 표시되지 않음)
Attack 1	IP 단편화를 이용한 TCP ACK 플러드
Attack 2	ARP 스푸핑
Attack 3	DNS 플러드
Attack 4	FIN 스캔
Attack 5	ICMP 단편화 플러드
Attack 6	NULL 스캔
Attack 7	TCP SYN 포트 스캔 (`nmap -sS`)
Attack 8	Slowloris
Attack 9	UDP 단편화 플러드
Attack 10	UDP 스캔
Attack 11	Xmas 스캔

저장소 안내

목표	시작 지점
벤치마크 재현	`RUNBOOK.md`
구현 이해	`scripts/README.md`
벤치마크 구성 및 프롬프트 변형 검토	`config/` 및 `prompts/`
모델, 소프트웨어, 테스트베드, 파서 메타데이터 검토	`reproducibility/` 및 `vllm_parsers/`
생성된 그림 및 대시보드 탐색	`docs/`

구현 흐름

flowchart LR
    entry["scripts/*.py<br/>command-line entry points"] --> benchmark["benchmark/<br/>execute · schedule · resume"]
    entry --> reporting["reporting/<br/>score · aggregate · publish"]
    entry --> orchestration["orchestration/<br/>optional remote model lifecycle"]

    sources["config/ · prompts/ · PCAP workspaces"] --> benchmark
    orchestration --> benchmark
    benchmark --> artifacts["Retained run artifacts"]
    artifacts --> reporting
    reporting --> outputs["CSVs · figures · dashboards"]

공유 경로, 워크스페이스, OpenCode, 렌더링 및 결과 유틸리티는 scripts/agentic_pcap/ 바로 아래에 있습니다. 전체 내부 모듈 맵은 scripts/README.md에 문서화되어 있습니다.

벤치마크 재현

Python 구현은 표준 라이브러리만 사용합니다. 라이브 조사에는 OpenCode, TShark, tcpdump, 일반적인 Unix 도구, PCAP 워크스페이스, 그리고 구성된 모델 제공자가 추가로 필요합니다.

[!WARNING] 에이전트는 제한 없는 셸 명령을 실행합니다. 격리된 컨테이너 또는 일회용 가상 머신에서만 실행하십시오.

Debian/Ubuntu 설정, 하드웨어별 vLLM 구성, 실행, 복구 및 대시보드 생성에 대해서는 새 머신 실행 가이드를 따르십시오. 과거 실행 명령은 연구 환경을 문서화한 것이며, config/benchmark_orchestrator.local.json은 새 머신을 위한 템플릿입니다.

샘플링이나 시드 재정의는 적용되지 않았습니다. 정확한 런타임 메타데이터는 reproducibility/ 아래에 보존되어 있으며, 미리 빌드된 세션과 대시보드는 정식 Hugging Face 릴리스에서 이용할 수 있습니다.

인용

이 벤치마크를 사용하는 경우 Hugging Face 데이터셋을 인용하고 이 GitHub 코드 저장소를 참조하십시오.

데이터셋 인용 제안

M. Aureille and J. Fesl, “Agentic LLMs for Network Attack Detection,” version 1.0.0, Hugging Face dataset, 2026. [Online]. Available: https://huggingface.co/datasets/maureille/agentic-pcap

BibTeX

@misc{aureille2026agentic,
  author       = {Matthieu Aureille and Jan Fesl},
  title        = {Agentic LLMs for Network Attack Detection},
  year         = {2026},
  howpublished = {Hugging Face dataset},
  note         = {Version 1.0.0},
  url          = {https://huggingface.co/datasets/maureille/agentic-pcap}
}

이 저장소에 대한 기계 판독 가능한 소프트웨어 인용 메타데이터는 CITATION.cff에서 확인할 수 있습니다.

라이선스

이 프로젝트는 소프트웨어와 데이터 구성 요소에 대해 별도의 라이선스를 사용합니다:

구성 요소	라이선스	적용 범위
소프트웨어	MIT	벤치마크, 오케스트레이션, 채점, 프롬프트 생성, 대시보드 생성 및 GitHub Pages 프레젠테이션 코드
미러링된 Gemma 4 템플릿	Apache 2.0	`vllm_parsers/` 아래의 두 가지 서드파티 Jinja 템플릿; 불변 소스와 해시는 `vllm_parsers/README.md`에 기록되어 있음
데이터셋 및 실험 산출물	CC BY 4.0	PCAP, 캡처 메타데이터, 공격 설명, 제출된 프롬프트, 세션, 결정, 표, 그림 및 내장된 벤치마크 데이터; 전체 라이선스는 Hugging Face 데이터셋과 함께 제공됨

저작자 표시 및 재배포

데이터셋 및 실험 산출물의 재사용, 재배포, 수정 및 상업적 이용은 CC BY 4.0에 따라 허용됩니다. 데이터셋 또는 수정된 버전을 공유할 때는 Matthieu Aureille과 Jan Fesl을 저작자로 표시하고, 정식 Hugging Face 릴리스 및 CC BY 4.0 라이선스로 연결하며, 변경 사항이 있었는지 여부를 명시해야 합니다. 비공식 미러 및 파생 릴리스는 그러한 사실을 명확히 밝히고 정식 릴리스로 다시 연결해야 합니다.

docs/ 전반에 걸쳐 HTML/CSS/JavaScript 프레젠테이션 소프트웨어는 MIT의 적용을 받는 반면, 페이지에 내장된 조사 기록, 지표, 표 및 그림은 CC BY 4.0의 적용을 계속 받습니다.

agentic-pcap

인기