maureille/agentic-pcapBenchmark-Code und interaktive Ergebnisse für die autonome Erkennung von Netzwerkangriffen durch werkzeugnutzende LLM-Agenten, die rohe PCAPs untersuchen.
Kann ein werkzeugnutzender LLM-Agent eigenständig einen rohen Netzwerk-Mitschnitt untersuchen und einen Angriff identifizieren?
Welche Paketanalyse-Abfragen wird er wählen, und kann er wirksam bleiben, wenn derselbe Datenverkehr von deutlich mehr Hintergrundaktivität umgeben ist?
Dieses Projekt bewertet, ob ein werkzeugnutzendes LLM einen Angriff direkt aus einem rohen Paket-Mitschnitt identifizieren kann und wie sich seine Untersuchung unter schwererem gutartigen Hintergrundverkehr verändert. Jede Untersuchung beginnt mit einem PCAP-Pfad und allgemeinen Beschreibungen von 11 möglichen Angriffen. Das Modell erhält keine vorberechneten Paketmerkmale oder Verkehrszusammenfassung.
flowchart TB
low["Low background<br/>11 attack captures + 11 benign captures"] --> matrix
high["Generated high background<br/>11 attack captures + 11 benign captures"] --> matrix
prompts["6 prompt variants<br/>generic labels and observable descriptions"] --> matrix
configurations["18 model/reasoning configurations"] --> matrix
matrix["44 PCAPs × 6 prompts × 18 configurations<br/>4,752 completed investigations"]
matrix -->|"PCAP path; no precomputed features"| agent["Tool-using OpenCode agent"]
agent -->|"selects a query"| tools["Packet-analysis and shell tools"]
tools -->|"returns observations"| agent
agent --> decision["One capture-level decision"]
agent --> trace["Complete investigation trajectory"]
decision --> results["Scoring and aggregate results"]
trace --> dashboard["Session dashboard"]
| Ressource | Inhalte |
|---|---|
| Hugging Face Dataset- und Artefaktseite | Kanonische Veröffentlichung mit den 44 PCAPs, allen 4.752 Untersuchungstrajektorien, Prompt-Varianten, Modellkonfigurationen, aggregierten Ergebnissen, Lizenzinformationen und Zitationsmetadaten |
| Interaktives Ergebnisportal | Ergebnistabellen, sieben Studienabbildungen, Modellvergleiche und das vollständige Sitzungs-Dashboard |
Dieses Repository enthält die MIT-lizenzierte Implementierung und den Reproduktions-Workflow. Das begleitende Manuskript von Matthieu Aureille und Jan Fesl wurde zur Peer-Review eingereicht; ein öffentlicher Link wird hinzugefügt, sobald er verfügbar ist.
| Verkehrsbedingung | Zusammensetzung der Aufzeichnung |
|---|---|
| Geringer Hintergrund | Szenarioverkehr und normale Leerlaufaktivität der Testumgebung, ohne generierten Hintergrundverkehr |
| Generierter hoher Hintergrund | Derselbe Szenariotyp kombiniert mit deutlich mehr automatisch generiertem benignem Verkehr |
Jede Bedingung enthält 11 Angriffsaufzeichnungen und 11 benigne Aufzeichnungen. Jede Aufzeichnung hat eine feste erwartete Ausgabe.
Die Tabelle bietet eine leserorientierte Interpretation der generischen Benchmark-
Labels. Zugrundeliegende Angriffsnamen, Scan-Namen und Tool-Namen wurden dem
LLM nicht angezeigt. Prompts verwendeten nur Attack 1 bis Attack 11 und beschrieben
beobachtbare Verkehrsmerkmale.
In den generierten Prompt-Dateien bedeutet „anonymisierte Angriffe“, dass Angriffsnamen durch generische Labels ersetzt wurden; die Paketdaten selbst wurden nicht anonymisiert.
| Benchmark-Label | Indikative zugrundeliegende Klasse (dem LLM nicht angezeigt) |
|---|---|
| Attack 1 | TCP-ACK-Flood unter Verwendung von IP-Fragmentierung |
| Attack 2 | ARP-Spoofing |
| Attack 3 | DNS-Flood |
| Attack 4 | FIN-Scan |
| Attack 5 | ICMP-Fragmentierungs-Flood |
| Attack 6 | NULL-Scan |
| Attack 7 | TCP-SYN-Portscan (nmap -sS) |
| Attack 8 | Slowloris |
| Attack 9 | UDP-Fragmentierungs-Flood |
| Attack 10 | UDP-Scan |
| Attack 11 | Xmas-Scan |
| Ziel | Hier beginnen |
|---|---|
| Den Benchmark reproduzieren | RUNBOOK.md |
| Die Implementierung verstehen | scripts/README.md |
| Benchmark-Konfiguration und Prompt-Varianten einsehen | config/ und prompts/ |
| Modell-, Software-, Testumgebungs- und Parser-Metadaten überprüfen | reproducibility/ und vllm_parsers/ |
| Generierte Abbildungen und Dashboards erkunden | docs/ |
flowchart LR
entry["scripts/*.py<br/>command-line entry points"] --> benchmark["benchmark/<br/>execute · schedule · resume"]
entry --> reporting["reporting/<br/>score · aggregate · publish"]
entry --> orchestration["orchestration/<br/>optional remote model lifecycle"]
sources["config/ · prompts/ · PCAP workspaces"] --> benchmark
orchestration --> benchmark
benchmark --> artifacts["Retained run artifacts"]
artifacts --> reporting
reporting --> outputs["CSVs · figures · dashboards"]
Gemeinsame Pfad-, Workspace-, OpenCode-, Rendering- und Ergebnis-Hilfsfunktionen liegen direkt unter scripts/agentic_pcap/. Die vollständige interne Modulübersicht ist in scripts/README.md dokumentiert.
Die Python-Implementierung verwendet ausschließlich die Standardbibliothek. Live-Untersuchungen erfordern zusätzlich OpenCode, TShark, tcpdump, gängige Unix-Werkzeuge, die PCAP-Workspaces und einen konfigurierten Modellanbieter.
[!WARNING] Der Agent führt uneingeschränkte Shell-Befehle aus. Führen Sie ihn nur in einem isolierten Container oder einer wegwerfbaren virtuellen Maschine aus.
Befolgen Sie den Leitfaden zur Ausführung auf einer frischen Maschine für die Einrichtung unter Debian/Ubuntu, die hardwarespezifische vLLM-Konfiguration, die Ausführung, die Wiederherstellung und die Dashboard-Erstellung. Historische Startbefehle dokumentieren die Studienumgebung; config/benchmark_orchestrator.local.json ist die Vorlage für eine neue Maschine.
Es wurde keine Sampling- oder Seed-Überschreibung angewendet. Exakte Laufzeit-Metadaten sind unter reproducibility/ aufbewahrt, und vorgefertigte Sitzungen und Dashboards sind im kanonischen Hugging-Face-Release verfügbar.
Wenn Sie diesen Benchmark verwenden, zitieren Sie bitte den Hugging-Face-Datensatz und verweisen Sie auf dieses GitHub-Code-Repository.
Empfohlene Datensatz-Zitation
M. Aureille und J. Fesl, „Agentic LLMs for Network Attack Detection,“ Version 1.0.0, Hugging Face dataset, 2026. [Online]. Verfügbar: https://huggingface.co/datasets/maureille/agentic-pcap
BibTeX
@misc{aureille2026agentic,
author = {Matthieu Aureille and Jan Fesl},
title = {Agentic LLMs for Network Attack Detection},
year = {2026},
howpublished = {Hugging Face dataset},
note = {Version 1.0.0},
url = {https://huggingface.co/datasets/maureille/agentic-pcap}
}
Maschinenlesbare Software-Zitationsmetadaten für dieses Repository sind
in CITATION.cff verfügbar.
Dieses Projekt verwendet separate Lizenzen für seine Software- und Datenkomponenten: