maureille/agentic-pcapटूल-उपयोग करने वाले LLM एजेंटों द्वारा कच्चे PCAPs की जाँच करते हुए स्वायत्त नेटवर्क-हमला पहचान के लिए बेंचमार्क कोड और इंटरैक्टिव परिणाम।
क्या टूल-उपयोग करने वाला LLM एजेंट स्वतंत्र रूप से एक कच्चे नेटवर्क कैप्चर की जाँच कर सकता है और किसी आक्रमण की पहचान कर सकता है?
यह कौन-सी पैकेट-विश्लेषण क्वेरीज़ चुनेगा, और क्या यह तब भी प्रभावी रह सकता है जब वही ट्रैफ़िक बहुत अधिक पृष्ठभूमि गतिविधि से घिरा हो?
यह प्रोजेक्ट मूल्यांकन करता है कि क्या टूल-उपयोग करने वाला LLM सीधे एक कच्चे पैकेट कैप्चर से किसी आक्रमण की पहचान कर सकता है और भारी सामान्य पृष्ठभूमि ट्रैफ़िक के अंतर्गत इसकी जाँच कैसे बदलती है। प्रत्येक जाँच एक PCAP पथ और 11 संभावित आक्रमणों के सामान्य विवरणों से शुरू होती है। मॉडल को कोई पूर्व-गणना किया गया पैकेट फ़ीचर या ट्रैफ़िक सारांश नहीं दिया जाता।
flowchart TB
low["Low background<br/>11 attack captures + 11 benign captures"] --> matrix
high["Generated high background<br/>11 attack captures + 11 benign captures"] --> matrix
prompts["6 prompt variants<br/>generic labels and observable descriptions"] --> matrix
configurations["18 model/reasoning configurations"] --> matrix
matrix["44 PCAPs × 6 prompts × 18 configurations<br/>4,752 completed investigations"]
matrix -->|"PCAP path; no precomputed features"| agent["Tool-using OpenCode agent"]
agent -->|"selects a query"| tools["Packet-analysis and shell tools"]
tools -->|"returns observations"| agent
agent --> decision["One capture-level decision"]
agent --> trace["Complete investigation trajectory"]
decision --> results["Scoring and aggregate results"]
trace --> dashboard["Session dashboard"]
| संसाधन | सामग्री |
|---|---|
| Hugging Face डेटासेट और आर्टिफैक्ट पृष्ठ | 44 PCAPs, सभी 4,752 जाँच प्रक्षेपपथ, प्रॉम्प्ट वेरिएंट, मॉडल कॉन्फ़िगरेशन, समग्र परिणाम, लाइसेंसिंग जानकारी और उद्धरण मेटाडेटा के साथ विहित रिलीज़ |
| इंटरैक्टिव परिणाम पोर्टल | परिणाम तालिकाएँ, सात अध्ययन आंकड़े, मॉडल तुलनाएँ और पूर्ण सत्र डैशबोर्ड |
इस रिपॉज़िटरी में MIT-लाइसेंस प्राप्त कार्यान्वयन और पुनरुत्पादन वर्कफ़्लो शामिल है। Matthieu Aureille और Jan Fesl द्वारा सह-लेखित संलग्न पांडुलिपि सहकर्मी समीक्षा के लिए प्रस्तुत की गई है; उपलब्ध होने पर एक सार्वजनिक लिंक जोड़ा जाएगा।
| ट्रैफ़िक स्थिति | कैप्चर संरचना |
|---|---|
| कम पृष्ठभूमि | परिदृश्य ट्रैफ़िक और सामान्य टेस्टबेड निष्क्रिय गतिविधि, उत्पन्न पृष्ठभूमि ट्रैफ़िक के बिना |
| उत्पन्न उच्च पृष्ठभूमि | परिदृश्य का वही प्रकार जिसे काफ़ी अधिक स्वचालित रूप से उत्पन्न सौम्य ट्रैफ़िक के साथ संयोजित किया गया है |
प्रत्येक स्थिति में 11 आक्रमण कैप्चर और 11 सौम्य कैप्चर हैं। प्रत्येक कैप्चर का एक निश्चित अपेक्षित आउटपुट है।
यह तालिका सामान्य बेंचमार्क लेबलों की पाठक-उन्मुख व्याख्या प्रदान करती है। अंतर्निहित आक्रमण नाम, स्कैन नाम और टूल नाम LLM को नहीं दिखाए गए थे। प्रॉम्प्ट में केवल Attack 1 से Attack 11 तक का उपयोग किया गया और अवलोकनीय ट्रैफ़िक विशेषताओं का वर्णन किया गया।
उत्पन्न प्रॉम्प्ट फ़ाइलों में, "anonymized attacks" का अर्थ है कि आक्रमण नामों को सामान्य लेबलों से बदल दिया गया था; पैकेट डेटा को स्वयं अनाम नहीं किया गया था।
| बेंचमार्क लेबल | सांकेतिक अंतर्निहित वर्ग (LLM को नहीं दिखाया गया) |
|---|---|
| Attack 1 | IP विखंडन का उपयोग करते हुए TCP ACK फ़्लड |
| Attack 2 | ARP स्पूफ़िंग |
| Attack 3 | DNS फ़्लड |
| Attack 4 | FIN स्कैन |
| Attack 5 | ICMP विखंडन फ़्लड |
| Attack 6 | NULL स्कैन |
| Attack 7 | TCP SYN पोर्ट स्कैन (nmap -sS) |
| Attack 8 | Slowloris |
| Attack 9 | UDP विखंडन फ़्लड |
| Attack 10 | UDP स्कैन |
| Attack 11 | Xmas स्कैन |
| लक्ष्य | यहाँ से शुरू करें |
|---|---|
| बेंचमार्क का पुनरुत्पादन करें | RUNBOOK.md |
| कार्यान्वयन को समझें | scripts/README.md |
| बेंचमार्क कॉन्फ़िगरेशन और प्रॉम्प्ट वेरिएंट का निरीक्षण करें | config/ और prompts/ |
| मॉडल, सॉफ़्टवेयर, टेस्टबेड और पार्सर मेटाडेटा की समीक्षा करें | reproducibility/ और vllm_parsers/ |
| उत्पन्न आंकड़े और डैशबोर्ड देखें | docs/ |
flowchart LR
entry["scripts/*.py<br/>command-line entry points"] --> benchmark["benchmark/<br/>execute · schedule · resume"]
entry --> reporting["reporting/<br/>score · aggregate · publish"]
entry --> orchestration["orchestration/<br/>optional remote model lifecycle"]
sources["config/ · prompts/ · PCAP workspaces"] --> benchmark
orchestration --> benchmark
benchmark --> artifacts["Retained run artifacts"]
artifacts --> reporting
reporting --> outputs["CSVs · figures · dashboards"]
साझा पथ, कार्यक्षेत्र, OpenCode, रेंडरिंग, और परिणाम उपयोगिताएँ सीधे
scripts/agentic_pcap/ के अंतर्गत स्थित हैं। पूरा आंतरिक मॉड्यूल मैप
scripts/README.md में प्रलेखित है।
Python कार्यान्वयन केवल मानक लाइब्रेरी का उपयोग करता है। लाइव जाँच के लिए
OpenCode, TShark, tcpdump, सामान्य Unix टूल्स, PCAP कार्यक्षेत्र, और एक
कॉन्फ़िगर किया गया मॉडल प्रदाता भी आवश्यक है।
[!WARNING] एजेंट अप्रतिबंधित शेल कमांड निष्पादित करता है। इसे केवल एक पृथक कंटेनर या डिस्पोज़ेबल वर्चुअल मशीन में चलाएँ।
Debian/Ubuntu सेटअप, हार्डवेयर-विशिष्ट vLLM कॉन्फ़िगरेशन, निष्पादन, रिकवरी, और डैशबोर्ड
जनरेशन के लिए fresh-machine execution guide का पालन करें। ऐतिहासिक लॉन्च कमांड अध्ययन वातावरण का दस्तावेज़ीकरण करते हैं;
config/benchmark_orchestrator.local.json एक नई मशीन के लिए टेम्पलेट है।
कोई सैंपलिंग या सीड ओवरराइड लागू नहीं किया गया था। सटीक रनटाइम मेटाडेटा
reproducibility/ के अंतर्गत संरक्षित है, और पूर्व-निर्मित सत्र और
डैशबोर्ड कैनोनिकल Hugging Face रिलीज़ से उपलब्ध हैं।
यदि आप इस बेंचमार्क का उपयोग करते हैं, तो कृपया Hugging Face dataset का उद्धरण दें और इस GitHub code repository का संदर्भ दें।
सुझाया गया डेटासेट उद्धरण
M. Aureille and J. Fesl, “Agentic LLMs for Network Attack Detection,” version 1.0.0, Hugging Face dataset, 2026. [Online]. Available: https://huggingface.co/datasets/maureille/agentic-pcap
BibTeX
@misc{aureille2026agentic,
author = {Matthieu Aureille and Jan Fesl},
title = {Agentic LLMs for Network Attack Detection},
year = {2026},
howpublished = {Hugging Face dataset},
note = {Version 1.0.0},
url = {https://huggingface.co/datasets/maureille/agentic-pcap}
}
इस रिपॉज़िटरी के लिए मशीन-पठनीय सॉफ़्टवेयर उद्धरण मेटाडेटा
CITATION.cff में उपलब्ध है।
यह प्रोजेक्ट अपने सॉफ़्टवेयर और डेटा घटकों के लिए अलग-अलग लाइसेंस का उपयोग करता है: