socbench

फ्रंटियर रीज़निंग LLM को SOC एजेंट के रूप में कच्चे NetFlow डेटा पर बेंचमार्क करें।

socbench फ्रंटियर रीज़निंग मॉडल को SOC एजेंट के रूप में बेंचमार्क करता है: प्रत्येक मॉडल एक निर्धारक, पूर्व-अनुक्रमित NetFlow कॉर्पस के विरुद्ध एक सीमित मल्टी-टर्न एजेंट लूप चलाता है, जिसमें persona-स्कोप्ड रीड-ओनली टूल्स, प्रति जांच निश्चित डॉलर सीमा, और एक सख्त अंतिम-उत्तर JSON अनुबंध होता है। चार personas (SOC Analyst, Threat Analyst, Adversary Hunter, Detection Engineer) और तीन प्रदाता (OpenAI, Anthropic, Google) समान eval इकाइयाँ, स्कोरिंग लेंस, और ablation सतह साझा करते हैं ताकि मुख्य संख्याएँ और tools_off / playbooks_off डेल्टा सीधे तुलनीय हों।

रिपॉजिटरी स्थानीय-प्रथम है। एक लैपटॉप, तीन API कुंजियाँ, और रिपोजिटरी में प्रतिबद्ध एक नमूना parquet $10 बजट के तहत एक स्मोक उत्पन्न करने के लिए पर्याप्त है।

स्थिति

अल्फा। पूरी पाइपलाइन एंड-टू-एंड चलती है। निर्माण कवरेज:

• Step 1: पैकेज स्केलेटन, अनुबंध, कॉन्फिग, स्कीमा
• Step 2: इंडेक्स बिल्डर (socbench build-index) निर्धारक content-addressed इंडेक्स के साथ
• Step 3: persona अनुमति सूची + नमूना बिल्डर के साथ रीड-ओनली टूल्स लेयर
• Step 4: personas, playbooks, प्रॉम्प्ट कंपोज़ + forbidden-टोकन जाँच
• Step 5: प्रदाता एडेप्टर (OpenAI / Anthropic / Gemini + हमेशा-चालू मॉक) और बजट सीमाओं और लागत/विलंबता रोलअप के साथ मल्टी-टर्न एजेंट लूप
• Step 6: स्कोरिंग (प्रति-प्रवाह / प्रति-जोड़ी / प्रति-होस्ट F1), स्तरीकृत नमूनाकरण, ablation एकत्रीकरण
• Step 7: क्विकस्टार्ट + परिणाम-एक्सप्लोरर नोटबुक; REPRODUCE.md में पुनरुत्पादन निर्देश

आप आज कोई API कुंजी नहीं के साथ मॉक प्रदाता के माध्यम से एक पूर्ण स्मोक चला सकते हैं (क्विकस्टार्ट चरण 3, या notebooks/quickstart.ipynb देखें)।

स्थापना

socbench एक मानक PEP 621 / hatchling परियोजना के रूप में वितरित होता है। कोई भी स्थापना पथ काम करता है।

uv के साथ (विकास के लिए अनुशंसित)

curl -LsSf https://astral.sh/uv/install.sh | sh

git clone https://github.com/DeepTempo/socbench.git
cd socbench

uv venv --python 3.11
source .venv/bin/activate
uv pip install -e ".[dev,providers]"

सादे pip के साथ

git clone https://github.com/DeepTempo/socbench.git
cd socbench

python3.11 -m venv .venv
source .venv/bin/activate
pip install -e ".[dev,providers]"

किसी भी तरह, socbench --help अब उपलब्ध उपकमांडों को सूचीबद्ध करना चाहिए।

कॉन्फ़िगरेशन

config/benchmark_config.yaml सुरक्षित डिफ़ॉल्ट प्रेषित करता है: स्मोक cost_budget_usd: 10, पूर्ण cost_budget_usd: 900, निश्चित cost_usd_cap_per_rendering: 0.50। इसके अंदर के पथ जो सहयोगी कॉन्फ़िग फ़ाइलों (schema_path, pricing_path) पर इंगित करते हैं, YAML की अपनी निर्देशिका के सापेक्ष हल होते हैं, इसलिए config/ का नाम बदलने या स्थानांतरित करने पर कोई कोड संपादन की आवश्यकता नहीं होती।

क्विकस्टार्ट

1. एक parquet डेटासेट से content-addressed इंडेक्स बनाएँ

socbench build-index \
  --config config/benchmark_config.yaml \
  --dataset sample

यह parquet को config/schema.json के विरुद्ध सामान्यीकृत करता है, निर्धारक टाई-ब्रेकिंग के साथ वैश्विक रूप से ts_start द्वारा सॉर्ट करता है, स्थिर flow_id असाइन करता है, pair_timeline / host_egress eval इकाइयाँ प्राप्त करता है, रोलअप की गणना करता है, और indexes/<dataset_hash>/ पर लिखता है।

उसी डेटा पर कमांड को फिर से चलाना एक no-op है। पुनर्निर्माण को बाध्य करने के लिए --rebuild पास करें।

2. टूल लेयर का निरीक्षण करें

socbench tools-smoke \
  --dataset-hash <dataset_hash> \
  --persona soc_analyst

यह persona की अनुमति सूची में प्रत्येक टूल को बनाए गए इंडेक्स के विरुद्ध आमंत्रित करता है और एक सारांश प्रिंट करता है, बिना किसी मॉडल कॉल के।

3. बेंचमार्क चलाएँ

# मुफ्त, निर्धारक, कोई API कुंजी नहीं (मॉक प्रदाता):
socbench run --dataset-hash <dataset_hash> --providers mock --personas all

# वास्तविक मॉडल (`pip install -e ".[providers]"` + API कुंजियों को निर्यात करने के बाद):
socbench run --dataset-hash <dataset_hash> --providers all --personas all

इकाई चयन डिफ़ॉल्ट रूप से स्तरीकृत नमूनाकरण है, (dataset_hash, sample_seed, mode) में निर्धारक। प्रत्येक (unit × persona × provider) रेंडरिंग एक सीमित मल्टी-टर्न एजेंट लूप चलाता है; परिणाम runs/<run_id>/ के अंतर्गत आते हैं जिसमें summary.json (स्कोरिंग + लागत + कैश रोलअप), eval_units_summary.jsonl, predictions_raw.jsonl, renderings.jsonl, tool_calls.jsonl, और prompts_used/ होते हैं।

4. Ablations चलाएँ और डेल्टा एकत्रित करें

socbench run --dataset-hash <dataset_hash> --ablation tools_off --providers mock --personas all
socbench aggregate --dataset-hash <dataset_hash>
# → ablations/<dataset_hash>/<seed>/ablation_summary.json  (tools_off → मुख्य डेल्टा)

5. अन्वेषण करें

notebooks/quickstart.ipynb पूरा लूप चलाता है (यह एक नमूना डेटासेट संश्लेषित करता है ताकि इसे प्रतिबद्ध डेटा की आवश्यकता न हो) और प्रति-persona F1 प्लॉट करता है। notebooks/results_explorer.ipynb किसी भी runs/<run_id>/ को लोड करता है और परिणामों को स्तर, persona, और प्रदाता द्वारा स्लाइस करता है। pip install -e ".[notebooks]" के साथ स्थापित करें।

बेंचमार्क का विस्तार

विकसित होने के लिए डिज़ाइन किया गया प्रत्येक इंटरफ़ेस एक रजिस्ट्री या एक YAML कुंजी है:

• नया टूल: src/socbench/tools/catalog/<name>.py के अंतर्गत Tool उपवर्ग के साथ एक नई फ़ाइल ड्रॉप करें, इसे ALL_TOOLS में जोड़कर src/socbench/tools/catalog/__init__.py में पंजीकृत करें, फिर config/benchmark_config.yaml में उपयुक्त persona tools: सूचियों में इसका नाम जोड़ें। tools_manifest_sha स्वचालित रूप से शिफ्ट होता है। फ़ाइल नाम, YAML नाम, और मैट्रिक्स प्रविष्टि डिज़ाइन द्वारा 1:1 हैं।
• नई eval-इकाई प्रकार: src/socbench/index.py में एक असाइनर और src/socbench/models.py में EvalUnitType के लिए एक मिलान Literal जोड़ें।
• नया प्रदाता एडेप्टर: एक नई src/socbench/providers/<name>_adapter.py में ABC लागू करें, इसे में फैक्ट्री में पंजीकृत करें, और में के अंतर्गत एक प्रविष्टि जोड़ें। मूल्य निर्धारण में जाता है। SDK आयात आलसी रहते हैं ताकि निर्भरता वैकल्पिक हो।

पद्धति

पूर्ण पद्धति (eval इकाइयाँ, persona x टूल मैट्रिक्स, एजेंट लूप, स्कोरिंग, लागत मॉडल, मरम्मत नीति, नमूनाकरण, ablations, रन आर्टिफैक्ट) src/socbench/ में मॉड्यूल-स्तरीय फ़ाइलों में लागू की गई है (प्रत्येक एक केंद्रित मॉड्यूल डॉकस्ट्रिंग रखता है)।

लाइसेंस

Apache-2.0. LICENSE देखें।