
साइबर-आक्रमण परिदृश्यों के लिए LLM एजेंट्स में पूर्वाग्रह का बेंचमार्किंग
LLM आक्रामक-सुरक्षा एजेंटों में व्यवहारिक पूर्वाग्रह के लिए एक बेंचमार्क। प्रत्येक रिकॉर्ड एक जानबूझकर कमज़ोर लक्ष्य एप्लिकेशन के विरुद्ध एक एजेंट के सत्र का सारांश प्रस्तुत करता है, जो न केवल यह दर्ज करता है कि हमले सफल हुए या नहीं, बल्कि यह भी कि एजेंट ने हमला परिवारों को कैसे चुना, क्रमबद्ध किया और उन पर कैसे टिका रहा।
स्थिति: NeurIPS 2026 Evaluations & Datasets Track पेपर के साथ सार्वजनिक रिलीज़। पेपर: https://arxiv.org/abs/2605.07830. इंटरैक्टिव परिणाम डैशबोर्ड: https://trustworthyai.co.kr/CyBiasBench/. Hugging Face पर डेटासेट: https://huggingface.co/datasets/taeng0204/CyBiasBench.
claude, codex, gemini, kimi, glmjuice-shop, mlflow, vuln-shopguided / unguided) को
आउटपुट संरचना (structured / unstructured) के साथ मिलाती हैं।पेपर 10 हमला परिवारों (sqli, xss, cmdi, path_traversal,
auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) का विश्लेषण करता है, जिन्हें
CAPEC + CWE + OWASP WSTG विश्लेषण के माध्यम से उन परिवारों के रूप में चुना गया है जो
तीन लक्ष्य एप्लिकेशनों के विरुद्ध सबसे सीधे परीक्षण योग्य हैं। ट्रेस-स्तरीय क्लासिफायर OWASP CRS नियम परिवार 944 से
एक ग्यारहवाँ लेबल (deserialization) विरासत में प्राप्त करता है; यह
कभी अनुरोधित लक्ष्य नहीं होता और ट्रेस पंक्तियों के <0.1% के लिए ज़िम्मेदार है। पूर्ण विवरण के लिए
schema/glossary.md §"Attack-family scope" देखें।
कुल रिलीज़: 630 एकत्रित रिकॉर्ड + 277,135 ट्रेस पंक्तियाँ ≈ 48 MB।
ये माप तीन वेब लक्ष्यों पर पाँच तैनात-एजेंट स्नैपशॉट का वर्णन करते हैं, स्थिर मॉडल रैंकिंग का नहीं। आवंटन मॉडल, सिस्टम प्रॉम्प्ट, CLI, टूल्स, और लक्ष्य इंटरैक्शन को दर्शाता है। भेद्यता की उपलब्धता, खोज-क्षमता, निष्पादन कठिनाई, और अनुरोध लागतें भी परिवार हिस्सों को प्रभावित करती हैं; डिज़ाइन अंतर्निहित प्राथमिकता की पहचान नहीं करता और न ही इन कारकों को कारणात्मक रूप से अलग करता है।
मूल स्वचालित लेबलों के अंतर्गत सत्र-बूटस्ट्रैप विश्लेषण को स्टीयरिंग के अंतर्गत
समग्र औसत सत्र ASR में कोई सुधार नहीं मिलता। यह प्रत्येक एजेंट के लिए
विश्वसनीय कमी स्थापित नहीं करता। वैकल्पिक अनुरोध-गणना इकाइयाँ
एजेंटों के बीच पृथक्करण को संरक्षित रखती हैं, जबकि उसका परिमाण बदल देती हैं। बड़े
पैमाने पर निर्णय मूल्य, सरल विविधता अनुमानों पर श्रेष्ठता, और अदृश्य
लक्ष्यों पर सामान्यीकरण खुले प्रश्न बने हुए हैं। पुनरुत्पादनीय विश्लेषणों के लिए HOW_TO_REPRODUCE.md देखें।
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
या सीधे CSV / Parquet लोड करें:
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
यही रिलीज़ Hugging Face पर भी उपलब्ध है।
datasets इंस्टॉल होने पर (pip install datasets):
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
छह तालिकाओं में से प्रत्येक एक अलग कॉन्फ़िगरेशन है। test स्प्लिट में
पूरी तालिका शामिल है; यह किसी held-out विभाजन को निरूपित नहीं करता।
पुनरुत्पादन: दो-स्तरीय पुनरुत्पादन गाइड के लिए
HOW_TO_REPRODUCE.mdदेखें (R1 जारी किए गए ट्रेस से पुनः-विश्लेषण; R3benchmark/के माध्यम से पूर्ण पुनः-प्रयोग)।
CyBiasBench/
├── data/ # tabular release (CSV + Parquet)
│ ├── bias_observation_records.{csv,parquet} 180 rows
│ ├── bias_observation_family_long.{csv,parquet} 1,082 rows
│ ├── bias_observation_traces.{csv,parquet} 19,116 rows (request-level)
│ ├── bias_injection_records.{csv,parquet} 450 rows
│ ├── bias_injection_family_long.{csv,parquet} 1,597 rows
│ └── bias_injection_traces.{csv,parquet} 258,019 rows (request-level)
├── schema/
│ ├── glossary.md metric definitions
│ ├── columns_bias_observation.md
│ ├── columns_bias_injection.md
│ └── columns_traces.md
├── src/cybiasbench/ python loader package
├── scripts/ R1 re-analysis + R3 post-processing
│ ├── build_records.py final_stats JSON → aggregate CSV/Parquet
│ ├── build_traces.py labeled JSONL → request-level CSV/Parquet
│ ├── verify_consistency.py sanity suite (+ --round-trip closure)
│ ├── reviewer_revisions.py bootstrap CIs + request-unit robustness
│ ├── momentum_repro.py compliance correlations + estimator comparison
│ ├── agent_identification.py random-forest agent identification
│ ├── temporal_repro.py response to failure in request order
│ ├── classify/ OWASP CRS + victim-specific classifiers
│ ├── verify/ response heuristics + session verifier
│ ├── aggregate/ final_stats.json generator
│ └── jsd_repro/ Prompt-stability JSD reproduction
│ ├── table2_jsd_robustness.py paper Table 2 (within/between-agent JSD)
│ └── prompt_profile_stability.py paper appendix per-condition JSD
├── benchmark/ R3 re-experiment harness (Docker + agents)
│ ├── run.sh one invocation = one (agent, target, prompt) session
│ ├── agents/ 6 agent CLI Dockerfiles (CLI versions pinned)
│ ├── metrics/ LiteLLM proxy + mitmproxy HTTP logger
│ ├── prompts/ guided/unguided + 10 injection prompts
│ ├── output_formats/ 4 condition templates
│ └── victims/ locally-built target images
├── HOW_TO_REPRODUCE.md R1 + R3 reproduction walkthrough
├── DATASHEET.md Gebru et al. datasheet
├── RESPONSIBLE_USE.md dual-use guidance
├── croissant.json Croissant metadata (core + RAI)
├── LICENSE CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE MIT (code)
└── dashboard/ Next.js source of the interactive result dashboard
यहाँ दी गई दो सेटिंग्स संलग्न पेपर के अनुभाग 4 और 5 से मेल खाती हैं: