
قياس التحيّز في وكلاء النماذج اللغوية الكبيرة في سيناريوهات الهجمات السيبرانية
معيار قياسي لـالتحيّز السلوكي في وكلاء الأمن الهجومي القائمين على نماذج اللغة الكبيرة (LLM). يلخّص كل سجل جلسة وكيل واحد مقابل تطبيق هدف واحد قابل للاستغلال عن قصد، ويلتقط ليس فقط ما إذا نجحت الهجمات بل كيف اختار الوكيل عائلات الهجوم وتسلسلها وتشبّث بها.
الحالة: إصدار عام مصاحب لورقة مسار التقييمات ومجموعات البيانات في NeurIPS 2026. الورقة: https://arxiv.org/abs/2605.07830. لوحة النتائج التفاعلية: https://trustworthyai.co.kr/CyBiasBench/. مجموعة البيانات على Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.
claude، codex، gemini، kimi، glmjuice-shop، mlflow، vuln-shopguided / unguided)
وبين بنية المخرجات (structured / unstructured).تحلّل الورقة 10 عائلات هجوم (sqli، xss، cmdi، path_traversal،
auth_bypass، idor، ssrf، csrf، file_upload، info_disclosure) اختيرت عبر
تحليل CAPEC + CWE + OWASP WSTG بوصفها العائلات الأكثر قابلية للاختبار
مباشرةً مقابل التطبيقات الهدف الثلاثة. يرث مصنّف مستوى التتبّع
تسمية حادية عشرة (deserialization) من عائلة قواعد OWASP CRS رقم 944؛
وهي ليست هدفًا مطلوبًا قط وتمثّل <0.1% من صفوف التتبّع. راجع
schema/glossary.md §"نطاق عائلات الهجوم" للتفاصيل الكاملة.
إجمالي الإصدار: 630 سجلًا مجمّعًا + 277,135 صف تتبّع ≈ 48 ميغابايت.
تصف هذه القياسات خمس لقطات لوكلاء منشورين على ثلاثة أهداف ويب، وليست تصنيفات مستقرة للنماذج. يعكس التوزيع النموذج، وموجّه النظام، وواجهة سطر الأوامر، والأدوات، والتفاعل مع الهدف. كما تؤثر إتاحة الثغرات وقابلية اكتشافها وصعوبة تنفيذها وتكاليف الطلبات في حصص العائلات؛ ولا يحدّد التصميم التفضيل الجوهري ولا يفصل هذه العوامل سببيًا.
لا يجد تحليل تهيئة الجلسة في ظل التسميات التلقائية الأصلية أي
تحسّن في المتوسط الإجمالي لمعدل نجاح الجلسة ASR تحت التوجيه. ولا يثبت
انخفاضًا موثوقًا لكل وكيل. تحافظ وحدات عدّ الطلبات البديلة على
الفصل بين الوكلاء، مع تغيير مقداره. ويبقى كل من قيمة القرار على نطاق
أوسع، والتفوّق على الاستدلالات البسيطة للتنوّع، والتعميم على أهداف غير
مرئية مسائل مفتوحة. راجع HOW_TO_REPRODUCE.md للتحليلات القابلة لإعادة الإنتاج.
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
أو حمّل CSV / Parquet مباشرةً:
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
يتوفر الإصدار نفسه أيضًا على Hugging Face.
مع تثبيت datasets (pip install datasets):
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
كل جدول من الجداول الستة هو إعداد منفصل. يحتوي قسم test على
الجدول الكامل؛ وهو لا يشير إلى قسم محجوز.
إعادة الإنتاج: راجع
HOW_TO_REPRODUCE.mdللاطلاع على دليل إعادة الإنتاج ذي المستويين (R1 إعادة التحليل من الآثار الصادرة؛ R3 إعادة التجربة الكاملة عبرbenchmark/).
CyBiasBench/
├── data/ # tabular release (CSV + Parquet)
│ ├── bias_observation_records.{csv,parquet} 180 rows
│ ├── bias_observation_family_long.{csv,parquet} 1,082 rows
│ ├── bias_observation_traces.{csv,parquet} 19,116 rows (request-level)
│ ├── bias_injection_records.{csv,parquet} 450 rows
│ ├── bias_injection_family_long.{csv,parquet} 1,597 rows
│ └── bias_injection_traces.{csv,parquet} 258,019 rows (request-level)
├── schema/
│ ├── glossary.md metric definitions
│ ├── columns_bias_observation.md
│ ├── columns_bias_injection.md
│ └── columns_traces.md
├── src/cybiasbench/ python loader package
├── scripts/ R1 re-analysis + R3 post-processing
│ ├── build_records.py final_stats JSON → aggregate CSV/Parquet
│ ├── build_traces.py labeled JSONL → request-level CSV/Parquet
│ ├── verify_consistency.py sanity suite (+ --round-trip closure)
│ ├── reviewer_revisions.py bootstrap CIs + request-unit robustness
│ ├── momentum_repro.py compliance correlations + estimator comparison
│ ├── agent_identification.py random-forest agent identification
│ ├── temporal_repro.py response to failure in request order
│ ├── classify/ OWASP CRS + victim-specific classifiers
│ ├── verify/ response heuristics + session verifier
│ ├── aggregate/ final_stats.json generator
│ └── jsd_repro/ Prompt-stability JSD reproduction
│ ├── table2_jsd_robustness.py paper Table 2 (within/between-agent JSD)
│ └── prompt_profile_stability.py paper appendix per-condition JSD
├── benchmark/ R3 re-experiment harness (Docker + agents)
│ ├── run.sh one invocation = one (agent, target, prompt) session
│ ├── agents/ 6 agent CLI Dockerfiles (CLI versions pinned)
│ ├── metrics/ LiteLLM proxy + mitmproxy HTTP logger
│ ├── prompts/ guided/unguided + 10 injection prompts
│ ├── output_formats/ 4 condition templates
│ └── victims/ locally-built target images
├── HOW_TO_REPRODUCE.md R1 + R3 reproduction walkthrough
├── DATASHEET.md Gebru et al. datasheet
├── RESPONSIBLE_USE.md dual-use guidance
├── croissant.json Croissant metadata (core + RAI)
├── LICENSE CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE MIT (code)
└── dashboard/ Next.js source of the interactive result dashboard
يتوافق الإعدادان هنا مع القسمين 4 و5 من الورقة البحثية المرافقة:
| الإعداد | قسم الورقة البحثية | السجلات | التصميم |
|---|---|---|---|
| ملاحظة التحيّز | §4 ("إعداد الاختيار الحر") | 180 | 5 وكلاء × 3 أهداف × 4 شروط × 3 تكرارات |
| حقن التحيّز | §5 | 450 | 5 وكلاء × 3 أهداف × 10 عائلات مطلوبة × 3 تكرارات |
تتوافق أسماء الأعمدة مع مخطط ملخّص الجلسة في الورقة البحثية (الجدول 4):
agent، target، condition، entropy، attack_total، session_asr،
compliance، requested_family، إلخ. راجع schema/glossary.md للاطلاع على
التعيين الكامل.
ثلاث طبقات من الجدول 1 في الورقة البحثية: