[🎖️ إشادة شرفية في HAIPS @COLM'26] أول معيار تقييم لقياس مدى تصرف وكلاء نماذج اللغة الكبيرة (LLM) بما يتوافق مع نطاق التفويض الممنوح لهم.
أول إطار منهجي لتقييم محاذاة تفويض وكلاء النماذج اللغوية الكبيرة في ظل التفويض الحميد،
سواء ترتبت على ذلك عواقب ضارة مباشرة أو لم تترتب.
يُعدّ التصرف ضمن نطاق التفويض المحدد أبسط واجبات الوكيل في علاقة التفويض بين الإنسان والوكيل. تمنح معظم معايير تقييم الوكلاء مكافأة على إنجاز المهمة أو تقيّم ما إذا كان الإجراء يُنتج ضررًا مباشرًا. غير أن الوكيل، بمجرد أن يتصرف خارج ذلك النطاق، يقوّض سيطرة المفوِّض وعلاقة التفويض نفسها، سواء تبع ذلك ضرر مباشر أم لا. ونادرًا ما تلتقط المعايير الحالية هذا الإخفاق.
يتضمن الإطار ثلاثة مكونات:
تُترجم الحالة الموثّقة إلى مهمة يكون فيها مسار الإنجاز المفوّض والمسار الخارج عن التفويض الخاص بالحالة قابلين للتنفيذ معًا. يعمل الوكيل في البيئة المعزولة، ويُقيَّم مساره الفعلي وحالته الناتجة مقابل عقد التفويض.
نقيّم أربعة نماذج بمستويي جهد استدلالي منخفض ومرتفع عبر ثلاثة أُطر تشغيل للوكلاء، منتجين 6,864 مسارًا. يتصرف الوكلاء خارج التفويض في 19.2% من المهام المفوّضة.
عبر 91 زوجًا من المهام المتطابقة، تحدث نحو 54% من عمليات الخروج عن التفويض المرصودة في النسخة التي لا يوجد فيها ضرر مباشر على السلامة أو الخصوصية. بعبارة أخرى، ضمن هذه الأزواج، كان أكثر من نصف سلوك الخروج عن التفويض سيُغفل من قبل تقييم يبحث فقط عن العواقب الضارة المباشرة.
authorization_eva_sandbox/
├── tasks/ 286 executable task bundles
├── vignettes/ authorization contracts and scenario specifications
├── seeds/ documented source-case summaries used by the benchmark
├── services/ deterministic mock services
├── evaluation/ harness adapters, judges, detectors, and analysis
└── task_generation/ seed-to-task and contextual-expansion pipelines
benchmark/
├── manifest.json frozen release inventory
└── lineage.csv source case to original and expanded task mapping
taxonomies/ environment pressure, direct-harm, and domain definitions
المتطلبات هي Python 3.12 و Docker Desktop.
git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh
docker build \
-f authorization_eva_sandbox/Dockerfile.v2 \
-t authorizationbench:sandbox \
authorization_eva_sandbox
cp authorization_eva_sandbox/evaluation/config.toml.example \
authorization_eva_sandbox/evaluation/config.toml
املأ فقط ملفات تعريف المزوّد التي تنوي استخدامها. يتم تجاهل التكوين المحلي بواسطة Git ويجب ألا يُرفع إلى المستودع أبدًا. راجع دليل البدء السريع للاطلاع على البيئات الخاصة بكل أداة تشغيل وأوامر التقييم.
python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"
يحتوي القياس على 44 حالة مهمة أصلية مستندة إلى 42 سجل مصدر مستخدمًا، تليها توسعة سياقية إلى 286 مهمة. يدعم سجلّا مصدر حالتين أصليتين متميزتين لكل منهما.
يربط benchmark/lineage.csv كل مهمة بسجل مصدرها، ويحدد الحالات الأصلية والموسّعة، ويسجل محور التوسعة حيثما توفر. ويجمّد benchmark/manifest.json جرد المهام الدقيق لهذا الإصدار.
نقطة الدخول المدعومة من البذرة إلى المهمة هي:
./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
--seed-id S0001
يبدأ التوسيع السياقي من مهمة مُتحقَّق منها ويُغيّر بُعدًا واحدًا مع الحفاظ على المهمة المُسنَدة وحدود التخويل الخاصة بها. تتضمن خط الأنابيب العام مطالبات التوليد، والبوابات الحتمية، والإصلاح المحدود، وتحقيق الخدمة، وشيفرة التوسيع. تُستثنى عمدًا أدوات الترحيل التاريخية ونصوص التطوير لمرة واحدة.
راجع خط أنابيب البناء للاطلاع على مراحل البناء.
تحتوي تصنيفات الضغط الظرفي على 14 ضغطًا مصنّفة حسب ما إذا كانت تنشأ من تعليمات المُوكِّل أو من البيئة. تتوفر معرّفاتها الثابتة وتعريفاتها وآلياتها وقنوات توصيلها في
taxonomies/situational_pressures.md
وفي الملف القابل للقراءة آليًا
trigger_manifestation.json.
توحّد تصنيفات الضرر المباشر الفئات من Agent-SafetyBench وOpenAgentSafety مع الحفاظ على الإسناد على مستوى الفئة. راجع
taxonomies/direct_harm.md و
harm_taxonomy.json.
تسمّي تصنيفات النطاقات المعلومات أو الأصل أو السجل المحمي بحدود التخويل. راجع
taxonomies/domains.md و
domain_taxonomy.json.