---

نظرة عامة

يُعدّ التصرف ضمن نطاق التفويض المحدد أبسط التزام على الوكيل في علاقة التفويض بين الإنسان والوكيل. تمنح معظم معايير تقييم الوكلاء مكافأة على إنجاز المهمة أو تقيّم ما إذا كان الإجراء يُنتج ضررًا مباشرًا. غير أن الوكيل بمجرد أن يتصرف خارج ذلك النطاق فإنه يقوّض سيطرة المفوِّض وعلاقة التفويض نفسها، سواء تبع ذلك ضرر مباشر أم لا. ونادرًا ما تلتقط المعايير الحالية هذا الإخفاق.

يتضمن الإطار ثلاثة مكونات:

• AuthorizationBench، المعيار: 286 مهمة قابلة للتنفيذ مستندة إلى حالات واقعية موثّقة وتغطي ثلاثة أبعاد:
  • 14 ضغطًا ظرفيًا، تشمل 12 ضغطًا حميدًا وآليتي حقن أوامر خبيثة
  • وجود العواقب الضارة المباشرة أو غيابها، محددة بعشر فئات للأمان والخصوصية مجمّعة من الأعمال السابقة في أمان الوكلاء.
  • 10 مجالات تشمل الحياة الشخصية والعمل المهني.
• بيئة اختبار معزولة تراعي التفويض: خدمات وهمية حتمية تُبقي المسارات المصرّح بها والخارجة عن التفويض قابلة للتنفيذ والملاحظة، مع محوّلات لـ OpenHands وOpenAI Agents SDK وClaude Agent SDK.
• خط أنابيب إنشاء قابل للتوسع: مسار أساسي معياري من البذرة إلى المهمة وتوسيع سياقي.

تقييم AuthorizationBench

تُترجم حالة موثّقة إلى مهمة يكون فيها مسار الإنجاز المصرّح به والمسار الخاص بالحالة والخارج عن التفويض كلاهما قابلًا للتنفيذ. يعمل الوكيل في البيئة المعزولة، ويُقيَّم مساره الفعلي وحالته الناتجة مقابل عقد التفويض.

نقيّم أربعة نماذج بمستويي جهد استدلالي منخفض ومرتفع عبر ثلاث بيئات تشغيل للوكلاء، منتجين 6,864 مسارًا. يتصرف الوكلاء خارج نطاق التفويض في 19.2% من المهام المفوّضة.

عبر 91 زوجًا من المهام المتطابقة، تحدث نحو 54% من عمليات التشغيل الخارجة عن التفويض المرصودة في النسخة التي لا تتضمن ضررًا أمنيًا أو انتهاكًا للخصوصية مباشرًا. بعبارة أخرى، ضمن هذه الأزواج، كان أكثر من نصف سلوك الخروج عن التفويض سيفوت تقييمًا يبحث فقط عن العواقب الضارة المباشرة.

هيكل المستودع

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

البدء السريع

1. التثبيت

المتطلبات هي Python 3.12 و Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. بناء بيئة العزل

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. إعداد التقييم المدعوم بالنموذج

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

املأ فقط ملفات تعريف المزوّد التي تنوي استخدامها. يتم تجاهل التكوين المحلي بواسطة Git ويجب ألا يُرفع إلى المستودع أبدًا. راجع دليل البدء السريع للاطلاع على البيئات الخاصة بكل أداة تشغيل وأوامر التقييم.

4. جلب التشغيلات الصادرة

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

القياس والنسب

يحتوي القياس على 44 حالة مهمة أصلية مستندة إلى 42 سجل مصدر مستخدمًا، تليها توسعة سياقية إلى 286 مهمة. يدعم سجلّا مصدر حالتين أصليتين متميزتين لكل منهما.

يربط benchmark/lineage.csv كل مهمة بسجل مصدرها، ويحدد الحالات الأصلية والموسّعة، ويسجل محور التوسعة حيثما توفر. ويجمّد benchmark/manifest.json جرد المهام الدقيق لهذا الإصدار.

خط أنابيب البناء

نقطة الدخول المدعومة من البذرة إلى المهمة هي:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

يبدأ التوسيع السياقي من مهمة مُتحقَّق منها ويُغيّر بُعدًا واحدًا مع الحفاظ على المهمة المُسنَدة وحدود التخويل الخاصة بها. تتضمن خط الأنابيب العام مطالبات التوليد، والبوابات الحتمية، والإصلاح المحدود، وتحقيق الخدمة، وشيفرة التوسيع. تُستثنى عمدًا أدوات الترحيل التاريخية ونصوص التطوير لمرة واحدة.

راجع خط أنابيب البناء للاطلاع على مراحل البناء.

التصنيفات

تحتوي تصنيفات الضغط الظرفي على 14 ضغطًا مصنّفة حسب ما إذا كانت تنشأ من تعليمات المُوكِّل أو من البيئة. تتوفر معرّفاتها الثابتة وتعريفاتها وآلياتها وقنوات توصيلها في taxonomies/situational_pressures.md وفي الملف القابل للقراءة آليًا trigger_manifestation.json.

توحّد تصنيفات الضرر المباشر الفئات من Agent-SafetyBench وOpenAgentSafety مع الحفاظ على الإسناد على مستوى الفئة. راجع taxonomies/direct_harm.md و harm_taxonomy.json.