---

अवलोकन

मानव-एजेंट प्रत्यायोजन संबंध में निर्धारित प्राधिकरण दायरे के भीतर कार्य करना एजेंट का सबसे बुनियादी दायित्व है। अधिकांश एजेंट बेंचमार्क कार्य पूर्णता को पुरस्कृत करते हैं या मूल्यांकन करते हैं कि कोई कार्रवाई प्रत्यक्ष हानि उत्पन्न करती है या नहीं। हालाँकि, एक बार जब एजेंट उस दायरे से बाहर कार्य करता है, तो वह प्रधान के नियंत्रण और स्वयं प्रत्यायोजन संबंध को कमजोर कर देता है, चाहे प्रत्यक्ष हानि हो या न हो। वर्तमान बेंचमार्क इस विफलता को शायद ही कभी पकड़ पाते हैं।

ढाँचे में तीन घटक शामिल हैं:

• AuthorizationBench, बेंचमार्क: प्रलेखित वास्तविक-विश्व मामलों पर आधारित 286 निष्पादन योग्य कार्य, जो तीन आयामों में फैले हैं:
  • 14 स्थितिजन्य दबाव, जिनमें 12 सौम्य दबाव और दो दुर्भावनापूर्ण प्रॉम्प्ट-इंजेक्शन तंत्र शामिल हैं
  • प्रत्यक्ष हानिकारक परिणामों की उपस्थिति या अनुपस्थिति, जिसे पूर्व एजेंट-सुरक्षा कार्य से समेकित दस सुरक्षा और गोपनीयता श्रेणियों द्वारा परिभाषित किया गया है।
  • व्यक्तिगत जीवन और व्यावसायिक कार्य में फैले 10 डोमेन।
• प्राधिकरण-जागरूक सैंडबॉक्स: नियतात्मक मॉक सेवाएँ जो अधिकृत और प्राधिकरण-से-बाहर दोनों पथों को निष्पादन योग्य और अवलोकनीय रखती हैं, साथ में OpenHands, OpenAI Agents SDK, और Claude Agent SDK के लिए एडाप्टर।
• एक स्केलेबल निर्माण पाइपलाइन: एक विहित बीज-से-कार्य मार्ग और प्रासंगिक विस्तार।

AuthorizationBench मूल्यांकन

एक प्रलेखित मामले को ऐसे कार्य में अनुवादित किया जाता है जहाँ अधिकृत पूर्णता पथ और मामला-विशिष्ट प्राधिकरण-से-बाहर पथ दोनों निष्पादन योग्य होते हैं। एजेंट सैंडबॉक्स में चलता है, और उसके वास्तविक प्रक्षेपवक्र और परिणामी स्थिति का मूल्यांकन प्राधिकरण अनुबंध के विरुद्ध किया जाता है।

हम तीन एजेंट हार्नेस में निम्न और उच्च तर्क प्रयास पर चार मॉडलों का मूल्यांकन करते हैं, जिससे 6,864 प्रक्षेपवक्र उत्पन्न होते हैं। एजेंट 19.2% प्रत्यायोजित कार्यों में प्राधिकरण से बाहर कार्य करते हैं।

91 मिलान किए गए कार्य युग्मों में, देखे गए प्राधिकरण-से-बाहर रनों में से लगभग 54% उस संस्करण में होते हैं जिसमें कोई प्रत्यक्ष सुरक्षा या गोपनीयता हानि नहीं होती। दूसरे शब्दों में, इन युग्मों के भीतर, आधे से अधिक प्राधिकरण-से-बाहर व्यवहार ऐसे मूल्यांकन द्वारा छूट जाएगा जो केवल प्रत्यक्ष हानिकारक परिणामों की तलाश करता है।

रिपॉज़िटरी लेआउट

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

त्वरित शुरुआत

1. इंस्टॉल करें

आवश्यकताएँ Python 3.12 और Docker Desktop हैं।

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. सैंडबॉक्स बनाएँ

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. मॉडल-आधारित मूल्यांकन कॉन्फ़िगर करें

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

केवल उन्हीं प्रदाता प्रोफ़ाइलों को भरें जिन्हें आप उपयोग करने का इरादा रखते हैं। स्थानीय कॉन्फ़िगरेशन को Git द्वारा अनदेखा किया जाता है और इसे कभी भी कमिट नहीं किया जाना चाहिए। harness-विशिष्ट वातावरणों और मूल्यांकन कमांडों के लिए Quick start guide देखें।

4. जारी किए गए रन प्राप्त करें

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

बेंचमार्क और वंशावली

बेंचमार्क में 42 उपयोग किए गए स्रोत रिकॉर्ड पर आधारित 44 मूल कार्य केस शामिल हैं, जिनके बाद 286 कार्यों तक प्रासंगिक विस्तार किया गया है। दो स्रोत रिकॉर्ड प्रत्येक दो अलग-अलग मूल कार्य केसों का समर्थन करते हैं।

benchmark/lineage.csv प्रत्येक कार्य को उसके स्रोत रिकॉर्ड से मैप करता है, मूल और विस्तारित केसों की पहचान करता है, और जहाँ उपलब्ध हो वहाँ विस्तार अक्ष को रिकॉर्ड करता है। benchmark/manifest.json इस रिलीज़ के लिए सटीक कार्य सूची को स्थिर करता है।

निर्माण पाइपलाइन

समर्थित seed-to-task प्रवेश बिंदु यह है:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

संदर्भगत विस्तार एक मान्य कार्य से शुरू होता है और उसके निर्धारित कार्य तथा प्राधिकरण सीमा को संरक्षित रखते हुए एक आयाम में परिवर्तन करता है। सार्वजनिक पाइपलाइन में जनरेशन प्रॉम्प्ट, नियतात्मक गेट, सीमित मरम्मत, सेवा प्राप्ति, और विस्तार कोड शामिल हैं। ऐतिहासिक माइग्रेशन उपयोगिताएँ और एकबारगी विकास स्क्रिप्ट जानबूझकर बाहर रखी गई हैं।

निर्माण चरणों के लिए Construction pipeline देखें।

वर्गीकरण

परिस्थितिजन्य-दबाव वर्गीकरण में 14 दबाव हैं, जिन्हें इस आधार पर समूहीकृत किया गया है कि वे प्रिंसिपल के निर्देश से उत्पन्न होते हैं या परिवेश से। इसकी स्थिर ID, परिभाषाएँ, तंत्र, और डिलीवरी चैनल taxonomies/situational_pressures.md और मशीन-पठनीय trigger_manifestation.json में उपलब्ध हैं।