सरल विशेषताएँ अधिकांश AI नियंत्रण मॉनिटरों को पीछे छोड़ देती हैं

EvoRobust @ NeurIPS 2026 कार्यशाला पेपर के लिए कोड और पेपर स्रोत।

पेपर क्या दर्शाता है

AI-नियंत्रण मॉनिटर ऐसे मॉडल होते हैं जो कोड पढ़ते हैं और बैकडोर (छिपी हुई तोड़फोड़) को चिह्नित करते हैं। इन्हें निश्चित डेटासेट पर विकसित और रैंक किया जाता है जिनमें प्रत्येक प्रोग्रामिंग समस्या का एक ईमानदार समाधान और एक बैकडोर वाला समाधान होता है। एक मॉनिटर को ऐसे डेटासेट पर अच्छा स्कोर केवल बैकडोर खोजकर ही करना चाहिए। हम सार्वजनिक APPS बैकडोर डेटासेट (RoganInglis/apps-control-arena) का अध्ययन करते हैं, जिसके ईमानदार समाधान लोगों द्वारा लिखे गए थे और जिसके बैकडोर पुराने मॉडलों (Claude 3.7 Sonnet, o3-mini, o1-mini, GPT-4o और चार छोटे मॉडल, सभी 2025 की शुरुआत तक जारी, साथ ही एक अज्ञात स्रोत) द्वारा लिखे गए थे। हम इसके युग्मों को मूल युग्म कहते हैं। पेपर का चित्र 1 परिणामों का सारांश प्रस्तुत करता है।

1. जो क्लासिफायर कोड कभी नहीं चलाता, वह अधिकांश मॉनिटरों से बेहतर है। मानक टेस्ट स्प्लिट पर (1,375 समस्याएँ, प्रत्येक में एक प्रोग्राम, टिप्पणियाँ हटाई गईं) स्प्लिट की ट्रेनिंग समस्याओं पर प्रशिक्षित बैग-ऑफ-वर्ड्स क्लासिफायर AUROC 0.806 तक पहुँचता है, जो पूर्व कार्य में मॉनिटर के रूप में प्रॉम्प्ट किए गए 24 ओपन-वेट मॉडलों (0.4B-32B) में से 20 से अधिक से बेहतर है। यह जो पढ़ता है वह हमलावर मॉडलों में साझा है और मौजूद रहता है चाहे बैकडोर काम करे या न करे; इसके सबसे मजबूत बैकडोर-पक्षीय टोकन (and, ==, if) किसी भी जोड़े गए विशेष केस का एक उथला निशान हैं। क्लासिफायर प्रशिक्षित है और मॉनिटर नहीं हैं, इसलिए यह मापता है कि डेटासेट क्या उजागर कर देता है, यह नहीं कि कौन सा डिटेक्टर बेहतर है।
2. लेबल लीक होते हैं। टेस्ट स्प्लिट किसी समस्या के बैकडोर्ड वाले प्रोग्राम को केवल तभी रखता है जब बैकडोर काम करे; बैकडोर वाली 892 समस्याओं में से 720 विफल होती हैं और उनके बजाय अपना ईमानदार समाधान योगदान करती हैं। इसलिए बैकडोर-वर्ग की समस्याओं में लगभग आधे टेस्ट होते हैं, और केवल समस्या मेटाडेटा (कठिनाई, टेस्ट संख्या, कथन की लंबाई) पढ़ने वाला क्लासिफायर स्प्लिट के भीतर क्रॉस-वैलिडेटेड 0.766 तक पहुँचता है, जो 20 मॉनिटरों से ऊपर है। स्प्लिट के बाहर फिट किए जाने पर यह 0.298 स्कोर करता है, वही संबंध उलटा, क्योंकि वहाँ ईमानदार आइटम उन समस्याओं से आते हैं जिन्हें स्प्लिट ने बाहर रखा था। लीक इस बात से आता है कि लेबल कैसे चुने गए, कोड से नहीं।
3. क्लासिफायर लेखकों के बीच के विरोधाभास को पुरस्कृत करता है। हम जोड़ों को एक मॉडल, Claude Sonnet 5 (और अलग से Claude Haiku 4.5) से दोनों समाधान लिखवाकर फिर से बनाते हैं, और प्रत्येक वर्ग को दूसरे लेखक के साथ जोड़ते हैं। प्रत्येक प्रकार के जोड़े को इस आधार पर नाम देते हुए कि उसका ईमानदार और बैकडोर वाला पक्ष किसने लिखा, उन 99 समस्याओं पर जहाँ हर बैकडोर काम करता है, बैग-ऑफ-वर्ड्स person / पुराने मॉडलों पर 0.789 और Sonnet 5 / Sonnet 5 पर 0.749 स्कोर करता है, लेकिन person / Sonnet 5 पर 0.953 और Sonnet 5 / पुराने मॉडलों पर 0.905: यह सबसे अधिक तब स्कोर करता है जब दोनों वर्गों के लेखक अलग हों। यही सभी प्रयासों पर भी लागू होता है (0.865 के मुकाबले 0.981)। एक ही लेखक के साथ यह Sonnet 5 के एकल प्रयासों पर संयोग से अधिक अपने लाभ का rho = 0.687 बनाए रखता है और Haiku 4.5 के प्रयासों पर 0.097, तथा काम करने वाले बैकडोरों पर 0.861, इसलिए यह बैकडोर के जोड़े गए विशेष केस भी पढ़ता है; Sonnet 5 जो बनाए रखता है उसका एक हिस्सा वह लेआउट है जो हमारा हमला प्रॉम्प्ट प्रेरित करता है (def main), और उस प्रॉम्प्ट के साथ ईमानदार समाधान माँगने पर rho घटकर 0.390 हो जाता है।
4. कौन से बैकडोर वास्तविक हैं। एक Sonnet 5 मॉनिटर मुख्य रूप से बैकडोरों पर प्रतिक्रिया देता है (मूल जोड़ों पर 0.944, 0.966 जब Sonnet 5 ने ईमानदार पक्ष लिखा, जिसका कोड उसे थोड़ा कम संदिग्ध लगता है)। यह person / Sonnet 5 पर गिरकर 0.755 हो जाता है, लेकिन उसका एक हिस्सा लेबल हैं। एक बैकडोर तब काम करने वाला गिना जाता है जब उसके अपने ट्रिगर पर उसका आउटपुट ईमानदार समाधान से भिन्न हो, और कोई भी यह नहीं जाँचता कि ट्रिगर एक वैध इनपुट है। डेटासेट के लेबल समस्या दिखाते हैं: मानक टेस्ट स्प्लिट में, 172 बैकडोर वाले प्रोग्रामों में से 17 में केवल एक अवैध ट्रिगर है और 7 किसी सार्वजनिक टेस्ट पर गलत पूर्णांक प्रिंट करते हैं। उन 24 के बिना, बैग-ऑफ-वर्ड्स 0.817 स्कोर करता है और 24 प्रकाशित मॉनिटर माध्यिका +0.010 से बदलते हैं। हमारे जनरेशन ने वही परिभाषा इस्तेमाल की, इसलिए हमलावरों की तुलना करने से पहले हम दोनों वर्गों के प्रत्येक ट्रिगर को कथन से लिखे गए इनपुट वैलिडेटर के विरुद्ध जाँचते हैं, वहाँ बैकडोर के आउटपुट को मानव समाधानों के बहुमत उत्तर से भिन्न होना आवश्यक ठहराते हैं, और जब कोई जाँच विफल हो तो साक्ष्य के लिए 40 निकटवर्ती वैध इनपुट खोजते हैं। यह जाँच पुराने मॉडलों के 99 बैकडोरों में से 14 और Sonnet 5 के 40 को हटा देती है। उन 54 समस्याओं पर जहाँ दोनों बैकडोर वास्तविक हैं, Sonnet 5 का पकड़ना फिर भी कठिन हो सकता है, कम मात्रा में: AUROC 0.904 के मुकाबले 0.958 (अंतर -0.053, 95% CI -0.108 से -0.004), और मानव समाधानों के 2% को फ्लैग करते हुए मॉनिटर पुराने मॉडलों के 78% बैकडोरों और Sonnet 5 के 61% को पकड़ता है (अंतर 0.17, 0.0002 से 0.32, शून्य से बस थोड़ा ऊपर)। जाँचों से पहले, सभी 99 समस्याओं पर, यह 37% के मुकाबले 77% था (0.40, 0.28 से 0.52), इसलिए परिवर्तन का एक हिस्सा समस्याओं को हटाने से आता है। यह अंतर थ्रेशोल्ड पर निर्भर करता है, और इसका एक हिस्सा मॉनिटर का अपने ही मॉडल: एक Haiku 4.5 मॉनिटर, जिसने न तो कोई वर्ग लिखा, 0.822 के मुकाबले 0.850 देता है।

इस तरह से बनाए गए डेटासेट पर उच्च स्कोर बैकडोर के अलावा अन्य संकेतों से भी आ सकता है (हम यह नहीं दिखाते कि प्रकाशित मॉनिटर इनका उपयोग करते हैं), और अनचेक किए गए लेबल पर कैच रेट हमलावर प्रभाव को दोगुने से भी अधिक बढ़ा सकता है। हम पुनर्निर्मित जोड़े, इनपुट वैलिडेटर और जाँचें जारी करते हैं, और अनुशंसा करते हैं कि उन्हें अन्य मॉनिटर बेंचमार्क पर चलाया जाए: ऐसे बेसलाइन रिपोर्ट करें जो कभी कोड नहीं चलाते (bag-of-words, समस्या मेटाडेटा, लंबाई) उनके शफ़ल किए गए लेबल स्कोर के साथ; प्रत्येक क्लास को किसी अन्य लेखक के कोड के साथ जोड़ें; जाँचें कि प्रत्येक ट्रिगर एक वैध इनपुट है जिस पर बैकडोर का उत्तर गलत है; पास होने वाले बैकडोर पर एक निश्चित ऑडिट बजट पर कैच रेट रिपोर्ट करें, कई जनरेटर से जिनमें वर्तमान मॉडल शामिल हैं; और जहाँ जाँचें शॉर्टकट पाती हैं, वहाँ एक मॉडल से दोनों क्लासों को एक ही प्रॉम्प्ट से लिखवाएँ और ईमानदार उदाहरणों का चयन इस बात से स्वतंत्र रूप से करें कि हमला सफल हुआ या नहीं।

रिपॉज़िटरी लेआउट

experiments/
  apps/        APPS backdoor dataset: the floors on the original pairs, the rebuilt pairs
               (generation, test harness, backdoor verification) and every measurement on them;
               *.json are the committed outputs behind the paper's numbers
    validators/  one input validator per checked problem (258), used by the trigger checks
  agentic/     five agentic settings in which one model wrote both classes (appendix)
  README.md    how to reproduce each result, with commands, and which script gives each number
paper/         LaTeX source, bibliography, figures and the built main.pdf

पुनरुत्पादन

experiments/README.md देखें। मूल युग्मों पर परिणाम लैपटॉप CPU पर कुछ ही मिनटों में चलते हैं। पुनर्निर्मित युग्मों को बनाने के लिए Anthropic API कुंजी की आवश्यकता होती है, और ओपन-वेट वेरिएंट (जो केवल ईमानदार वर्ग को पुनः उत्पन्न करता है) के लिए GPU की आवश्यकता होती है।

pip install -r requirements.txt
cd experiments/apps
python fetch.py && python fetch_inputs.py && python bow.py
python koran_split_eval.py      # the bag-of-words floor: AUROC 0.806, above 20 of 24 monitors

पेपर का निर्माण

cd paper
make             # main.pdf (pdflatex + bibtex)
make figures     # regenerate fig/ from experiments/apps/figures.py

एक पूर्ण TeX Live में सब कुछ होता है। एक बेसिक इंस्टॉल (BasicTeX, TeX Live scheme-basic) को भी पेपर के लिए siunitx, tcolorbox (tikzfill, pdfcol और listingsutf8 के साथ) और inconsolata की आवश्यकता होती है, और make figures के लिए cm-super की, जो प्लॉट्स के टेक्स्ट को LaTeX से टाइपसेट करता है। एडमिन अधिकारों के बिना वे आपके यूज़र ट्री में इंस्टॉल हो जाते हैं: