owasp/the-agents-epistemic-baggageएजेंट-जनित अनुमान किस प्रकार ज्ञानमीमांसीय स्थिति बदल सकते हैं, परिचालन अधिकार प्राप्त कर सकते हैं, और स्थायी स्मृति के माध्यम से बाद के निर्णयों को प्रभावित कर सकते हैं, इसके लिए एक ऑडिट-उन्मुख जोखिम मॉडल।
एक ऑडिट-उन्मुख जोखिम मॉडल, जो बताता है कि एजेंट-जनित अनुमान किस प्रकार एपिस्टेमिक स्थिति बदल सकते हैं, परिचालन अधिकार प्राप्त कर सकते हैं, और स्थायी मेमोरी के माध्यम से बाद के निर्णयों को प्रभावित कर सकते हैं।
रिटेबल स्थायी मेमोरी वाला एक एजेंटिक AI सिस्टम केवल पिछली जानकारी को पुनः प्राप्त नहीं करता। यह अपने स्वयं के सारांश, निष्कर्ष, योजनाएँ और निष्पादन इतिहास भी संग्रहीत कर सकता है।
इससे एक शासन प्रश्न उत्पन्न होता है:
सिस्टम प्राप्त जानकारी और एजेंट-जनित अनुमान के बीच के अंतर को कैसे निरूपित और संरक्षित करता है?
यदि यह अंतर खो जाता है, तो एक अनुमान ऐसी स्थिति प्राप्त या बनाए रख सकता है जिसे उसके साक्ष्य उचित नहीं ठहराते। ऐसा रिकॉर्ड फिर निर्णयों या कार्यों को प्रभावित कर सकता है, यहाँ तक कि नीति-अनुमत उपयोग के माध्यम से भी। अनधिकृत अधिकार वृद्धि या अनुमत अधिकार से परे उपयोग एक अलग नियंत्रण विफलता है जिसकी जाँच परियोजना भी करती है।
यह रिपॉज़िटरी इस बहाव प्रक्रिया के लिए एक जोखिम मॉडल विकसित करती है, जिसे स्व-प्रबलित एपिस्टेमिक बहाव कहा जाता है, और यह पता लगाती है कि इसे कैसे ऑडिट-योग्य बनाया जाए। पूर्ण तर्क, जिसमें मेमोरी स्कीमा, बहाव तंत्र और जीवनचक्र परीक्षण प्रोटोकॉल शामिल हैं, The Agent's Epistemic Baggage में विकसित किया गया है। एक पहला कार्यान्वयन-योग्य विनिर्देश, जिसमें टाइप्ड ऑडिट ऑब्जेक्ट, संक्रमण नियम, नियंत्रण, मेट्रिक्स और एक पुनरुत्पादनीय परीक्षण शामिल हैं, Agent Memory Drift: Audit Operationalization v0.1 में विकसित किया गया है। यदि आप विनिर्देश को शुरू से अंत तक पढ़ने के बजाय ऑडिट चलाने वाले हैं, तो इसके बजाय User Guide से शुरू करें।
यह मॉडल रिटेबल स्थायी मेमोरी वाले एजेंटिक AI सिस्टम पर लागू होता है, जहाँ एजेंट-जनित निरूपण संग्रहीत, पुनः प्राप्त, समेकित किए जा सकते हैं और बाद के अनुमानों, टूल उपयोग, निर्णयों या कार्यों को प्रभावित करने के लिए उपयोग किए जा सकते हैं।
यह स्व-विकसित होने वाले एजेंटों के मेमोरी पथ पर केंद्रित है। मॉडल भार, टूल और वर्कफ़्लो में परिवर्तनों के अलग जोखिम प्रोफ़ाइल होते हैं और वे वर्तमान दायरे से बाहर हैं।
यह वर्तमान में एक ऑडिट-उन्मुख अवधारणात्मक जोखिम मॉडल है। बहाव तंत्र, ऑडिट स्कीमा और जीवनचक्र परीक्षण प्रस्तावित मूल का निर्माण करते हैं। एक प्रारंभिक ऑडिट विनिर्देश प्रस्तावित नियंत्रण आवश्यकताओं, अनंतिम मेट्रिक्स और स्वीकृति मानदंडों को परिभाषित करता है। कार्यान्वयन और अनुभवजन्य सत्यापन अभी भी शेष कार्य हैं।
एक लेखन और पुनर्प्राप्ति लूप एजेंट-जनित सामग्री को पुनरावर्ती रूप से प्रसारित कर सकता है जब चार संरचनात्मक कड़ियाँ बनी रहती हैं। वे बहाव के लिए आवश्यक हैं लेकिन पर्याप्त नहीं: लूप में गलत, असमर्थित, गलत वर्गीकृत या एपिस्टेमिक रूप से अवक्रमित सामग्री भी होनी चाहिए।
प्रत्येक कड़ी एक संभावित नियंत्रण बिंदु भी है।
समानता-आधारित पुनर्प्राप्ति आवश्यक नहीं है, लेकिन यह लूप को बढ़ा सकती है। अनुभवजन्य कार्य इस प्रवर्धन के दो घटकों का दस्तावेज़ीकरण करता है: अनुभव-अनुसरण, जहाँ एजेंट तब समान आउटपुट उत्पन्न करते हैं जब वर्तमान कार्य किसी पुनः प्राप्त अनुभव से मिलता-जुलता हो, और त्रुटि प्रसार, जहाँ त्रुटिपूर्ण संग्रहीत अनुभवों को पुनः प्राप्त किया जाता है, उनकी नकल की जाती है, और फिर से संग्रहीत किया जाता है।
बहाव लेखन और पुनर्प्राप्ति लूप के बिना भी उत्पन्न हो सकता है:
भ्रष्टाचार समेकन के दौरान हो सकता है, इससे पहले कि परिवर्तित मेमोरी पुनः प्राप्त की जाए। यह परिचालन परिणाम तब प्राप्त करता है जब उस मेमोरी का बाद में उपयोग किया जाता है।
एकल स्थिति लेबल अपर्याप्त है। एक ऑडिट-योग्य मेमोरी रिकॉर्ड को अलग-अलग आयामों को अलग रखना चाहिए:
| फ़ील्ड | उदाहरण |
|---|---|
| प्रतिनिधित्व प्रकार | प्राप्त इनपुट, सेंसर इवेंट, टूल आउटपुट, स्रोत दावा, एजेंट अनुमान |
| उद्गम | स्रोत, टाइमस्टैम्प, टूल, एजेंट, अंतर्निहित साक्ष्य का लिंक |
| सत्यापन स्थिति | अपरीक्षित, समर्थित, खंडित, सत्यापित, अस्वीकृत |
| अस्थायी वैधता | वर्तमान, पुराना, समाप्त |
| साक्ष्य संबंध | वे रिकॉर्ड या स्रोत जो रिकॉर्ड का समर्थन या खंडन करते हैं, जिसमें उस समर्थन की शक्ति, स्वतंत्रता और गुणवत्ता शामिल है |
| परिवर्तन इतिहास | निर्मित, सारांशित, पुनर्वर्गीकृत, प्रतिस्थापित |
| ज्ञानमीमांसीय संक्रमण आधार | नया साक्ष्य, पुष्टि, विरोधाभास समाधान, सत्यापित परिणाम |
| प्राधिकार आधार | नीति नियम, जोखिम वर्गीकरण, मानव अनुमोदन, प्रत्यायोजित अनुमति |
| उपयोग और निर्णय वंशावली | पुनर्प्राप्ति इवेंट, रैंक, पुनर्प्राप्ति स्कोर, प्रॉम्प्ट स्थिति, तर्क या आउटपुट में स्पष्ट संदर्भ, उपभोग करने वाला एजेंट, प्रभावित निर्णय या कार्रवाई |
उद्गम मूल की स्थापना करता है, सत्य की नहीं। एक विश्वसनीय स्रोत गलत हो सकता है, और एक प्रमाणित एजेंट अनुमान अनुमान ही रहता है। प्रतिनिधित्व प्रकार केवल ज्ञानमीमांसीय रिकॉर्ड को समाहित करता है; किसी निर्णय या कार्रवाई में सार्थक सत्य-आधारित सत्यापन स्थिति नहीं होती, कार्रवाई समर्थित या खंडित होने के बजाय अधिकृत, निष्पादित, सफल या विफल होती है, इसलिए इसे एक और प्रतिनिधित्व प्रकार के रूप में नहीं, बल्कि एक लिंक किए गए परिचालन इवेंट के रूप में दर्शाया जाता है। इसमें अभी भी अपना उद्गम और इवेंट इतिहास होता है, और इसका भार इसके अंतर्निहित साक्ष्य के साथ-साथ इसके उपयोग और निर्णय वंशावली के माध्यम से आंका जाता है।
अनिश्चितता को केवल किसी मॉडल के स्व-रिपोर्ट किए गए आत्मविश्वास पर निर्भर रहने के बजाय साक्ष्य और सत्यापन स्थिति में आधारित होना चाहिए, यही कारण है कि साक्ष्य संबंध समर्थन सामग्री की शक्ति, स्वतंत्रता और गुणवत्ता भी वहन करता है।
सत्यापन स्थिति और अस्थायी वैधता को अलग रखा जाता है क्योंकि एक रिकॉर्ड पुराना होते हुए भी सत्यापित बना रह सकता है। अस्थायी नवीनता और प्रतिस्थापित स्थिति भी स्वतंत्र हैं: एक रिकॉर्ड अस्थायी रूप से वर्तमान बना रह सकता है जबकि उसे नए संस्करण द्वारा प्रतिस्थापित किया गया हो। परिवर्तन इतिहास उस प्रतिस्थापन को दर्ज करता है।
ज्ञानमीमांसीय संक्रमण आधार और प्राधिकार आधार भी अलग रखे जाते हैं: पहला सत्यापन स्थिति में परिवर्तन का साक्ष्य-आधारित या समीक्षा-आधारित आधार है, दूसरा यह है कि किसी रिकॉर्ड को निर्णय को प्रभावित करने की अनुमति क्यों दी गई। नीति अनुमोदन किसी दावे को सत्य नहीं बनाता, और नया साक्ष्य अपने आप कार्य करने की अनुमति प्रदान नहीं करता।
यह एक तार्किक ऑडिट स्कीमा है, न कि यह आवश्यकता कि प्रत्येक फ़ील्ड प्रत्येक रिकॉर्ड प्रकार पर लागू हो या सभी रिकॉर्ड एक ही भौतिक तालिका में सह-अस्तित्व में हों: फ़ील्ड की प्रयोज्यता प्रतिनिधित्व प्रकार पर सशर्त है, और परिचालन इवेंट उन ज्ञानमीमांसीय रिकॉर्ड से लिंक किए जा सकते हैं जिनका वे उपभोग करते हैं।
परिचालन प्राधिकार एक एकल डिग्री नहीं बल्कि चार संबंधित, भिन्न चरों का एक प्रोफ़ाइल है: अनुमत प्राधिकार, प्रेक्षित एक्सपोज़र, दर्ज उपयोग, और कारणात्मक प्रभाव। यह ज्ञानमीमांसीय स्थिति से एक अलग ऑडिट ऑब्जेक्ट है: एक सु-समर्थित रिकॉर्ड को अभी भी नीति द्वारा अनुमत से अधिक प्राधिकार दिया जा सकता है, और एक विचलित रिकॉर्ड अभी भी पूरी तरह से नीति-अनुपालक प्राधिकार के माध्यम से किसी निर्णय तक पहुँच सकता है, उदाहरण के लिए यदि नीति किसी भी सत्यापित लेबल वाले रिकॉर्ड को प्रभाव प्रदान करती है। जोखिम तब और बढ़ जाता है जब अर्जित न किए गए ज्ञानमीमांसीय स्थिति वाला रिकॉर्ड किसी निर्णय या कार्रवाई तक पहुँचता है, चाहे वह पहुँच नीति-अनुमत हो या अनधिकृत।
अनुमत प्राधिकार अनुदेश प्राथमिकता, टूल अनुमतियों, अनिवार्य-उपयोग नियमों, और डाउनस्ट्रीम निर्णय नीतियों के माध्यम से बनाया जा सकता है। प्रेक्षित एक्सपोज़र पुनर्प्राप्ति रैंकिंग, पुनर्प्राप्ति आवृत्ति, और संदर्भ में स्थिति जैसे अलग तंत्रों द्वारा आकार दिया जाता है; न ही, अपने आप में, दर्ज उपयोग या कारणात्मक प्रभाव स्थापित करता है।
