نموذج مخاطر موجّه للتدقيق يوضح كيف يمكن للاستنتاجات التي تولّدها الوكلاء أن تغيّر وضعها المعرفي، وتكتسب سلطة تشغيلية، وتؤثر في القرارات اللاحقة عبر الذاكرة المستمرة.
نموذج مخاطر موجّه للتدقيق يوضح كيف يمكن للاستدلالات التي يولّدها الوكيل أن تغيّر الوضع المعرفي، وتكتسب سلطة تشغيلية، وتؤثر في القرارات اللاحقة عبر الذاكرة الدائمة.
لا يقتصر نظام الذكاء الاصطناعي الوكيلي المزوّد بذاكرة دائمة قابلة للكتابة على استرجاع المعلومات السابقة فحسب. بل قد يخزّن أيضًا ملخصاته واستنتاجاته وخططه وسجلات تنفيذه.
وهذا يطرح سؤالًا حوكميًا:
كيف يمثّل النظام التمييز بين المعلومات المتلقّاة والاستدلال المولّد من الوكيل، وكيف يحافظ عليه؟
إذا فُقد هذا التمييز، فقد يكتسب الاستدلال أو يحتفظ بوضع لا تبرّره أدلته. وقد يؤثر هذا السجل بعد ذلك في القرارات أو الإجراءات، حتى عبر الاستخدام المسموح به سياسيًا. ويُعدّ التصعيد غير المصرّح به للسلطة أو الاستخدام بما يتجاوز السلطة المصرّح بها إخفاقًا منفصلًا في الضوابط يفحصه المشروع أيضًا.
يطوّر هذا المستودع نموذج مخاطر لعملية الانحراف هذه، يُسمّى الانحراف المعرفي ذاتي التعزيز، ويستكشف كيفية جعلها قابلة للتدقيق. وتُطوَّر الحجة الكاملة، بما في ذلك مخطط الذاكرة وآليات الانحراف وبروتوكول اختبار دورة الحياة، في الأمتعة المعرفية للوكيل. وتُطوَّر أول مواصفة قابلة للتنفيذ، تشمل كائنات تدقيق مُنمّطة وقواعد انتقال وضوابط ومقاييس واختبارًا قابلًا لإعادة الإنتاج، في انحراف ذاكرة الوكيل: التشغيل التدقيقي الإصدار 0.1. وإذا كنت على وشك إجراء تدقيق بدلًا من قراءة المواصفة من الغلاف إلى الغلاف، فابدأ بـدليل المستخدم بدلًا من ذلك.
ينطبق النموذج على أنظمة الذكاء الاصطناعي الوكيلية ذات الذاكرة الدائمة القابلة للكتابة، حيث يمكن تخزين التمثيلات المولّدة من الوكيل واسترجاعها وتوحيدها واستخدامها للتأثير في الاستدلالات أو استخدام الأدوات أو القرارات أو الإجراءات اللاحقة.
ويركّز على مسار الذاكرة لدى الوكلاء ذاتية التطوّر. أما التغييرات في أوزان النموذج والأدوات وسير العمل فلها ملفات مخاطر متمايزة وهي خارج النطاق الحالي.
وهذا حاليًا نموذج مخاطر مفاهيمي ذو توجّه تدقيقي. وتشكّل آليات الانحراف ومخطط التدقيق واختبارات دورة الحياة النواة المقترحة. وتحدّد مواصفة تدقيق أولية متطلبات الضوابط المقترحة والمقاييس المؤقتة ومعايير القبول. ويبقى التنفيذ والتحقق التجريبي عملًا مفتوحًا.
يمكن لحلقة كتابة واسترجاع أن تنشر المواد المولّدة من الوكيل بشكل تكراري عندما تتحقق أربعة روابط بنيوية. وهي ضرورية لكنها غير كافية للانحراف: إذ يجب أن تحمل الحلقة أيضًا مواد غير دقيقة أو غير مدعومة أو مصنّفة تصنيفًا خاطئًا أو متدهورة معرفيًا.
وكل رابط هو أيضًا نقطة تحكّم محتملة.
الاسترجاع القائم على التشابه ليس مطلوبًا، لكنه قد يضخّم الحلقة. وتوثّق الأعمال التجريبية مكوّنين لهذا التضخيم: اتباع الخبرة، حيث يميل الوكلاء إلى إنتاج مخرجات مشابهة عندما تشبه المهمة الحالية خبرة مسترجعة، وانتشار الخطأ، حيث تُسترجع الخبرات المخزّنة الخاطئة وتُقلَّد وتُخزَّن مرة أخرى.
قد ينشأ الانحراف أيضًا دون حلقة كتابة واسترجاع:
قد يحدث التلف أثناء التوحيد قبل استرجاع الذاكرة المعدّلة. ويكتسب عواقب تشغيلية عندما تُستخدم تلك الذاكرة لاحقًا.
لا تكفي تسمية حالة واحدة. إذ ينبغي لسجل الذاكرة القابل للتدقيق أن يُبقي الأبعاد المتمايزة منفصلة:
| الحقل | أمثلة |
|---|---|
| نوع التمثيل | مدخلات مستلمة، حدث استشعار، مخرجات أداة، ادعاء مصدري، استنتاج وكيل |
| المنشأ | المصدر، الطابع الزمني، الأداة، الوكيل، رابط إلى الدليل الأساسي |
| حالة التحقق | غير مختبر، مدعوم، متناقض، مُتحقق منه، مرفوض |
| الصلاحية الزمنية | حالي، قديم، منتهي الصلاحية |
| علاقة الدليل | السجلات أو المصادر التي تدعم السجل أو تناقضه، بما في ذلك قوة ذلك الدعم واستقلاليته وجودته |
| سجل التغييرات | أُنشئ، لُخّص، أُعيد تصنيفه، استُبدل |
| أساس الانتقال المعرفي | دليل جديد، تأكيد، حل التناقض، نتيجة مُتحقق منها |
| أساس الصلاحية | قاعدة سياسة، تصنيف مخاطر، موافقة بشرية، إذن مُفوَّض |
| نسب الاستخدام والقرار | حدث الاسترجاع، الترتيب، درجة الاسترجاع، موضع الموجّه، الإشارة الصريحة في الاستدلال أو المخرجات، الوكيل المستهلك، القرار أو الإجراء المتأثر |
يُثبت المنشأ الأصل، لا الحقيقة. فالمصدر الموثوق قد يكون مخطئًا، واستنتاج الوكيل المُوثَّق يبقى استنتاجًا. يغطي نوع التمثيل السجلات المعرفية فقط؛ فالقرار أو الإجراء لا يحمل حالة تحقق ذات معنى قائمة على الحقيقة، بل يكون الإجراء مُصرَّحًا به، أو مُنفَّذًا، أو ناجحًا، أو فاشلًا، بدلًا من كونه مدعومًا أو متناقضًا، لذا يُُمثَّل كحدث تشغيلي مرتبط بدلًا من كونه نوع تمثيل إضافي. ولا يزال يحمل منشأه وسجل أحداثه الخاص، ويُقيَّم وزنه من خلال دليله الأساسي إلى جانب نسب استخدامه وقراره.
ينبغي أن يستند عدم اليقين إلى الدليل وحالة التحقق بدلًا من الاعتماد فقط على الثقة المُبلَّغ عنها ذاتيًا من النموذج، ولهذا تحمل علاقة الدليل أيضًا قوة المادة الداعمة واستقلاليتها وجودتها.
تُفصَل حالة التحقق عن الصلاحية الزمنية لأن السجل يمكن أن يبقى مُتحققًا منه بينما يصبح قديمًا. كما أن الحداثة الزمنية وحالة الاستبدال مستقلتان أيضًا: يمكن أن يبقى السجل حديثًا زمنيًا بينما يكون قد استُبدل بنسخة أحدث. ويسجّل سجل التغييرات ذلك الاستبدال.
كما يُفصَل أساس الانتقال المعرفي عن أساس الصلاحية: فالأول هو الأساس الدليلي أو أساس المراجعة لتغيير في حالة التحقق، والثاني هو سبب السماح للسجل بالتأثير في قرار. فالموافقة السياسية لا تجعل الادعاء أكثر صحة، والدليل الجديد لا يمنح بحد ذاته إذنًا بالتصرف.
هذا مخطط تدقيق منطقي، وليس اشتراطًا بأن كل حقل ينطبق على كل نوع من السجلات أو بأن جميع السجلات تتعايش في جدول مادي واحد: فقابلية تطبيق الحقول مشروطة بنوع التمثيل، ويمكن ربط الأحداث التشغيلية بالسجلات المعرفية التي تستهلكها.
الصلاحية التشغيلية ليست درجة واحدة بل ملف تعريف لأربعة متغيرات مترابطة ومتميزة: الصلاحية المسموح بها، والتعرض الملاحظ، والاستخدام المسجّل، والتأثير السببي. وهي كائن تدقيق منفصل عن الحالة المعرفية: فالسجل المدعوم جيدًا يمكن مع ذلك منحه صلاحية أكبر مما تسمح به السياسة، والسجل المنحرف يمكن أن يصل إلى قرار عبر صلاحية متوافقة تمامًا مع السياسة، على سبيل المثال إذا منحت السياسة التأثير لأي سجل مُصنَّف على أنه مُتحقق منه. ويتضاعف الخطر كلما وصل سجل ذو حالة معرفية غير مستحقة إلى قرار أو إجراء، سواء كان ذلك الوصول مسموحًا بالسياسة أو غير مُصرَّح به.
يمكن إنشاء الصلاحية المسموح بها من خلال أولوية التعليمات، وأذونات الأدوات، وقواعد الاستخدام الإلزامي، وسياسات القرار اللاحقة. ويتشكل التعرض الملاحظ بآليات منفصلة مثل ترتيب الاسترجاع، وتكرار الاسترجاع، والموضع في السياق؛ ولا يثبت أي منهما بحد ذاته الاستخدام المسجّل أو التأثير السببي.
السلطة المصرّح بها، والتعرّض المرصود، والاستخدام المسجّل، والتأثير السببي هي أربعة كائنات تدقيق مختلفة. السلطة المصرّح بها هي ما تسمح به السياسة. التعرّض المرصود هو ما إذا كان قد تم استرجاع سجل ووضعه في السياق، متاحًا عند اتخاذ قرار؛ ورتبة الاسترجاع، والدرجة، وموضع الموجّه تجعل ذلك قابلًا للملاحظة. الاستخدام المسجّل هو ما إذا كان قد تمت الإشارة إلى السجل صراحةً، أو نسخه، أو الاستشهاد به في استدلال النظام أو مخرجاته؛ والتتبّع يجعل ذلك قابلًا للملاحظة. التأثير السببي هو ما إذا كان القرار سيكون مختلفًا دون السجل، وهو ما لا يستطيع التعرّض ولا الاستخدام المسجّل إثباته بمفرده؛ فهو يتطلب اختبارًا مضبوطًا، مثل إعادة تشغيل قرار مع السجل وبدونه ومقارنة النتيجة. تنشأ نتيجة تدقيق حيث يتجاوز التعرّض المرصود، أو الاستخدام المسجّل، أو التأثير المُثبت السلطة المصرّح بها للسجل. وتنشأ نتيجة ضمان منفصلة حيث يُدّعى التأثير السببي أو يُعتمد عليه لكن لا يمكن دعمه بإعادة تشغيل مضبوطة أو أدلة كافية أخرى. مجرد التعرّض لا يثبت الاستخدام المسجّل أو التأثير السببي. ومع ذلك، فإن التعرّض نفسه يُعد نتيجة تدقيق حيث حظرت سياسة الوصول أو السلطة وضع السجل في ذلك السياق.
أسئلة البحث المركزية هي: