エージェントが生成した推論が、永続的な記憶を通じて認識論上の位置づけを変え、運用上の権限を獲得し、その後の意思決定に影響を与える仕組みを扱う、監査を重視したリスクモデル。
エージェントが生成した推論がどのように認識論的ステータスを変化させ、運用上の権限を獲得し、永続メモリを通じて後の意思決定に影響を与えうるかについての、監査指向のリスクモデル。
書き込み可能な永続メモリを持つエージェント型AIシステムは、単に以前の情報を取得するだけではない。自身の要約、結論、計画、実行履歴を保存することもある。
これによりガバナンス上の問いが生じる:
システムは、受領した情報とエージェントが生成した推論との区別をどのように表現し、保持するのか?
この区別が失われると、推論はその根拠が正当化しないステータスを獲得または保持する可能性がある。そのような記録は、ポリシーで許可された使用を通じてであっても、意思決定や行動に影響を与えうる。権限の不正なエスカレーションや許可された権限を超えた使用は、本プロジェクトが併せて検討する別個の制御上の失敗である。
本リポジトリは、このドリフト過程に対するリスクモデルを構築し、これを自己強化型認識論的ドリフトと呼び、監査可能にする方法を探る。メモリスキーマ、ドリフトメカニズム、ライフサイクルテストプロトコルを含む完全な論証は、The Agent's Epistemic Baggage で展開されている。最初の実装可能な仕様、すなわち型付き監査オブジェクト、遷移ルール、制御、メトリクス、再現可能なテストは、Agent Memory Drift: Audit Operationalization v0.1 で展開されている。仕様を最初から最後まで読むのではなく、これから監査を実行しようとしている場合は、代わりにユーザーガイドから始めるとよい。
本モデルは、書き込み可能な永続メモリを持ち、エージェントが生成した表現を保存、取得、統合し、後の推論、ツール使用、意思決定、または行動に影響を与えるために利用しうるエージェント型AIシステムに適用される。
本モデルは自己進化型エージェントのメモリ経路に焦点を当てている。モデルの重み、ツール、ワークフローへの変更はそれぞれ異なるリスクプロファイルを持ち、現在のスコープ外である。
これは現在、監査指向の概念的リスクモデルである。ドリフトメカニズム、監査スキーマ、ライフサイクルテストが提案される中核を成す。初期の監査仕様は、提案される制御要件、暫定メトリクス、受け入れ基準を定義する。実装と実証的検証は未解決の作業として残っている。
書き込みと取得のループは、4つの構造的リンクが成立するとき、エージェントが生成した素材を再帰的に伝播させうる。これらはドリフトの必要条件だが十分条件ではない。ループはまた、不正確、根拠不足、誤分類、または認識論的に劣化した素材を運ぶ必要がある。
各リンクはまた、潜在的な制御点でもある。
類似性ベースの取得は必須ではないが、ループを増幅させうる。実証研究はこの増幅の2つの構成要素を記録している。すなわち、経験追従(現在のタスクが取得された経験に似ているとき、エージェントは類似した出力を生成する傾向がある)と、エラー伝播(誤った保存経験が取得され、模倣され、再び保存される)である。
ドリフトは書き込みと取得のループなしでも生じうる:
この劣化は、変更されたメモリが取得される前の統合中に生じうる。それが運用上の帰結を獲得するのは、そのメモリが後で使用されるときである。
単一のステータスラベルでは不十分である。監査可能なメモリ記録は、異なる次元を分離して保持すべきである:
| フィールド | 例 |
|---|---|
| 表現タイプ | 受信入力、センサーイベント、ツール出力、ソース主張、エージェント推論 |
| 来歴 | ソース、タイムスタンプ、ツール、エージェント、根拠となる証拠へのリンク |
| 検証状態 | 未検証、支持済み、矛盾、検証済み、却下 |
| 時間的妥当性 | 最新、陳腐化、期限切れ |
| 証拠関係 | レコードを支持または矛盾する記録やソース。その支持の強度、独立性、品質を含む |
| 変更履歴 | 作成、要約、再分類、置換 |
| 認識論的遷移の根拠 | 新たな証拠、裏付け、矛盾の解消、検証済みの結果 |
| 権限の根拠 | ポリシールール、リスク分類、人間による承認、委任された許可 |
| 使用と意思決定の系譜 | 検索イベント、順位、検索スコア、プロンプト内の位置、推論または出力における明示的参照、消費するエージェント、影響を受けた意思決定または行動 |
来歴は起源を確立するものであり、真実を確立するものではない。信頼できるソースでも誤ることがあり、認証されたエージェント推論も依然として推論にすぎない。表現タイプは認識論的レコードのみを対象とする。意思決定や行動は、真実に基づく意味のある検証状態を持たない。行動は支持または矛盾されるのではなく、許可され、実行され、成功または失敗するものであるため、さらなる表現タイプとしてではなく、リンクされた運用イベントとして表現される。行動は依然として独自の来歴とイベント履歴を持ち、その重みは、根拠となる証拠と、使用および意思決定の系譜を通じて評価される。
不確実性は、モデルが自己申告する信頼度のみに依存するのではなく、証拠と検証状態に基づくべきである。そのため、証拠関係は支持資料の強度、独立性、品質も併せて保持する。
検証状態と時間的妥当性が分けて保たれるのは、レコードが検証済みのまま陳腐化し得るためである。時間的な最新性と置換済みステータスもまた独立している。レコードは時間的に最新のまま、より新しいバージョンに置き換えられていることがあり得る。変更履歴はその置換を記録する。
認識論的遷移の根拠と権限の根拠もまた分けて保たれる。前者は検証状態の変化に対する証拠上またはレビュー上の根拠であり、後者はレコードがなぜ意思決定に影響を与えることを許されたかの根拠である。ポリシーの承認は主張をより真実にするものではなく、新たな証拠はそれ自体では行動する許可を与えるものではない。
これは論理的な監査スキーマであり、すべてのフィールドがすべてのレコードタイプに適用されることや、すべてのレコードが単一の物理テーブルに共存することを要求するものではない。フィールドの適用可否は表現タイプに条件付きであり、運用イベントはそれが消費する認識論的レコードにリンクできる。
運用上の権限は単一の度合いではなく、4つの関連しつつも別個の変数のプロファイルである。すなわち、許可された権限、観測された露出、記録された使用、因果的影響である。これは認識論的ステータスとは別個の監査対象である。十分に支持されたレコードであってもポリシーが許す以上の権限を付与され得るし、ドリフトしたレコードであっても、例えばポリシーが検証済みとラベル付けされたあらゆるレコードに影響力を与える場合のように、完全にポリシー準拠の権限を通じて意思決定に到達し得る。不当に得られた認識論的ステータスを持つレコードが意思決定や行動に到達するたびに、その到達がポリシーで許可されていたか無許可であったかを問わず、リスクは複合的に増大する。
許可された権限は、命令の優先度、ツールの権限、必須使用ルール、下流の意思決定ポリシーを通じて生み出され得る。観測された露出は、検索ランキング、検索頻度、コンテキスト内の位置といった別個のメカニズムによって形作られる。いずれもそれ自体では、記録された使用や因果的影響を確立するものではない。
許可された権限、観測された露出、記録された使用、および因果的影響は、4つの異なる監査対象である。許可された権限とは、ポリシーが許可する内容である。観測された露出とは、レコードが取得されコンテキストに配置されたかどうか、すなわち意思決定が行われた時点で利用可能であったかどうかである。取得順位、スコア、プロンプト内の位置によって、これは観測可能となる。記録された使用とは、レコードがシステムの推論または出力において明示的に参照、コピー、または引用されたかどうかである。リネージによって、これは観測可能となる。因果的影響とは、そのレコードがなければ意思決定が異なっていたかどうかであり、露出も記録された使用も単独ではこれを立証できない。これには、レコードありとなしで意思決定を再生し結果を比較するなど、制御されたテストが必要である。観測された露出、記録された使用、または実証された影響が、レコードの許可された権限を超える場合に、監査上の指摘が生じる。因果的影響が主張または依拠されているにもかかわらず、制御された再生またはその他の適切な証拠によって裏付けられない場合には、別個の保証上の指摘が生じる。単なる露出は、記録された使用や因果的影響を立証するものではない。しかしながら、アクセスまたは権限ポリシーがそのレコードをそのコンテキストに配置することを禁止していた場合、露出自体が監査上の指摘となる。
中心的な研究課題は以下のとおりである:
エージェントが生成した推論は、十分な追跡可能な証拠的裏付けなしに、より高い認識論的地位を獲得または保持できるか?メモリレコードは、記録され、承認され、リスクに適したポリシー根拠なしに、より大きな許可された権限を付与され得るか、あるいはその権限の範囲を超えて露出、使用、または因果的影響を持ち得るか?そして、いずれかの移行、およびそれらの間の関係は、メモリライフサイクル全体にわたって再構築できるか?
記録された証拠的根拠なしの認識論的昇格、または十分な反証証拠にもかかわらず持続する地位は、認識論的ドリフトの検証可能な指標であり、記録されたポリシー根拠なしの権限増加は、不正なエスカレーションの検証可能な指標である。根拠がキャプチャされた記録の外に存在する可能性や、ログ記録が不完全である可能性があるため、いずれの不在も決定的な証明ではないが、ポリシーがその記録を要求する場合には、不在自体が管理上の失敗である。
同じドリフトメカニズムは、異なるソースから開始され得る:
いずれもライフサイクル整合性、制御された状態遷移、追跡可能性、およびバージョン履歴を必要とする。外部から開始された汚染には、さらにソース認証、信頼境界の強制、入力の分離、および敵対的メモリインジェクションテストが必要である。
初期監査には、少なくとも5つのケースを含めるべきである:
各ケースについて、レコードが以下のいずれに該当するかを追跡する:
5番目のケースは、知識の硬直化を防ぐものである:安全なメモリシステムは、正当な変更を妨げることなく、裏付けのない昇格を拒否しなければならない。
レコードが意思決定またはアクションに関連付けられている場合、そのレコードを含めた場合、除外した場合、および適切な場合は中立または矛盾するレコードに置き換えた場合について、モデル、プロンプトバージョン、残りのメモリ状態、およびツール出力を実行間で一定に保ち、決定論的なリプレイが不可能な場合は反復ペア試行を用いて、管理された条件下でその決定を再現する。検索とコンテキストへの露出は利用可能性を確立し、リネージは記録された使用を確立することもできる。管理された介入は因果的影響のより強い証拠を提供する。
潜在的な制御点には以下が含まれる:
基礎となる証拠は、プライバシー、データ最小化、保持、およびアクセス制御の要件に従い、リスクに適した期間保持されるか、安全に参照されるべきである。
完全な制御は以下を指定しなければならない:
既存の研究は、経験追従とエラー伝播についての実証的裏付け;テストされた自己進化エージェントにおけるメモリ蓄積後の安全アライメントの劣化;および専用の長期的メモリベンチマークにおける汚染または偏ったメモリ更新下での安全性の劣化を提供している。
反復的な要約は意味的ドリフトのメカニズムとしても特定されている。しかし、認識論的ステータス遷移モデル、運用上の影響プロファイル、およびそれらから導出される制御は、まだ実証的に検証されていない。
したがって、監査スキーマ、権限モデル、およびライフサイクルプロトコルはテスト用に提案された構成物であり、確立された緩和策ではない。
本プロジェクトは、補完的なレコードレベルの層で動作する:特定の表現がどのように認識論的ステータスを変化させたか、それがその後どのように運用上の使用のために活性化されたか、そしてそれらの遷移間の関係を監査中に再構築できるかどうかを問う。
以下の形でのコントリビューションを歓迎する:
次の項目を明確に区別してください。