에이전트가 생성한 추론이 지속적인 메모리를 통해 인식론적 지위를 바꾸고 운영 권한을 획득하며 이후의 의사결정에 영향을 미칠 수 있는 방식을 다루는 감사 중심의 위험 모델입니다.
에이전트가 생성한 추론이 어떻게 인식론적 지위를 바꾸고, 운영상의 권한을 획득하며, 지속적 메모리를 통해 이후의 결정에 영향을 미칠 수 있는지에 대한 감사 지향적 위험 모델.
쓰기 가능한 지속적 메모리를 갖춘 에이전트형 AI 시스템은 이전 정보를 검색하는 것만 하지 않는다. 자체적인 요약, 결론, 계획, 실행 이력을 저장할 수도 있다.
이로 인해 거버넌스 질문이 생긴다:
시스템은 수신된 정보와 에이전트가 생성한 추론 사이의 구분을 어떻게 표현하고 보존하는가?
그 구분이 상실되면, 추론은 그 증거가 정당화하지 못하는 지위를 획득하거나 유지할 수 있다. 그러한 기록은 정책상 허용된 사용을 통해서라도 이후의 결정이나 행동에 영향을 미칠 수 있다. 권한 없는 권한 상승이나 허용된 권한을 넘어선 사용은 프로젝트가 함께 검토하는 별개의 통제 실패이다.
이 저장소는 이러한 표류 과정에 대한 위험 모델을 개발하며, 이를 자기 강화적 인식론적 표류라고 부르고, 이를 어떻게 감사 가능하게 만들 수 있는지 탐구한다. 메모리 스키마, 표류 메커니즘, 수명 주기 테스트 프로토콜을 포함한 전체 논증은 The Agent's Epistemic Baggage에서 전개된다. 최초의 구현 가능한 명세, 타입화된 감사 객체, 전이 규칙, 통제, 지표, 재현 가능한 테스트는 Agent Memory Drift: Audit Operationalization v0.1에서 전개된다. 명세를 처음부터 끝까지 읽기보다 감사를 실행하려는 경우에는 대신 사용자 가이드부터 시작하라.
이 모델은 에이전트가 생성한 표상이 저장되고, 검색되고, 통합되며, 이후의 추론, 도구 사용, 결정 또는 행동에 영향을 미치는 데 사용될 수 있는 쓰기 가능한 지속적 메모리를 갖춘 에이전트형 AI 시스템에 적용된다.
이는 자기 진화하는 에이전트의 메모리 경로에 초점을 둔다. 모델 가중치, 도구, 워크플로에 대한 변경은 서로 다른 위험 프로파일을 가지며 현재 범위 밖이다.
현재 이는 감사 지향성을 지닌 개념적 위험 모델이다. 표류 메커니즘, 감사 스키마, 수명 주기 테스트가 제안된 핵심을 이룬다. 초기 감사 명세는 제안된 통제 요구사항, 잠정적 지표, 수용 기준을 정의한다. 구현과 실증적 검증은 여전히 미해결 과제로 남아 있다.
네 가지 구조적 연결이 성립할 때, 쓰기 및 검색 루프는 에이전트가 생성한 자료를 재귀적으로 전파할 수 있다. 이들은 표류에 필요하지만 충분하지는 않다: 루프는 또한 부정확하거나, 뒷받침되지 않거나, 잘못 분류되거나, 인식론적으로 저하된 자료를 운반해야 한다.
각 연결은 또한 잠재적인 통제 지점이기도 하다.
유사성 기반 검색은 필수는 아니지만, 루프를 증폭시킬 수 있다. 실증 연구는 이러한 증폭의 두 가지 구성 요소를 문서화한다: 현재 작업이 검색된 경험과 유사할 때 에이전트가 유사한 출력을 생성하는 경향인 경험 추종과, 잘못 저장된 경험이 검색되고 모방되며 다시 저장되는 오류 전파이다.
표류는 쓰기 및 검색 루프 없이도 발생할 수 있다:
손상은 변경된 메모리가 검색되기 전에 통합 과정에서 발생할 수 있다. 이는 해당 메모리가 나중에 사용될 때 운영상의 결과를 초래한다.
단일 상태 레이블로는 충분하지 않다. 감사 가능한 메모리 기록은 서로 다른 차원을 분리하여 유지해야 한다:
| 필드 | 예시 |
|---|---|
| 표현 유형 | 수신된 입력, 센서 이벤트, 도구 출력, 출처 주장, 에이전트 추론 |
| 출처(프로버넌스) | 출처, 타임스탬프, 도구, 에이전트, 기반 증거로의 링크 |
| 검증 상태 | 미검증, 지지됨, 반박됨, 검증됨, 거부됨 |
| 시간적 유효성 | 현재, 오래됨, 만료됨 |
| 증거 관계 | 레코드를 지지하거나 반박하는 기록 또는 출처(해당 지지의 강도, 독립성, 품질 포함) |
| 변경 이력 | 생성됨, 요약됨, 재분류됨, 대체됨 |
| 인식론적 전환 근거 | 새로운 증거, 상호 확인, 모순 해소, 검증된 결과 |
| 권한 근거 | 정책 규칙, 위험 분류, 인간 승인, 위임된 권한 |
| 사용 및 의사결정 계보 | 검색 이벤트, 순위, 검색 점수, 프롬프트 내 위치, 추론 또는 출력에서의 명시적 참조, 소비 에이전트, 영향을 받은 의사결정 또는 행동 |
출처(프로버넌스)는 기원을 확립할 뿐 진실을 확립하지 않는다. 신뢰할 수 있는 출처도 틀릴 수 있으며, 인증된 에이전트 추론은 여전히 추론일 뿐이다. 표현 유형은 인식론적 레코드만을 포괄한다. 의사결정이나 행동은 의미 있는 진실 기반 검증 상태를 지니지 않는다. 행동은 지지되거나 반박되는 것이 아니라 승인되고, 실행되고, 성공하거나 실패하는 것이므로, 추가적인 표현 유형이 아니라 연결된 운영 이벤트로 표현된다. 행동은 여전히 고유의 출처와 이벤트 이력을 지니며, 그 가중치는 기반 증거와 함께 사용 및 의사결정 계보를 통해 평가된다.
불확실성은 모델이 스스로 보고하는 신뢰도에만 의존하기보다 증거와 검증 상태에 근거해야 하며, 이것이 증거 관계가 지지 자료의 강도, 독립성, 품질 또한 담는 이유이다.
검증 상태와 시간적 유효성은 분리되어 유지되는데, 레코드가 검증된 상태를 유지하면서도 오래될 수 있기 때문이다. 시간적 최신성과 대체됨 상태 역시 독립적이다. 레코드는 시간적으로 현재성을 유지하면서도 더 새로운 버전으로 대체되었을 수 있다. 변경 이력이 그러한 대체를 기록한다.
인식론적 전환 근거와 권한 근거 역시 분리되어 유지된다. 전자는 검증 상태의 변화에 대한 증거적 또는 검토적 근거이고, 후자는 레코드가 의사결정에 영향을 미치도록 허용된 이유이다. 정책 승인은 주장을 더 진실되게 만들지 않으며, 새로운 증거는 그 자체로 행동 권한을 부여하지 않는다.
이는 논리적 감사 스키마이며, 모든 필드가 모든 레코드 유형에 적용되어야 한다거나 모든 레코드가 단일 물리적 테이블에 공존해야 한다는 요구사항이 아니다. 필드 적용 가능성은 표현 유형에 따라 조건부이며, 운영 이벤트는 자신이 소비하는 인식론적 레코드에 연결될 수 있다.
운영 권한은 단일 정도가 아니라 네 가지의 서로 관련되지만 구별되는 변수의 프로필이다. 즉 허용된 권한, 관찰된 노출, 기록된 사용, 인과적 영향이다. 이는 인식론적 상태와는 별개의 감사 객체이다. 잘 지지된 레코드라도 정책이 허용하는 것보다 더 많은 권한을 부여받을 수 있으며, 표류한 레코드라도 예컨대 정책이 검증됨으로 표시된 모든 레코드에 영향력을 부여하는 경우 완전히 정책을 준수하는 권한을 통해 의사결정에 도달할 수 있다. 정당하게 얻지 못한 인식론적 상태를 지닌 레코드가 의사결정이나 행동에 도달할 때마다 위험이 증폭되며, 그러한 도달이 정책상 허용되었든 승인되지 않았든 마찬가지이다.
허용된 권한은 지시 우선순위, 도구 권한, 필수 사용 규칙, 하위 의사결정 정책을 통해 생성될 수 있다. 관찰된 노출은 검색 순위, 검색 빈도, 컨텍스트 내 위치와 같은 별개의 메커니즘에 의해 형성되며, 어느 것도 그 자체로 기록된 사용이나 인과적 영향을 확립하지 않는다.
허용된 권한, 관찰된 노출, 기록된 사용, 인과적 영향은 네 가지 서로 다른 감사 대상입니다. 허용된 권한은 정책이 허용하는 범위입니다. 관찰된 노출은 레코드가 검색되어 컨텍스트에 배치되었는지, 즉 결정이 내려질 때 이용 가능했는지 여부이며, 검색 순위, 점수, 프롬프트 내 위치를 통해 관찰 가능합니다. 기록된 사용은 레코드가 시스템의 추론이나 출력에서 명시적으로 참조, 복사 또는 인용되었는지 여부이며, 계보(lineage)를 통해 관찰 가능합니다. 인과적 영향은 해당 레코드가 없었다면 결정이 달라졌을지 여부이며, 이는 노출이나 기록된 사용만으로는 입증할 수 없고, 레코드가 있을 때와 없을 때의 결정을 재현하여 결과를 비교하는 등의 통제된 테스트가 필요합니다. 관찰된 노출, 기록된 사용 또는 입증된 영향이 레코드의 허용된 권한을 초과하는 경우 감사 발견 사항이 발생합니다. 인과적 영향이 주장되거나 의존되지만 통제된 재현이나 기타 적절한 증거로 뒷받침될 수 없는 경우에는 별도의 보증 발견 사항이 발생합니다. 단순한 노출만으로는 기록된 사용이나 인과적 영향을 입증하지 못합니다. 다만, 접근 또는 권한 정책이 해당 레코드를 그 컨텍스트에 배치하는 것을 금지한 경우에는 노출 자체가 감사 발견 사항이 됩니다.
핵심 연구 질문은 다음과 같습니다:
에이전트가 생성한 추론이 충분히 추적 가능한 증거적 뒷받침 없이 더 높은 인식론적 지위를 획득하거나 유지할 수 있는가? 메모리 레코드가 기록되고, 승인되며, 위험에 적절한 정책 근거 없이 더 큰 허용 권한을 부여받거나, 그 권한의 범위를 넘어 노출되거나 사용되거나 인과적으로 영향을 미칠 수 있는가? 그리고 두 전이 중 어느 것이든, 그리고 그 둘 사이의 관계가 메모리 생애주기 전반에 걸쳐 재구성될 수 있는가?
기록된 증거적 근거 없이 이루어진 인식론적 승격, 또는 충분한 반증 증거에도 불구하고 지속되는 지위는 인식론적 드리프트의 검증 가능한 지표이며, 기록된 정책 근거 없이 이루어진 권한 증가는 무단 에스컬레이션의 검증 가능한 지표입니다. 어느 경우든 부재가 결정적 증거는 아닙니다. 근거가 캡처된 레코드 외부에 존재할 수도 있고 로깅이 불완전할 수도 있기 때문입니다. 그러나 정책이 기록을 요구하는 모든 경우에 그 부재 자체가 통제 실패입니다.
동일한 드리프트 메커니즘은 서로 다른 출처에서 개시될 수 있습니다:
두 경우 모두 생애주기 무결성, 통제된 상태 전이, 추적 가능성, 버전 이력이 필요합니다. 외부에서 개시된 오염은 추가적으로 출처 인증, 신뢰 경계 적용, 입력 격리, 적대적 메모리 주입 테스트가 필요합니다.
초기 감사에는 최소 다섯 가지 사례가 포함되어야 합니다:
각 사례에 대해 레코드가 다음을 수행하는지 추적합니다:
다섯 번째 사례는 지식 고착화를 방지합니다: 안전한 메모리 시스템은 정당한 변경을 차단하지 않으면서 뒷받침되지 않는 승격을 거부해야 합니다.
결정이나 조치와 연관된 레코드가 있는 경우, 레코드를 포함한 경우, 제거한 경우, 그리고 적절한 경우 중립적이거나 모순되는 레코드로 대체한 경우에 대해 통제된 조건에서 결정을 반복하며, 모델, 프롬프트 버전, 나머지 메모리 상태, 도구 출력을 실행 전반에 걸쳐 일정하게 유지하고, 결정적 재현이 불가능한 경우에는 반복된 짝지은 시행을 사용한다. 검색과 컨텍스트 노출은 가용성을 확립하며, 계보는 기록된 사용 또한 확립할 수 있다; 통제된 개입은 인과적 영향에 대한 더 강력한 증거를 제공한다.
잠재적 통제 지점은 다음과 같다:
기반 증거는 프라이버시, 데이터 최소화, 보존, 접근 통제 요건을 준수하면서 위험에 적합한 기간 동안 보존되거나 안전하게 참조되어야 한다.
완전한 통제는 다음을 명시해야 한다:
기존 연구는 경험 추종과 오류 전파에 대한 실증적 근거를 제공하며; 테스트된 자기 진화 에이전트에서 메모리 축적 후 안전 정렬 저하; 그리고 전용 장기 지평 메모리 벤치마크에서 오염되거나 편향된 메모리 업데이트 하의 안전 저하를 제공한다.
반복적 요약 또한 의미론적 표류의 메커니즘으로 확인되었다. 그러나 인식론적 상태 전환 모델, 운영적 영향 프로파일, 그리고 이들로부터 도출된 통제는 아직 실증적으로 검증되지 않았다.
따라서 감사 스키마, 권한 모델, 수명주기 프로토콜은 테스트를 위한 제안된 구성물이며, 확립된 완화책이 아니다.
이 프로젝트는 상호 보완적인 레코드 수준 계층에서 작동한다: 특정 표현이 어떻게 인식론적 상태를 변경했는지, 이후 어떻게 운영적 사용을 위해 활성화되었는지, 그리고 그러한 전환 간의 관계가 감사 중에 재구성될 수 있는지를 묻는다.