Ein auf Audits ausgerichtetes Risikomodell dafür, wie von Agenten erzeugte Schlussfolgerungen ihren epistemischen Status ändern, operative Autorität erlangen und spätere Entscheidungen durch persistente Speicherung beeinflussen können.
Ein audit-orientiertes Risikomodell dafür, wie agentengenerierte Inferenzen den epistemischen Status ändern, operative Autorität erlangen und spätere Entscheidungen durch persistenten Speicher beeinflussen können.
Ein agentisches KI-System mit beschreibbarem persistentem Speicher ruft nicht nur frühere Informationen ab. Es kann auch seine eigenen Zusammenfassungen, Schlussfolgerungen, Pläne und Ausführungshistorien speichern.
Daraus ergibt sich eine Governance-Frage:
Wie stellt das System die Unterscheidung zwischen empfangener Information und agentengenerierter Inferenz dar und bewahrt sie?
Wenn diese Unterscheidung verloren geht, kann eine Inferenz einen Status erlangen oder behalten, den ihre Evidenz nicht rechtfertigt. Ein solcher Datensatz kann dann Entscheidungen oder Handlungen beeinflussen, selbst durch richtlinienkonforme Nutzung. Unbefugte Autoritätsausweitung oder Nutzung über die erlaubte Autorität hinaus ist ein separater Kontrollfehler, den das Projekt ebenfalls untersucht.
Dieses Repository entwickelt ein Risikomodell für diesen Driftprozess, genannt selbstverstärkende epistemische Drift, und untersucht, wie man ihn auditierbar macht. Die vollständige Argumentation, einschließlich des Speicherschemas, der Driftmechanismen und des Lifecycle-Testprotokolls, wird in The Agent's Epistemic Baggage entwickelt. Eine erste implementierbare Spezifikation, typisierte Audit-Objekte, Übergangsregeln, Kontrollen, Metriken und ein reproduzierbarer Test, wird in Agent Memory Drift: Audit Operationalization v0.1 entwickelt. Wenn Sie ein Audit durchführen möchten, anstatt die Spezifikation von vorne bis hinten zu lesen, beginnen Sie stattdessen mit dem User Guide.
Das Modell gilt für agentische KI-Systeme mit beschreibbarem persistentem Speicher, bei denen agentengenerierte Repräsentationen gespeichert, abgerufen, konsolidiert und zur Beeinflussung späterer Inferenzen, Werkzeugnutzung, Entscheidungen oder Handlungen verwendet werden können.
Es konzentriert sich auf den Speicherpfad selbst-evolvierender Agenten. Änderungen an Modellgewichten, Werkzeugen und Workflows haben unterschiedliche Risikoprofile und liegen außerhalb des aktuellen Geltungsbereichs.
Dies ist derzeit ein konzeptionelles Risikomodell mit Audit-Orientierung. Die Driftmechanismen, das Audit-Schema und die Lifecycle-Tests bilden den vorgeschlagenen Kern. Eine erste Audit-Spezifikation definiert vorgeschlagene Kontrollanforderungen, vorläufige Metriken und Akzeptanzkriterien. Implementierung und empirische Validierung bleiben offene Arbeit.
Eine Schreib- und Abrufschleife kann agentengeneriertes Material rekursiv propagieren, wenn vier strukturelle Verknüpfungen bestehen. Sie sind notwendig, aber nicht hinreichend für Drift: Die Schleife muss auch ungenaues, nicht gestütztes, falsch klassifiziertes oder epistemisch degradiertes Material transportieren.
Jede Verknüpfung ist auch ein potenzieller Kontrollpunkt.
Ähnlichkeitsbasiertes Abrufen ist nicht erforderlich, kann die Schleife aber verstärken. Empirische Arbeiten dokumentieren zwei Komponenten dieser Verstärkung: Experience-Following, wobei Agenten dazu neigen, ähnliche Ausgaben zu erzeugen, wenn eine aktuelle Aufgabe einer abgerufenen Erfahrung ähnelt, und Fehlerpropagation, wobei fehlerhafte gespeicherte Erfahrungen abgerufen, imitiert und erneut gespeichert werden.
Drift kann auch ohne eine Schreib- und Abrufschleife entstehen:
Die Verfälschung kann während der Konsolidierung auftreten, bevor der veränderte Speicher abgerufen wird. Sie erlangt operative Konsequenzen, wenn dieser Speicher später verwendet wird.
Ein einzelnes Statuslabel ist unzureichend. Ein auditierbarer Speicherdatensatz sollte verschiedene Dimensionen getrennt halten:
| Feld | Beispiele |
|---|---|
| Repräsentationstyp | empfangene Eingabe, Sensorereignis, Tool-Ausgabe, Quellenaussage, Agenten-Inferenz |
| Provenienz | Quelle, Zeitstempel, Tool, Agent, Link zu den zugrunde liegenden Belegen |
| Validierungszustand | ungetestet, gestützt, widerlegt, validiert, verworfen |
| Zeitliche Gültigkeit | aktuell, veraltet, abgelaufen |
| Belegbeziehung | Datensätze oder Quellen, die den Datensatz stützen oder ihm widersprechen, einschließlich der Stärke, Unabhängigkeit und Qualität dieser Stützung |
| Änderungshistorie | erstellt, zusammengefasst, neu klassifiziert, ersetzt |
| Grund der epistemischen Transition | neue Belege, Bestätigung, Auflösung eines Widerspruchs, validiertes Ergebnis |
| Autoritätsgrundlage | Richtlinienregel, Risikoklassifizierung, menschliche Genehmigung, delegierte Berechtigung |
| Nutzungs- und Entscheidungsherkunft | Abrufereignis, Rang, Abruf-Score, Position im Prompt, explizite Referenz in der Argumentation oder Ausgabe, konsumierender Agent, betroffene Entscheidung oder Handlung |
Provenienz belegt den Ursprung, nicht die Wahrheit. Eine vertrauenswürdige Quelle kann falsch liegen, und eine authentifizierte Agenten-Inferenz bleibt eine Inferenz. Der Repräsentationstyp umfasst ausschließlich epistemische Datensätze; eine Entscheidung oder eine Handlung trägt keinen sinnvollen wahrheitsbasierten Validierungszustand – eine Handlung ist autorisiert, ausgeführt, erfolgreich oder fehlgeschlagen statt gestützt oder widerlegt – und wird daher als verknüpftes operatives Ereignis dargestellt, nicht als weiterer Repräsentationstyp. Sie trägt weiterhin ihre eigene Provenienz und Ereignishistorie, und ihr Gewicht wird anhand ihrer zugrunde liegenden Belege zusammen mit ihrer Nutzungs- und Entscheidungsherkunft bewertet.
Unsicherheit sollte in Belegen und Validierungszustand begründet sein, statt sich allein auf die selbstberichtete Konfidenz eines Modells zu verlassen; deshalb trägt die Belegbeziehung auch die Stärke, Unabhängigkeit und Qualität des stützenden Materials.
Validierungszustand und zeitliche Gültigkeit werden getrennt gehalten, weil ein Datensatz validiert bleiben kann, während er veraltet. Zeitliche Aktualität und Ersetzungsstatus sind ebenfalls unabhängig: Ein Datensatz kann zeitlich aktuell bleiben, während er durch eine neuere Version ersetzt wurde. Die Änderungshistorie verzeichnet diese Ersetzung.
Grund der epistemischen Transition und Autoritätsgrundlage werden ebenfalls getrennt gehalten: Ersterer ist die beleg- oder prüfungsbasierte Grundlage für eine Änderung des Validierungszustands, Letztere ist der Grund, warum ein Datensatz eine Entscheidung beeinflussen durfte. Eine Richtlinienfreigabe macht eine Aussage nicht wahrer, und neue Belege erteilen für sich genommen keine Handlungsberechtigung.