Un modello di rischio orientato all’audit che descrive come le inferenze generate dagli agenti possano cambiare stato epistemico, acquisire autorità operativa e influenzare le decisioni successive attraverso la memoria persistente.
Un modello di rischio orientato all'audit su come le inferenze generate dagli agenti possono modificare lo stato epistemico, acquisire autorità operativa e influenzare decisioni successive attraverso una memoria persistente.
Un sistema di IA agentica con memoria persistente scrivibile non si limita a recuperare informazioni precedenti. Può anche memorizzare i propri riassunti, conclusioni, piani e cronologie di esecuzione.
Ciò solleva una questione di governance:
In che modo il sistema rappresenta e preserva la distinzione tra informazione ricevuta e inferenza generata dall'agente?
Se tale distinzione viene persa, un'inferenza può acquisire o mantenere uno status che le sue evidenze non giustificano. Un simile record può quindi influenzare decisioni o azioni, anche attraverso un uso consentito dalle policy. L'escalation non autorizzata di autorità o l'uso oltre l'autorità consentita è un distinto fallimento dei controlli che il progetto esamina anch'esso.
Questo repository sviluppa un modello di rischio per tale processo di deriva, chiamato deriva epistemica auto-rinforzante, ed esplora come renderlo verificabile tramite audit. L'argomentazione completa, inclusi lo schema di memoria, i meccanismi di deriva e il protocollo di test del ciclo di vita, è sviluppata in The Agent's Epistemic Baggage. Una prima specifica implementabile, con oggetti di audit tipizzati, regole di transizione, controlli, metriche e un test riproducibile, è sviluppata in Agent Memory Drift: Audit Operationalization v0.1. Se si sta per eseguire un audit anziché leggere la specifica dall'inizio alla fine, conviene iniziare dalla Guida utente.
Il modello si applica ai sistemi di IA agentica con memoria persistente scrivibile, in cui le rappresentazioni generate dall'agente possono essere memorizzate, recuperate, consolidate e utilizzate per influenzare inferenze, uso di strumenti, decisioni o azioni successive.
Si concentra sul percorso di memoria degli agenti auto-evolventi. Le modifiche ai pesi del modello, agli strumenti e ai flussi di lavoro hanno profili di rischio distinti e sono al di fuori dell'ambito attuale.
Attualmente si tratta di un modello di rischio concettuale con orientamento all'audit. I meccanismi di deriva, lo schema di audit e i test del ciclo di vita costituiscono il nucleo proposto. Una specifica di audit iniziale definisce i requisiti di controllo proposti, metriche provvisorie e criteri di accettazione. L'implementazione e la validazione empirica restano lavoro aperto.
Un ciclo di scrittura e recupero può propagare ricorsivamente materiale generato dall'agente quando sussistono quattro legami strutturali. Essi sono necessari ma non sufficienti per la deriva: il ciclo deve anche trasportare materiale inaccurato, non supportato, classificato erroneamente o epistemicamente degradato.
Ogni legame è anche un potenziale punto di controllo.
Il recupero basato sulla similarità non è richiesto, ma può amplificare il ciclo. Il lavoro empirico documenta due componenti di questa amplificazione: il seguito dell'esperienza (experience-following), in cui gli agenti tendono a produrre output simili quando un'attività corrente assomiglia a un'esperienza recuperata, e la propagazione degli errori, in cui esperienze memorizzate errate vengono recuperate, imitate e memorizzate di nuovo.
La deriva può anche insorgere senza un ciclo di scrittura e recupero:
La corruzione può verificarsi durante il consolidamento prima che la memoria alterata venga recuperata. Acquisisce conseguenze operative quando tale memoria viene successivamente utilizzata.
Una singola etichetta di stato è insufficiente. Un record di memoria verificabile tramite audit dovrebbe mantenere separate le diverse dimensioni:
| Campo | Esempi |
|---|---|
| Tipo di rappresentazione | input ricevuto, evento del sensore, output dello strumento, affermazione della fonte, inferenza dell'agente |
| Provenienza | fonte, timestamp, strumento, agente, link all'evidenza sottostante |
| Stato di validazione | non testato, supportato, contraddetto, validato, respinto |
| Validità temporale | corrente, obsoleto, scaduto |
| Relazione con l'evidenza | record o fonti che supportano o contraddicono il record, inclusi la forza, l'indipendenza e la qualità di tale supporto |
| Cronologia delle modifiche | creato, riepilogato, riclassificato, sostituito |
| Base della transizione epistemica | nuova evidenza, corroborazione, risoluzione di una contraddizione, esito validato |
| Base dell'autorità | regola di policy, classificazione del rischio, approvazione umana, permesso delegato |
| Lineage di utilizzo e decisione | evento di recupero, posizione in classifica, punteggio di recupero, posizione nel prompt, riferimento esplicito nel ragionamento o nell'output, agente consumatore, decisione o azione interessata |
La provenienza stabilisce l'origine, non la verità. Una fonte attendibile può sbagliare, e un'inferenza di un agente autenticato rimane un'inferenza. Il tipo di rappresentazione riguarda solo i record epistemici; una decisione o un'azione non porta con sé uno stato di validazione basato sulla verità dotato di significato, un'azione è autorizzata, eseguita, riuscita o fallita anziché supportata o contraddetta, perciò è rappresentata come un evento operativo collegato anziché come un ulteriore tipo di rappresentazione. Essa conserva comunque la propria provenienza e la propria cronologia degli eventi, e il suo peso viene valutato attraverso l'evidenza sottostante insieme al suo lineage di utilizzo e decisione.
L'incertezza dovrebbe essere fondata sull'evidenza e sullo stato di validazione anziché basarsi esclusivamente sulla fiducia auto-dichiarata di un modello, motivo per cui la relazione con l'evidenza porta con sé anche la forza, l'indipendenza e la qualità del materiale di supporto.
Lo stato di validazione e la validità temporale sono tenuti separati perché un record può rimanere validato pur diventando obsoleto. L'attualità temporale e lo stato di sostituzione sono anch'essi indipendenti: un record può rimanere temporalmente corrente pur essendo stato sostituito da una versione più recente. La cronologia delle modifiche registra tale sostituzione.
Anche la base della transizione epistemica e la base dell'autorità sono tenute separate: la prima è la base probatoria o di revisione per un cambiamento nello stato di validazione, la seconda è il motivo per cui a un record è stato consentito influenzare una decisione. Un'approvazione di policy non rende un'affermazione più vera, e una nuova evidenza non concede di per sé il permesso di agire.