Um modelo de risco voltado à auditoria sobre como inferências geradas por agentes podem mudar de status epistêmico, adquirir autoridade operacional e influenciar decisões posteriores por meio da memória persistente.
Um modelo de risco orientado a auditoria sobre como inferências geradas por agentes podem alterar o status epistêmico, obter autoridade operacional e influenciar decisões posteriores por meio de memória persistente.
Um sistema de IA agêntico com memória persistente gravável não apenas recupera informações anteriores. Ele também pode armazenar seus próprios resumos, conclusões, planos e históricos de execução.
Isso cria uma questão de governança:
Como o sistema representa e preserva a distinção entre informação recebida e inferência gerada pelo agente?
Se essa distinção for perdida, uma inferência pode adquirir ou manter um status que suas evidências não justificam. Esse registro pode então influenciar decisões ou ações, mesmo por meio de uso permitido pela política. A escalada não autorizada de autoridade ou o uso além da autoridade permitida é uma falha de controle separada que o projeto também examina.
Este repositório desenvolve um modelo de risco para esse processo de deriva, chamado deriva epistêmica autorreforçante, e explora como torná-lo auditável. O argumento completo, incluindo o esquema de memória, os mecanismos de deriva e o protocolo de teste de ciclo de vida, é desenvolvido em The Agent's Epistemic Baggage. Uma primeira especificação implementável, com objetos de auditoria tipados, regras de transição, controles, métricas e um teste reproduzível, é desenvolvida em Agent Memory Drift: Audit Operationalization v0.1. Se você está prestes a executar uma auditoria em vez de ler a especificação de ponta a ponta, comece pelo Guia do Usuário.
O modelo se aplica a sistemas de IA agênticos com memória persistente gravável, nos quais representações geradas pelo agente podem ser armazenadas, recuperadas, consolidadas e usadas para influenciar inferências, uso de ferramentas, decisões ou ações posteriores.
Ele se concentra no caminho da memória de agentes auto-evolutivos. Alterações nos pesos do modelo, nas ferramentas e nos fluxos de trabalho têm perfis de risco distintos e estão fora do escopo atual.
Atualmente, trata-se de um modelo de risco conceitual com orientação para auditoria. Os mecanismos de deriva, o esquema de auditoria e os testes de ciclo de vida formam o núcleo proposto. Uma especificação inicial de auditoria define requisitos de controle propostos, métricas provisórias e critérios de aceitação. A implementação e a validação empírica permanecem como trabalho em aberto.
Um loop de escrita e recuperação pode propagar material gerado pelo agente recursivamente quando quatro vínculos estruturais se mantêm. Eles são necessários, mas não suficientes para a deriva: o loop também deve carregar material impreciso, não sustentado, classificado incorretamente ou epistemicamente degradado.
Cada vínculo é também um ponto de controle potencial.
A recuperação baseada em similaridade não é necessária, mas pode amplificar o loop. Trabalhos empíricos documentam dois componentes dessa amplificação: experience-following, em que os agentes tendem a produzir saídas semelhantes quando uma tarefa atual se assemelha a uma experiência recuperada, e propagação de erro, em que experiências armazenadas errôneas são recuperadas, imitadas e armazenadas novamente.
A deriva também pode surgir sem um loop de escrita e recuperação:
A corrupção pode ocorrer durante a consolidação antes que a memória alterada seja recuperada. Ela adquire consequências operacionais quando essa memória é posteriormente utilizada.
Um único rótulo de status é insuficiente. Um registro de memória auditável deve manter dimensões distintas separadas:
| Campo | Exemplos |
|---|---|
| Tipo de representação | entrada recebida, evento de sensor, saída de ferramenta, alegação de fonte, inferência de agente |
| Proveniência | fonte, timestamp, ferramenta, agente, link para a evidência subjacente |
| Estado de validação | não testado, apoiado, contradito, validado, rejeitado |
| Validade temporal | atual, obsoleto, expirado |
| Relação de evidência | registros ou fontes que apoiam ou contradizem o registro, incluindo a força, a independência e a qualidade desse apoio |
| Histórico de alterações | criado, resumido, reclassificado, substituído |
| Base da transição epistêmica | nova evidência, corroboração, resolução de contradição, resultado validado |
| Base de autoridade | regra de política, classificação de risco, aprovação humana, permissão delegada |
| Linhagem de uso e decisão | evento de recuperação, classificação, pontuação de recuperação, posição no prompt, referência explícita no raciocínio ou na saída, agente consumidor, decisão ou ação afetada |
A proveniência estabelece a origem, não a verdade. Uma fonte confiável pode estar errada, e uma inferência de agente autenticada continua sendo uma inferência. O tipo de representação abrange apenas registros epistêmicos; uma decisão ou uma ação não carrega um estado de validação significativo baseado em verdade — uma ação é autorizada, executada, bem-sucedida ou falhou, em vez de apoiada ou contradita —, portanto é representada como um evento operacional vinculado, e não como um tipo adicional de representação. Ela ainda carrega sua própria proveniência e histórico de eventos, e seu peso é avaliado por meio de sua evidência subjacente, juntamente com sua linhagem de uso e decisão.
A incerteza deve ser fundamentada na evidência e no estado de validação, em vez de depender apenas da confiança autorrelatada de um modelo, razão pela qual a relação de evidência também carrega a força, a independência e a qualidade do material de apoio.
O estado de validação e a validade temporal são mantidos separados porque um registro pode permanecer validado enquanto se torna obsoleto. A atualidade temporal e o status de substituído também são independentes: um registro pode permanecer temporalmente atual enquanto foi substituído por uma versão mais recente. O histórico de alterações registra essa substituição.
A base da transição epistêmica e a base de autoridade também são mantidas separadas: a primeira é a base evidencial ou de revisão para uma mudança no estado de validação, a segunda é o motivo pelo qual um registro pôde influenciar uma decisão. Uma aprovação de política não torna uma alegação mais verdadeira, e uma nova evidência não concede, por si só, permissão para agir.
Este é um esquema de auditoria lógica, não uma exigência de que todos os campos se apliquem a todos os tipos de registro ou de que todos os registros coexistam em uma única tabela física: a aplicabilidade dos campos é condicional ao tipo de representação, e os eventos operacionais podem ser vinculados aos registros epistêmicos que consomem.