Un modelo de riesgos orientado a la auditoría sobre cómo las inferencias generadas por agentes pueden cambiar de estatus epistémico, adquirir autoridad operativa e influir en decisiones posteriores mediante la memoria persistente.
Un modelo de riesgo orientado a auditoría sobre cómo las inferencias generadas por agentes pueden cambiar el estatus epistémico, adquirir autoridad operativa e influir en decisiones posteriores a través de la memoria persistente.
Un sistema de IA agéntica con memoria persistente escribible no solo recupera información previa. También puede almacenar sus propios resúmenes, conclusiones, planes e historiales de ejecución.
Esto plantea una cuestión de gobernanza:
¿Cómo representa y preserva el sistema la distinción entre la información recibida y la inferencia generada por el agente?
Si esa distinción se pierde, una inferencia puede adquirir o retener un estatus que su evidencia no justifica. Tal registro puede entonces influir en decisiones o acciones, incluso mediante un uso permitido por la política. La escalada de autoridad no autorizada o el uso más allá de la autoridad permitida es un fallo de control separado que el proyecto también examina.
Este repositorio desarrolla un modelo de riesgo para este proceso de deriva, denominado deriva epistémica autorreforzante, y explora cómo hacerlo auditable. El argumento completo, incluidos el esquema de memoria, los mecanismos de deriva y el protocolo de pruebas de ciclo de vida, se desarrolla en The Agent's Epistemic Baggage. Una primera especificación implementable, con objetos de auditoría tipados, reglas de transición, controles, métricas y una prueba reproducible, se desarrolla en Agent Memory Drift: Audit Operationalization v0.1. Si está a punto de ejecutar una auditoría en lugar de leer la especificación de principio a fin, comience por la Guía del usuario.
El modelo se aplica a sistemas de IA agéntica con memoria persistente escribible, donde las representaciones generadas por el agente pueden almacenarse, recuperarse, consolidarse y usarse para influir en inferencias, uso de herramientas, decisiones o acciones posteriores.
Se centra en la vía de la memoria de los agentes auto-evolutivos. Los cambios en los pesos del modelo, las herramientas y los flujos de trabajo tienen perfiles de riesgo distintos y quedan fuera del alcance actual.
Actualmente se trata de un modelo de riesgo conceptual con orientación a auditoría. Los mecanismos de deriva, el esquema de auditoría y las pruebas de ciclo de vida constituyen el núcleo propuesto. Una especificación de auditoría inicial define los requisitos de control propuestos, métricas provisionales y criterios de aceptación. La implementación y la validación empírica siguen siendo trabajo pendiente.
Un bucle de escritura y recuperación puede propagar material generado por el agente de forma recursiva cuando se cumplen cuatro vínculos estructurales. Son necesarios pero no suficientes para la deriva: el bucle también debe transportar material inexacto, no respaldado, mal clasificado o epistémicamente degradado.
Cada vínculo es también un punto de control potencial.
La recuperación basada en similitud no es necesaria, pero puede amplificar el bucle. El trabajo empírico documenta dos componentes de esta amplificación: el seguimiento de la experiencia (experience-following), donde los agentes tienden a producir resultados similares cuando una tarea actual se parece a una experiencia recuperada, y la propagación de errores, donde las experiencias erróneas almacenadas se recuperan, se imitan y se vuelven a almacenar.
La deriva también puede surgir sin un bucle de escritura y recuperación:
La corrupción puede ocurrir durante la consolidación antes de que se recupere la memoria alterada. Adquiere consecuencias operativas cuando esa memoria se usa posteriormente.
Una única etiqueta de estatus es insuficiente. Un registro de memoria auditable debería mantener separadas las distintas dimensiones:
| Campo | Ejemplos |
|---|---|
| Tipo de representación | entrada recibida, evento de sensor, salida de herramienta, afirmación de fuente, inferencia de agente |
| Procedencia | fuente, marca temporal, herramienta, agente, enlace a la evidencia subyacente |
| Estado de validación | no probado, respaldado, contradicho, validado, rechazado |
| Validez temporal | vigente, obsoleto, expirado |
| Relación de evidencia | registros o fuentes que respaldan o contradicen el registro, incluida la fuerza, independencia y calidad de ese respaldo |
| Historial de cambios | creado, resumido, reclasificado, reemplazado |
| Base de la transición epistémica | nueva evidencia, corroboración, resolución de contradicciones, resultado validado |
| Base de autoridad | regla de política, clasificación de riesgo, aprobación humana, permiso delegado |
| Linaje de uso y decisión | evento de recuperación, clasificación, puntuación de recuperación, posición en el prompt, referencia explícita en el razonamiento o la salida, agente consumidor, decisión o acción afectada |
La procedencia establece el origen, no la verdad. Una fuente confiable puede estar equivocada, y una inferencia de agente autenticada sigue siendo una inferencia. El tipo de representación abarca únicamente registros epistémicos; una decisión o una acción no conlleva un estado de validación basado en la verdad que tenga sentido, una acción está autorizada, ejecutada, es exitosa o fallida en lugar de respaldada o contradicha, por lo que se representa como un evento operativo vinculado en lugar de como un tipo de representación adicional. Aun así, conlleva su propia procedencia e historial de eventos, y su peso se evalúa a través de su evidencia subyacente junto con su linaje de uso y decisión.
La incertidumbre debe fundamentarse en la evidencia y el estado de validación en lugar de depender únicamente de la confianza autoinformada de un modelo, razón por la cual la relación de evidencia también conlleva la fuerza, independencia y calidad del material de respaldo.
El estado de validación y la validez temporal se mantienen separados porque un registro puede seguir validado mientras se vuelve obsoleto. La vigencia temporal y el estado de reemplazo también son independientes: un registro puede seguir siendo temporalmente vigente aunque haya sido reemplazado por una versión más reciente. El historial de cambios registra ese reemplazo.
La base de la transición epistémica y la base de autoridad también se mantienen separadas: la primera es la base probatoria o de revisión para un cambio en el estado de validación, la segunda es por qué se permitió que un registro influyera en una decisión. Una aprobación de política no hace que una afirmación sea más verdadera, y la nueva evidencia no otorga por sí misma permiso para actuar.
Descubre las herramientas más usadas por nuestra comunidad.
Sin datos de popularidad aún.