Un modèle de risque orienté vers l’audit qui décrit comment les inférences générées par des agents peuvent changer de statut épistémique, acquérir une autorité opérationnelle et influencer les décisions ultérieures au moyen d’une mémoire persistante.
Un modèle de risque orienté audit décrivant comment les inférences générées par un agent peuvent modifier le statut épistémique, acquérir une autorité opérationnelle et influencer des décisions ultérieures par le biais d'une mémoire persistante.
Un système d'IA agentique doté d'une mémoire persistante inscriptible ne se contente pas de récupérer des informations antérieures. Il peut également stocker ses propres résumés, conclusions, plans et historiques d'exécution.
Cela soulève une question de gouvernance :
Comment le système représente-t-il et préserve-t-il la distinction entre l'information reçue et l'inférence générée par l'agent ?
Si cette distinction est perdue, une inférence peut acquérir ou conserver un statut que ses preuves ne justifient pas. Un tel enregistrement peut alors influencer des décisions ou des actions, y compris par un usage autorisé par la politique. Une escalade d'autorité non autorisée ou un usage au-delà de l'autorité permise constitue une défaillance de contrôle distincte que le projet examine également.
Ce dépôt développe un modèle de risque pour ce processus de dérive, appelé dérive épistémique auto-renforçante, et explore comment le rendre auditable. L'argumentation complète, incluant le schéma de mémoire, les mécanismes de dérive et le protocole de test du cycle de vie, est développée dans The Agent's Epistemic Baggage. Une première spécification implémentable, avec objets d'audit typés, règles de transition, contrôles, métriques et un test reproductible, est développée dans Agent Memory Drift: Audit Operationalization v0.1. Si vous vous apprêtez à réaliser un audit plutôt qu'à lire la spécification de bout en bout, commencez plutôt par le Guide utilisateur.
Le modèle s'applique aux systèmes d'IA agentiques dotés d'une mémoire persistante inscriptible, où les représentations générées par l'agent peuvent être stockées, récupérées, consolidées et utilisées pour influencer des inférences, des usages d'outils, des décisions ou des actions ultérieurs.
Il se concentre sur la voie mémorielle des agents à auto-évolution. Les modifications des poids du modèle, des outils et des flux de travail présentent des profils de risque distincts et sortent du périmètre actuel.
Il s'agit actuellement d'un modèle de risque conceptuel orienté audit. Les mécanismes de dérive, le schéma d'audit et les tests de cycle de vie constituent le cœur proposé. Une spécification d'audit initiale définit des exigences de contrôle proposées, des métriques provisoires et des critères d'acceptation. L'implémentation et la validation empirique restent des travaux ouverts.
Une boucle d'écriture et de récupération peut propager récursivement du matériel généré par l'agent lorsque quatre liens structurels sont réunis. Ils sont nécessaires mais non suffisants pour la dérive : la boucle doit également véhiculer du matériel inexact, non étayé, mal classifié ou épistémiquement dégradé.
Chaque lien constitue également un point de contrôle potentiel.
La récupération par similarité n'est pas requise, mais elle peut amplifier la boucle. Des travaux empiriques documentent deux composantes de cette amplification : le suivi de l'expérience (experience-following), où les agents tendent à produire des sorties similaires lorsqu'une tâche en cours ressemble à une expérience récupérée, et la propagation d'erreurs, où des expériences erronées stockées sont récupérées, imitées et stockées à nouveau.
La dérive peut également survenir sans boucle d'écriture et de récupération :
La corruption peut survenir pendant la consolidation, avant que la mémoire altérée ne soit récupérée. Elle acquiert des conséquences opérationnelles lorsque cette mémoire est ensuite utilisée.
Une simple étiquette de statut est insuffisante. Un enregistrement de mémoire auditable doit maintenir des dimensions distinctes séparées :
| Champ | Exemples |
|---|---|
| Type de représentation | entrée reçue, événement de capteur, sortie d'outil, affirmation de source, inférence d'agent |
| Provenance | source, horodatage, outil, agent, lien vers la preuve sous-jacente |
| État de validation | non testé, soutenu, contredit, validé, rejeté |
| Validité temporelle | actuel, obsolète, expiré |
| Relation de preuve | enregistrements ou sources qui soutiennent ou contredisent l'enregistrement, y compris la force, l'indépendance et la qualité de ce soutien |
| Historique des modifications | créé, résumé, reclassifié, remplacé |
| Base de transition épistémique | nouvelle preuve, corroboration, résolution de contradiction, résultat validé |
| Base d'autorité | règle de politique, classification des risques, approbation humaine, permission déléguée |
| Traçabilité d'usage et de décision | événement de récupération, rang, score de récupération, position dans le prompt, référence explicite dans le raisonnement ou la sortie, agent consommateur, décision ou action affectée |
La provenance établit l'origine, pas la vérité. Une source fiable peut se tromper, et une inférence d'agent authentifiée reste une inférence. Le type de représentation ne couvre que les enregistrements épistémiques ; une décision ou une action ne porte pas d'état de validation fondé sur la vérité à proprement parler, une action est autorisée, exécutée, réussie ou échouée plutôt que soutenue ou contredite, elle est donc représentée comme un événement opérationnel lié plutôt que comme un type de représentation supplémentaire. Elle porte néanmoins sa propre provenance et son propre historique d'événements, et son poids est évalué à travers ses preuves sous-jacentes ainsi que sa traçabilité d'usage et de décision.
L'incertitude doit être fondée sur les preuves et l'état de validation plutôt que de reposer uniquement sur la confiance auto-déclarée d'un modèle, c'est pourquoi la relation de preuve porte également la force, l'indépendance et la qualité du matériel de soutien.
L'état de validation et la validité temporelle sont maintenus séparés car un enregistrement peut rester validé tout en devenant obsolète. L'actualité temporelle et le statut de remplacement sont également indépendants : un enregistrement peut rester temporellement actuel tout en ayant été remplacé par une version plus récente. L'historique des modifications consigne ce remplacement.
La base de transition épistémique et la base d'autorité sont également maintenues séparées : la première est la base probante ou de revue d'un changement d'état de validation, la seconde est la raison pour laquelle un enregistrement a été autorisé à influencer une décision. Une approbation de politique ne rend pas une affirmation plus vraie, et une nouvelle preuve ne confère pas en soi la permission d'agir.