Ориентированная на аудит модель риска, описывающая, как выводы, создаваемые агентами, могут менять эпистемический статус, приобретать операционные полномочия и влиять на последующие решения через постоянную память.
Ориентированная на аудит модель рисков того, как сгенерированные агентом выводы могут изменять эпистемический статус, приобретать операционные полномочия и влиять на последующие решения через постоянную память.
Агентная ИИ-система с записываемой постоянной памятью не только извлекает ранее сохранённую информацию. Она также может хранить собственные резюме, выводы, планы и истории выполнения.
Это порождает вопрос управления:
Как система представляет и сохраняет различие между полученной информацией и выводом, сгенерированным агентом?
Если это различие утрачивается, вывод может приобрести или сохранить статус, который его доказательства не оправдывают. Такая запись затем может влиять на решения или действия, в том числе при использовании, разрешённом политикой. Несанкционированное повышение полномочий или использование за пределами разрешённых полномочий — это отдельный сбой контроля, который проект также рассматривает.
В этом репозитории разрабатывается модель рисков для этого процесса дрейфа, называемого самоусиливающимся эпистемическим дрейфом, и исследуется, как сделать его поддающимся аудиту. Полная аргументация, включая схему памяти, механизмы дрейфа и протокол жизненного цикла тестирования, изложена в The Agent's Epistemic Baggage. Первая реализуемая спецификация — типизированные объекты аудита, правила переходов, средства контроля, метрики и воспроизводимый тест — изложена в Agent Memory Drift: Audit Operationalization v0.1. Если вы собираетесь проводить аудит, а не читать спецификацию от корки до корки, начните с User Guide.
Модель применима к агентным ИИ-системам с записываемой постоянной памятью, где сгенерированные агентом представления могут сохраняться, извлекаться, консолидироваться и использоваться для влияния на последующие выводы, использование инструментов, решения или действия.
Она сосредоточена на пути памяти самоэволюционирующих агентов. Изменения весов модели, инструментов и рабочих процессов имеют иные профили рисков и выходят за рамки текущей области применения.
В настоящее время это концептуальная модель рисков с ориентацией на аудит. Механизмы дрейфа, схема аудита и тесты жизненного цикла образуют предлагаемое ядро. Начальная спецификация аудита определяет предлагаемые требования к средствам контроля, предварительные метрики и критерии приёмки. Реализация и эмпирическая валидация остаются открытой работой.
Цикл записи и извлечения может рекурсивно распространять сгенерированный агентом материал при выполнении четырёх структурных связей. Они необходимы, но недостаточны для дрейфа: цикл также должен переносить неточный, неподкреплённый, неверно классифицированный или эпистемически деградировавший материал.
Каждая связь также является потенциальной точкой контроля.
Извлечение на основе сходства не требуется, но оно может усиливать цикл. Эмпирические работы документируют два компонента этого усиления: следование опыту (experience-following), когда агенты склонны выдавать схожие результаты, если текущая задача напоминает извлечённый опыт, и распространение ошибок (error propagation), когда ошибочные сохранённые опыты извлекаются, имитируются и сохраняются снова.
Дрейф может возникать и без цикла записи и извлечения:
Искажение может произойти во время консолидации ещё до того, как изменённая память будет извлечена. Оно приобретает операционные последствия, когда эта память впоследствии используется.
Единственной метки статуса недостаточно. Поддающаяся аудиту запись памяти должна хранить отдельные измерения раздельно:
| Поле | Примеры |
|---|---|
| Тип представления | полученный ввод, событие датчика, вывод инструмента, утверждение источника, вывод агента |
| Происхождение | источник, временная метка, инструмент, агент, ссылка на лежащие в основе доказательства |
| Состояние валидации | непроверено, подтверждено, опровергнуто, валидировано, отклонено |
| Временная актуальность | актуально, устарело, истекло |
| Отношение к доказательствам | записи или источники, которые поддерживают или опровергают запись, включая силу, независимость и качество этой поддержки |
| История изменений | создано, обобщено, переклассифицировано, заменено |
| Основание эпистемического перехода | новые доказательства, подтверждение, разрешение противоречия, валидированный результат |
| Основание полномочий | правило политики, классификация риска, одобрение человеком, делегированное разрешение |
| Использование и происхождение решений | событие извлечения, ранг, оценка извлечения, позиция в промпте, явная ссылка в рассуждении или выводе, потребляющий агент, затронутое решение или действие |
Происхождение устанавливает источник, а не истинность. Доверенный источник может ошибаться, а аутентифицированный вывод агента остаётся выводом. Тип представления охватывает только эпистемические записи; решение или действие не несёт осмысленного состояния валидации, основанного на истинности — действие является авторизованным, выполненным, успешным или неуспешным, а не подтверждённым или опровергнутым, поэтому оно представляется как связанное операционное событие, а не как ещё один тип представления. Оно по-прежнему несёт собственное происхождение и историю событий, а его вес оценивается через лежащие в его основе доказательства вместе с его использованием и происхождением решений.
Неопределённость должна основываться на доказательствах и состоянии валидации, а не полагаться исключительно на самостоятельно сообщаемую моделью уверенность, поэтому отношение к доказательствам также несёт силу, независимость и качество поддерживающего материала.
Состояние валидации и временная актуальность разделены, поскольку запись может оставаться валидированной, становясь при этом устаревшей. Временная актуальность и статус заменённости также независимы: запись может оставаться временно актуальной, будучи заменённой более новой версией. История изменений фиксирует эту замену.
Основание эпистемического перехода и основание полномочий также разделены: первое — это доказательная или ревизионная основа для изменения состояния валидации, второе — почему записи было разрешено влиять на решение. Одобрение политики не делает утверждение более истинным, а новые доказательства сами по себе не дают разрешения действовать.
Это логическая схема аудита, а не требование, чтобы каждое поле применялось к каждому типу записи или чтобы все записи сосуществовали в одной физической таблице: применимость полей зависит от типа представления, а операционные события могут быть связаны с потребляемыми ими эпистемическими записями.
Откройте для себя самые используемые инструменты нашего сообщества.
Данных о популярности пока нет.