Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
The-Agents-Epistemic-Baggage — Ориентированная на аудит модель риска, описывающая, как выводы, создаваемые агентами, могут менять эпистемический статус, приобретать операционные полномочия и влиять на последующие решения через постоянную память. | Kitploit
Инструменты/GitHubGitHub/owasp/the-agents-epistemic-baggage
Оборонительные ИнструментыРазведка угрозСтатьи и ИсследованияОбучение и ОбразованиеПодобранные РесурсыБезопасность ИИОбнаружение АномалийАнализ Журналов
Поделиться
GitHub
owasp/the-agents-epistemic-baggage

The-Agents-Epistemic-Baggage

Ориентированная на аудит модель риска, описывающая, как выводы, создаваемые агентами, могут менять эпистемический статус, приобретать операционные полномочия и влиять на последующие решения через постоянную память.

РепозиторийСайт
2627 дней назадЕщё не проверено

Эпистемический багаж агента

Ориентированная на аудит модель рисков того, как сгенерированные агентом выводы могут изменять эпистемический статус, приобретать операционные полномочия и влиять на последующие решения через постоянную память.

Проблема

Агентная ИИ-система с записываемой постоянной памятью не только извлекает ранее сохранённую информацию. Она также может хранить собственные резюме, выводы, планы и истории выполнения.

Это порождает вопрос управления:

Как система представляет и сохраняет различие между полученной информацией и выводом, сгенерированным агентом?

Если это различие утрачивается, вывод может приобрести или сохранить статус, который его доказательства не оправдывают. Такая запись затем может влиять на решения или действия, в том числе при использовании, разрешённом политикой. Несанкционированное повышение полномочий или использование за пределами разрешённых полномочий — это отдельный сбой контроля, который проект также рассматривает.

В этом репозитории разрабатывается модель рисков для этого процесса дрейфа, называемого самоусиливающимся эпистемическим дрейфом, и исследуется, как сделать его поддающимся аудиту. Полная аргументация, включая схему памяти, механизмы дрейфа и протокол жизненного цикла тестирования, изложена в The Agent's Epistemic Baggage. Первая реализуемая спецификация — типизированные объекты аудита, правила переходов, средства контроля, метрики и воспроизводимый тест — изложена в Agent Memory Drift: Audit Operationalization v0.1. Если вы собираетесь проводить аудит, а не читать спецификацию от корки до корки, начните с User Guide.

Область применения

Модель применима к агентным ИИ-системам с записываемой постоянной памятью, где сгенерированные агентом представления могут сохраняться, извлекаться, консолидироваться и использоваться для влияния на последующие выводы, использование инструментов, решения или действия.

Она сосредоточена на пути памяти самоэволюционирующих агентов. Изменения весов модели, инструментов и рабочих процессов имеют иные профили рисков и выходят за рамки текущей области применения.

В настоящее время это концептуальная модель рисков с ориентацией на аудит. Механизмы дрейфа, схема аудита и тесты жизненного цикла образуют предлагаемое ядро. Начальная спецификация аудита определяет предлагаемые требования к средствам контроля, предварительные метрики и критерии приёмки. Реализация и эмпирическая валидация остаются открытой работой.

Два механизма дрейфа

1. Цикл повторного сохранения

Цикл записи и извлечения может рекурсивно распространять сгенерированный агентом материал при выполнении четырёх структурных связей. Они необходимы, но недостаточны для дрейфа: цикл также должен переносить неточный, неподкреплённый, неверно классифицированный или эпистемически деградировавший материал.

  1. Сгенерированный агентом материал сохраняется.
  2. Материал может быть извлечён в последующих задачах.
  3. Извлечённый материал может влиять на вывод или действие, разрешено это или нет.
  4. Полученный материал может быть записан обратно в память.

Каждая связь также является потенциальной точкой контроля.

Извлечение на основе сходства не требуется, но оно может усиливать цикл. Эмпирические работы документируют два компонента этого усиления: следование опыту (experience-following), когда агенты склонны выдавать схожие результаты, если текущая задача напоминает извлечённый опыт, и распространение ошибок (error propagation), когда ошибочные сохранённые опыты извлекаются, имитируются и сохраняются снова.

2. Дрейф при консолидации

Дрейф может возникать и без цикла записи и извлечения:

  1. Материал сохраняется.
  2. Он преобразуется посредством суммирования, абстрагирования или сжатия.
  3. Утрачиваются происхождение, состояние валидации, временная действительность или доказательная поддержка.
  4. Преобразованное представление заменяет оригинал или получает более высокий приоритет при извлечении или принятии решений.

Искажение может произойти во время консолидации ещё до того, как изменённая память будет извлечена. Оно приобретает операционные последствия, когда эта память впоследствии используется.

Предлагаемая схема аудита

Единственной метки статуса недостаточно. Поддающаяся аудиту запись памяти должна хранить отдельные измерения раздельно:

ПолеПримеры
Тип представленияполученный ввод, событие датчика, вывод инструмента, утверждение источника, вывод агента
Происхождениеисточник, временная метка, инструмент, агент, ссылка на лежащие в основе доказательства
Состояние валидациинепроверено, подтверждено, опровергнуто, валидировано, отклонено
Временная актуальностьактуально, устарело, истекло
Отношение к доказательствамзаписи или источники, которые поддерживают или опровергают запись, включая силу, независимость и качество этой поддержки
История измененийсоздано, обобщено, переклассифицировано, заменено
Основание эпистемического переходановые доказательства, подтверждение, разрешение противоречия, валидированный результат
Основание полномочийправило политики, классификация риска, одобрение человеком, делегированное разрешение
Использование и происхождение решенийсобытие извлечения, ранг, оценка извлечения, позиция в промпте, явная ссылка в рассуждении или выводе, потребляющий агент, затронутое решение или действие

Происхождение устанавливает источник, а не истинность. Доверенный источник может ошибаться, а аутентифицированный вывод агента остаётся выводом. Тип представления охватывает только эпистемические записи; решение или действие не несёт осмысленного состояния валидации, основанного на истинности — действие является авторизованным, выполненным, успешным или неуспешным, а не подтверждённым или опровергнутым, поэтому оно представляется как связанное операционное событие, а не как ещё один тип представления. Оно по-прежнему несёт собственное происхождение и историю событий, а его вес оценивается через лежащие в его основе доказательства вместе с его использованием и происхождением решений.

Неопределённость должна основываться на доказательствах и состоянии валидации, а не полагаться исключительно на самостоятельно сообщаемую моделью уверенность, поэтому отношение к доказательствам также несёт силу, независимость и качество поддерживающего материала.

Состояние валидации и временная актуальность разделены, поскольку запись может оставаться валидированной, становясь при этом устаревшей. Временная актуальность и статус заменённости также независимы: запись может оставаться временно актуальной, будучи заменённой более новой версией. История изменений фиксирует эту замену.

Основание эпистемического перехода и основание полномочий также разделены: первое — это доказательная или ревизионная основа для изменения состояния валидации, второе — почему записи было разрешено влиять на решение. Одобрение политики не делает утверждение более истинным, а новые доказательства сами по себе не дают разрешения действовать.

Это логическая схема аудита, а не требование, чтобы каждое поле применялось к каждому типу записи или чтобы все записи сосуществовали в одной физической таблице: применимость полей зависит от типа представления, а операционные события могут быть связаны с потребляемыми ими эпистемическими записями.

Операционные полномочия

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

Данных о популярности пока нет.

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →