Agentic Evidence

Доказательства безопасности и наблюдаемость для агентного ИИ

Agentic Evidence — это открытый справочный проект OWASP, исследующий способы сбора, корреляции и оценки доказательств безопасности при выполнении агентного ИИ.

Наблюдаемость агентов может показать, что событие было зарегистрировано. Для расследования безопасности необходимо установить, что произошло, какие идентификаторы и разрешения были задействованы, какие входные данные повлияли на действие, какие решения по политике были приняты и какие выводы фактически подтверждаются имеющимися доказательствами.

Agentic Evidence сосредоточен на достаточности доказательств, реконструкции выполнения и расследовании безопасности. Он дополняет таксономии безопасности агентов и проекты тестирования, а не дублирует их.

Статус проекта: Проект находится в стадии инкубации, и начальная реализация планируется. Архитектура и команды, описанные в этом документе, представляют собой предполагаемый MVP и могут измениться по мере окончательного определения решений по реализации.

Цели

Реконструировать выполнения агентов из коррелированных событий выполнения и событий безопасности.
Связывать действия с идентификаторами, входными данными, извлечённым содержимым, вызовами инструментов, решениями об авторизации и результатами.
Делать происхождение доказательств и пробелы в доказательствах видимыми для исследователей.
Демонстрировать, какие выводы можно и нельзя сделать из собранных доказательств.
Предоставлять детерминированные, воспроизводимые сценарии, которые участники могут запускать локально.
Публиковать расширяемую таксономию доказательств и практическое руководство для специалистов по безопасности.

Начальные сценарии

Доброкачественное выполнение: Установить базовый уровень для нормального рабочего процесса агента.
Отравление извлечения: Продемонстрировать, как извлечённое содержимое может повлиять на действие агента и фиксирует ли доказательство эту связь.
Модификация дескриптора инструмента: Оценить, может ли доказательство установить, какой дескриптор инструмента наблюдался или использовался, и обнаружимы ли модификации.

Сценарии должны быть детерминированными и использовать синтетические данные. Проект не должен утверждать, что атака обнаружима, если реализация и тесты не подтверждают это утверждение.

Предполагаемый MVP

Первый выпуск планируется как локальное справочное приложение, включающее:

Детерминированный исполнитель сценариев.
Версионированную JSON-схему доказательств.
Телеметрию выполнения OpenTelemetry и корреляцию.
Регистратор доказательств и локальное хранилище доказательств.
Интерфейс расследования безопасности с временными шкалами выполнения, деталями событий и пробелами в доказательствах.
Экспортируемые пакеты доказательств.
Автоматизированные тесты, конфигурацию Docker Compose и документацию для участников.

Предлагаемый технологический стек

Компонент	Предлагаемая технология
Приложение/API	Python с FastAPI или Go, где это уместно
Формат доказательств	Версионированный JSON с JSON Schema
Телеметрия	OpenTelemetry SDK и OTLP
Локальное хранилище	SQLite и/или JSON-фикстуры
Интерфейс расследования	Streamlit или эквивалентный лёгкий UI
Локальное развёртывание	Docker Compose
Тестирование	pytest и валидация схем
Непрерывная интеграция	GitHub Actions

Это предлагаемые варианты реализации, а не гарантия того, что каждый компонент будет доступен. Решения по архитектуре должны документироваться в репозитории и изменяться только при наличии чёткого технического обоснования.

Чем этот проект не является

Первый выпуск не предназначен быть:

Производственным SIEM или платформой наблюдаемости общего назначения.
Средой выполнения агентов, поставщиком моделей или движком автономного реагирования.
Гарантией того, что агент безопасен или что записанные доказательства правдивы.
Заменой принудительному применению авторизации, средствам управления безопасностью во время выполнения или реагированию на инциденты.
Зависимым от работающей LLM, Kubernetes или облачной инфраструктуры.

Телеметрия сама по себе не является доказательством. События могут отсутствовать, быть некорректно коррелированы или сгенерированы скомпрометированным компонентом. Приложение должно различать наблюдаемые записи, утверждения компонентов, независимо проверенные доказательства и неизвестные данные.

Концептуальный рабочий процесс

Запустите детерминированный сценарий.
Сгенерируйте события выполнения и события безопасности.
Сопоставьте события с запуском агента и контекстом трассировки.
Проверьте структуры событий и зафиксируйте происхождение.
Изучите временные шкалы выполнения, решения об авторизации, результаты и пробелы в доказательствах.
Экспортируйте пакет доказательств и сравните его с ожидаемыми результатами сценария.

Документация репозитория

Начало работы: локальная настройка и рабочий процесс первого запуска.
Ресурсы: стандарты, спецификации и связанные проекты по безопасности.
FAQ: область проекта, доверие к доказательствам, ограничения телеметрии и вопросы о вкладе.

Принципы проекта

Доказательства прежде утверждений: выводы должны подкрепляться явными доказательствами.
Делайте неопределённость видимой: отсутствие доказательств — это результат, а не повод придумывать вывод.
Повторяемость: сценарии должны иметь детерминированные входные данные и проверяемые ожидаемые результаты.
Минимум данных: по умолчанию используйте синтетические входные данные и избегайте сбора секретов или излишних персональных данных.
Совместимость: где уместно, отдавайте предпочтение документированным схемам и устоявшимся соглашениям телеметрии.
Безопасность по дизайну: рассматривайте приём, хранение, экспорт доказательств и интерфейс расследования как компоненты, критичные для безопасности.

Участие в проекте

Вклад приветствуется в следующих областях:

Проектирование и валидация схемы доказательств.
Сценарии безопасности агентов и воспроизводимые тестовые случаи.
Сбор телеметрии и корреляция событий.
Происхождение, целостность и анализ доказательств.
Улучшения интерфейса расследования.
Автоматизированное тестирование и документация.

Перед началом существенной работы:

Ознакомьтесь с существующими issue и дорожной картой проекта.
Откройте issue или прокомментируйте его, описав предлагаемое изменение.
Делайте pull request'ы сфокусированными и включайте тесты или воспроизводимые доказательства, где это применимо.
Никогда не отправляйте секреты, реальные данные клиентов или конфиденциальные производственные трассировки.

Следуйте текущим требованиям из руководства по участию в репозитории.

Лицензия

Проект предполагает использование Apache License 2.0 в соответствии с файлом лицензии, опубликованным в репозитории. Обратитесь к файлу LICENSE в репозитории для получения официальных условий.

Благодарности

Agentic Evidence — проект OWASP. Актуальные сведения о руководстве, контактные данные и статус проекта см. в официальном перечне проектов OWASP и метаданных репозитория. Упоминания сторонних инструментов и сервисов не означают одобрения со стороны OWASP.

Agentic-Evidence

Популярное