ActGuard

ActGuard — это защита, выполняющая аудит действий перед их выполнением и предназначенная для противодействия косвенным инъекциям промптов в LLM-агентах, использующих инструменты. Этот репозиторий содержит финальную реализацию ActGuard и основанную на AgentDojo среду выполнения, необходимую для её оценки.

Релиз содержит только финальную полную конфигурацию ActGuard. Внутренние компоненты по-прежнему используют идентификатор reflective_audit для совместимости с бенчмарком AgentDojo и форматами трассировки.

Требования

• Python 3.10 или новее
• Ключ API OpenRouter
• Доступ к чекпоинту meta-llama/Meta-Llama-3.1-8B-Instruct или эквивалентному локальному чекпоинту
• Для локального вычисления логарифмических вероятностей настоятельно рекомендуется GPU с поддержкой CUDA

Установка

Рекомендуется использовать uv:

uv sync --frozen --extra actguard

Либо установите в активированное окружение Python:

python -m pip install -e '.[actguard]'

Быстрый старт

Из корня репозитория:

export OPENROUTER_API_KEY=...
uv run --frozen --extra actguard ./scripts/run_actguard.sh

Если проект был установлен через pip, выполните:

export OPENROUTER_API_KEY=...
./scripts/run_actguard.sh

Скрипт оценивает набор workspace с атакой important_instructions. Он использует OpenRouter для основного агента и верификатора, а также совместимые с Hugging Face локальные модели для эмбеддингового поиска и контрастивной атрибуции по логарифмическим вероятностям. Перед загрузкой стандартного закрытого чекпоинта Llama может потребоваться аутентификация Hugging Face.

Чтобы использовать загруженные чекпоинты, замените значения --reflective-audit-embedding-model и --reflective-audit-logprob-model в scripts/run_actguard.sh на их локальные пути. Используйте uv run --frozen actguard-benchmark --help, чтобы увидеть все параметры бенчмарка.

Конфигурация по умолчанию

Вывод

Результаты записываются в:

runs/openai_gpt-4o-mini-2024-07-18-reflective_audit/actguard/

Каталог runs/ игнорируется Git.

Тесты

Запустите регрессионные тесты ActGuard:

uv run --frozen pytest -q tests/test_agent_pipeline/test_reflective_audit.py

Структура репозитория

• src/agentdojo/agent_pipeline/reflective_audit.py: реализация ActGuard
• src/agentdojo/agent_pipeline/agent_pipeline.py: интеграция в конвейер
• src/agentdojo/scripts/benchmark.py: CLI бенчмарка
• src/agentdojo/default_suites/: наборы для оценки и определения задач
• tests/test_agent_pipeline/test_reflective_audit.py: регрессионные тесты
• src/agentdojo/reflective_audit_trace.py: генерация и просмотр трассировки

Журналы запусков, локальные окружения, учётные данные, черновики статей, временные результаты анализа и сравнительные защиты намеренно исключены из этого релиза.

Лицензия

Этот проект распространяется под лицензией MIT. Он включает среду выполнения бенчмарка, производную от AgentDojo; см. LICENSE для сохранённого уведомления об авторских правах вышестоящего проекта.