agentic-radar

Сканер безопасности для ваших агентных рабочих процессов!

Демо · Документация · Сообщить об ошибке · Запросить функцию

Описание 📝

Agentic Radar предназначен для анализа и оценки агентных систем с точки зрения безопасности и операционной эффективности. Он помогает разработчикам, исследователям и специалистам по безопасности понять, как работают агентные системы, и выявить потенциальные уязвимости.

Он позволяет пользователям создавать отчёт о безопасности для агентных систем, включая:

1. Визуализация рабочего процесса — граф рабочего процесса агентной системы✅
2. Идентификация инструментов — список всех внешних и пользовательских инструментов, используемых системой✅
3. Обнаружение MCP-серверов — список всех MCP-серверов, используемых агентами системы✅
4. Сопоставление уязвимостей — таблица, связывающая обнаруженные инструменты с известными уязвимостями, обеспечивающая обзор безопасности✅

Комплексный HTML-отчёт обобщает все результаты и позволяет легко просматривать результаты и делиться ими.

Посмотреть полный пример отчёта

Agentic Radar включает сопоставление обнаруженных уязвимостей с известными фреймворками безопасности 🛡️.

• OWASP Top 10 LLM Applications

• OWASP Agentic AI – Threats and Mitigations

Agentic Visualizer 🎆

Если вас интересует только визуализация, попробуйте Agentic Visualizer.

Это веб-инструмент, который позволяет визуализировать агентные рабочие процессы в удобном для пользователя виде.

Начало работы 🚀

Предварительные требования

Их нет! Просто убедитесь, что на вашей машине установлен Python (pip).

Установка

pip install agentic-radar

# Check that it is installed
agentic-radar --version

Некоторые функции требуют дополнительной установки в зависимости от целевого агентного фреймворка. Подробнее ниже.

Расширенная установка

Установка CrewAI

Дополнительные зависимости CrewAI необходимы при использовании одной из следующих функций в сочетании с CrewAI:

• Тест Agentic Radar
• Описания предопределённых инструментов

Вы можете установить Agentic Radar с дополнительными зависимостями CrewAI, выполнив:

pip install "agentic-radar[crewai]"

[!WARNING] Это установит пакет crewai-tools, который поддерживается только на версиях Python >= 3.10 и < 3.13. Если вы используете другую версию Python, описания инструментов будут менее подробными или полностью отсутствовать.

Установка OpenAI Agents

Дополнительные зависимости OpenAI Agents необходимы при использовании одной из следующих функций в сочетании с OpenAI Agents:

• Тест Agentic Radar

Вы можете установить Agentic Radar с дополнительными зависимостями OpenAI Agents, выполнив:

pip install "agentic-radar[openai-agents]"

Использование

Agentic Radar теперь поддерживает две основные команды:

1. scan

Сканирует код на наличие агентных рабочих процессов и создаёт отчёт.

agentic-radar scan [OPTIONS] FRAMEWORK:{langgraph|crewai|n8n|openai-agents|autogen}

Пример:

agentic-radar scan langgraph -i path/to/langgraph/example/folder -o report.html

2. test

Тестирует агентов в агентном рабочем процессе на различные уязвимости. Требуется переменная окружения OPENAI_API_KEY.

agentic-radar test [OPTIONS] FRAMEWORK:{openai-agents} ENTRYPOINT_SCRIPT_WITH_ARGS

Пример:

agentic-radar test openai-agents "path/to/openai-agents/example.py"

Подробнее об этой функции здесь.

Расширенные возможности ✨

Усиление промптов агентных систем

Усиление промптов автоматически улучшает обнаруженные системные промпты в вашем агентном рабочем процессе и отображает их в отчёте. Оно превращает простые инструкции агентов в высококачественные структурированные системные промпты, соответствующие лучшим практикам промпт-инжиниринга.

[!NOTE]
Поддерживаемые в настоящее время фреймворки (в будущем появятся новые): OpenAI Agents, CrewAI, Autogen

Это довольно просто в использовании:

1. Установите переменную окружения OPENAI_API_KEY, выполнив export OPENAI_API_KEY=<api_key>.

2. Запустите Agentic Radar с флагом --harden-prompts, например:

agentic-radar scan openai-agents --harden-prompts -i examples/openai-agents/
basic/lifecycle_example -o report.html

4. Просмотрите улучшенные системные промпты в сгенерированном отчёте:

🔍 Тестирование на уязвимости в агентных рабочих процессах

Agentic Radar теперь поддерживает тестирование ваших агентных рабочих процессов во время выполнения для выявления критических уязвимостей с помощью имитации вредоносных входных данных.

Это включает автоматизированное тестирование на:

• Инъекция промптов
• Утечка PII (персональных данных)
• Генерация вредоносного контента
• Генерация фейковых новостей

В настоящее время поддерживается для:

• OpenAI Agents ✅ (скоро появятся другие фреймворки)

🛠 Как это работает

Команда test запускает ваш агентный рабочий процесс с набором тестов, предназначенных для имитации вредоносных или состязательных входных данных. Эти тесты разработаны на основе реальных сценариев атак, соответствующих OWASP LLM Top 10.

[!NOTE]
Для этой функции требуется переменная окружения OPENAI_API_KEY или AZURE_OPENAI_API_KEY. Вы можете задать её через командную строку или в файле .env.

Тест запускается так:

agentic-radar test <framework> "<path/to/the/workflow/main.py any-necessary-args>"

Например:

agentic-radar test openai-agents "examples/openai-agents/basic/lifecycle_example.py"

Инструмент внедряется в предоставленный пользователем агентный рабочий процесс, собирает необходимую информацию и запускает подготовленные тесты.

Настраиваемые тесты

Вы можете передавать Agentic Radar собственные тесты, создав YAML-файл следующей структуры:

include_default_tests: false
tests:
   - name: TestA
     input: Mention A.
     success_condition: Attack succeeded if A is mentioned.

   - name: TestB
     input: Mention B.
     success_condition: Attack succeeded if B is mentioned.

name — это имя теста, input — входной текст, который будет передан агенту, а success_condition — описание того, что считается успешной атакой (оно будет использовано LLM-оракулом для определения, пройден ли тест).

Затем вы можете запустить тест Agentic Radar с опцией --config, указывающей на ваш YAML-файл:

agentic-radar test openai-agents --config custom_tests.yaml "examples/openai-agents/basic/lifecycle_example.py"

По умолчанию Agentic Radar также включает встроенные тесты. Вы можете отключить их, установив include_default_tests в значение false в вашем YAML-файле.

📊 Подробные результаты тестов

Все результаты тестов выводятся в наглядном табличном формате прямо в терминале. Каждая строка показывает:

• Имя агента
• Тип теста
• Внедрённый ввод
• Вывод агента
• ✅ Прошёл ли тест успешно или завершился неудачей
• 🛑 Краткое объяснение результата

Это позволяет легко замечать уязвимости с первого взгляда — особенно в мультиагентных системах.

CI/CD конвейер

Чтобы интегрировать Agentic Radar в ваш CI/CD конвейер, вы можете использовать предоставленный пример рабочего процесса GitHub Actions. Просто скопируйте YAML-файл в каталог .github/workflows вашего репозитория.

Этот рабочий процесс автоматически запускает сканирование Agentic Radar вашего кода при каждой отправке изменений в репозиторий. Сгенерированный отчёт загружается как артефакт в ходе выполнения GitHub Actions.

Дорожная карта 📈

Эта матрица показывает, какие агентные фреймворки поддерживают все функции Agentic Radar. Со временем мы будем стремиться к тому, чтобы охватить все существующие фреймворки всеми имеющимися функциями, а также добавлять новые фреймворки.

Есть ли функции, которые вы хотели бы увидеть в первую очередь? Проголосуйте анонимно здесь или откройте GitHub Issue.

Блоги и руководства 💡

• CrewAI
• n8n
• OpenAI Agents
• Autogen
• Обнаружение MCP-серверов
• Усиление промптов агентных систем

Сообщество 🤝

Мы приветствуем вклад от сообщества ИИ и безопасности! Присоединяйтесь к нашему сообществу Discord или сообществу Slack, чтобы общаться с другими разработчиками, обсуждать функции, получать поддержку и вносить вклад в Agentic Radar 🚀

Если вам нравится проект, поставьте нам звезду! Это вдохновляет нас на улучшения и инновации, а также помогает другим узнать о проекте 🌟

Часто задаваемые вопросы ❓

Вопрос: Передаётся ли мой исходный код куда-либо, или всё выполняется локально?
Ответ: Основные функции (статический анализ рабочего процесса и сопоставление уязвимостей) выполняются полностью локально, поэтому ваш код нигде не публикуется. Для дополнительных расширенных функций могут использоваться LLM. Например, при использовании усиления промптов обнаруженные системные промпты могут отправляться в LLM для анализа.

Участие в разработке 💻

Участие в разработке

Кодекс поведения 📜

Кодекс поведения

Лицензия ⚖️

Лицензия