agentic-radar

¡Un escáner de seguridad para tus flujos de trabajo agénticos!

Ver Demo · Documentación · Informar de un error · Solicitar función

Descripción 📝

Agentic Radar está diseñado para analizar y evaluar sistemas agénticos para obtener información de seguridad y operativa. Ayuda a desarrolladores, investigadores y profesionales de la seguridad a comprender cómo funcionan los sistemas agénticos e identificar posibles vulnerabilidades.

Permite a los usuarios crear un informe de seguridad para sistemas agénticos, que incluye:

1. Visualización del flujo de trabajo - un gráfico del flujo de trabajo del sistema agéntico✅
2. Identificación de herramientas - una lista de todas las herramientas externas y personalizadas utilizadas por el sistema✅
3. Detección de servidores MCP - una lista de todos los servidores MCP usados por los agentes del sistema✅
4. Mapeo de vulnerabilidades - una tabla que conecta las herramientas identificadas con vulnerabilidades conocidas, proporcionando una visión general de seguridad✅

El completo informe HTML resume todos los hallazgos y permite revisarlos y compartirlos fácilmente.

Ver un ejemplo completo del informe aquí

Agentic Radar incluye el mapeo de vulnerabilidades detectadas a marcos de seguridad reconocidos 🛡️.

• OWASP Top 10 LLM Applications

• OWASP Agentic AI – Threats and Mitigations

Agentic Visualizer 🎆

Si solo te interesa la visualización, prueba Agentic Visualizer.

Es una herramienta basada en web que te permite visualizar flujos de trabajo agénticos de forma sencilla.

Cómo empezar 🚀

Requisitos previos

¡No hay ninguno! Solo asegúrate de tener Python (pip) instalado en tu máquina.

Instalación

pip install agentic-radar

# Check that it is installed
agentic-radar --version

Algunas funciones requieren instalaciones adicionales, dependiendo del framework agéntico al que van dirigidas. Consulta más abajo.

Instalación avanzada

Instalación de CrewAI

Los extras de CrewAI son necesarios al usar una de las siguientes funciones en combinación con CrewAI:

• Agentic Radar Test
• Descripciones de herramientas predefinidas

Puedes instalar Agentic Radar con las dependencias adicionales de CrewAI ejecutando:

pip install "agentic-radar[crewai]"

[!WARNING] Esto instalará el paquete crewai-tools, que solo es compatible con versiones de Python >= 3.10 y < 3.13. Si usas una versión diferente de Python, las descripciones de herramientas serán menos detalladas o no aparecerán.

Instalación de OpenAI Agents

Los extras de OpenAI Agents son necesarios al usar una de las siguientes funciones en combinación con OpenAI Agents:

• Agentic Radar Test

Puedes instalar Agentic Radar con las dependencias adicionales de OpenAI Agents ejecutando:

pip install "agentic-radar[openai-agents]"

Uso

Agentic Radar ahora admite dos comandos principales:

1. scan

Escanea código en busca de flujos de trabajo agénticos y genera un informe.

agentic-radar scan [OPTIONS] FRAMEWORK:{langgraph|crewai|n8n|openai-agents|autogen}

Ejemplo:

agentic-radar scan langgraph -i path/to/langgraph/example/folder -o report.html

2. test

Prueba agentes en un flujo de trabajo agéntico para detectar diversas vulnerabilidades. Requiere que OPENAI_API_KEY esté definida como variable de entorno.

agentic-radar test [OPTIONS] FRAMEWORK:{openai-agents} ENTRYPOINT_SCRIPT_WITH_ARGS

Ejemplo:

agentic-radar test openai-agents "path/to/openai-agents/example.py"

Consulta más sobre esta función aquí.

Características avanzadas ✨

Agentic Prompt Hardening

Agentic Prompt Hardening mejora automáticamente los prompts del sistema detectados en tu flujo de trabajo agéntico y los muestra en el informe. Transforma instrucciones simples del agente en prompts de sistema estructurados de alta calidad que siguen las mejores prácticas de ingeniería de prompts.

[!NOTE]
Frameworks actualmente compatibles (con más por venir): OpenAI Agents, CrewAI, Autogen

Usarlo es bastante sencillo:

1. Define tu variable de entorno OPENAI_API_KEY ejecutando export OPENAI_API_KEY=<api_key>.

2. Ejecuta Agentic Radar con la opción --harden-prompts, por ejemplo:

agentic-radar scan openai-agents --harden-prompts -i examples/openai-agents/
basic/lifecycle_example -o report.html

4. Inspecciona los prompts de sistema endurecidos en el informe generado:

🔍 Prueba de vulnerabilidades en flujos de trabajo agénticos

Agentic Radar ahora permite probar tus flujos de trabajo de agentes en tiempo de ejecución para identificar vulnerabilidades críticas mediante entradas adversariales simuladas.

Esto incluye pruebas automatizadas para:

• Inyección de prompts
• Fuga de PII
• Generación de contenido dañino
• Generación de noticias falsas

Actualmente compatible con:

• OpenAI Agents ✅ (próximamente más frameworks)

🛠 Cómo funciona

El comando test lanza tu flujo de trabajo agéntico con un conjunto de pruebas diseñado para simular entradas maliciosas o adversariales. Estas pruebas están basadas en escenarios de ataque reales alineados con el OWASP LLM Top 10.

[!NOTE]
Esta función requiere que OPENAI_API_KEY o AZURE_OPENAI_API_KEY estén definidas como variable de entorno. Puedes configurarla desde la línea de comandos o dentro de un archivo .env.

La prueba se ejecuta así:

agentic-radar test <framework> "<path/to/the/workflow/main.py any-necessary-args>"

Por ejemplo:

agentic-radar test openai-agents "examples/openai-agents/basic/lifecycle_example.py"

La herramienta se inyecta en el flujo de trabajo agéntico proporcionado por el usuario, detecta la información necesaria y ejecuta las pruebas preparadas.

Pruebas configurables

Puedes pasar pruebas personalizadas a Agentic Radar creando un archivo YAML con la siguiente estructura:

include_default_tests: false
tests:
   - name: TestA
     input: Mention A.
     success_condition: Attack succeeded if A is mentioned.

   - name: TestB
     input: Mention B.
     success_condition: Attack succeeded if B is mentioned.

name es el nombre de la prueba, input es el texto de entrada que se pasará al agente, y success_condition es una descripción de qué constituye un ataque exitoso (la usará un LLM oráculo para determinar si la prueba pasó o falló).

A continuación, puedes ejecutar la prueba de Agentic Radar con la opción --config apuntando a tu archivo YAML:

agentic-radar test openai-agents --config custom_tests.yaml "examples/openai-agents/basic/lifecycle_example.py"

Por defecto, Agentic Radar también incluirá las pruebas integradas. Puedes desactivarlas estableciendo include_default_tests en false en tu archivo YAML.

📊 Resultados detallados de las pruebas

Todos los resultados de las pruebas se imprimen en un formato de tabla visualmente enriquecido directamente en la terminal. Cada fila muestra:

• Nombre del agente
• Tipo de prueba
• Entrada inyectada
• Salida del agente
• ✅ Si la prueba pasó o falló
• 🛑 Una breve explicación del resultado

Esto hace que sea fácil detectar vulnerabilidades de un vistazo, especialmente en sistemas multiagente.

Flujo de trabajo CI/CD

Para integrar Agentic Radar en tu pipeline de CI/CD, puedes usar el ejemplo de flujo de trabajo de GitHub Actions proporcionado. Solo pega el YAML en el directorio .github/workflows de tu repositorio.

Este flujo de trabajo ejecuta automáticamente escaneos de Agentic Radar en tu base de código cada vez que se envían cambios al repositorio. El informe generado se sube como artefacto en la ejecución de GitHub Actions.

Hoja de ruta 📈

Esta matriz muestra qué frameworks agénticos son compatibles con todas las funciones de Agentic Radar. Con el tiempo, nos esforzaremos por cubrir todos los frameworks actuales con todas las funciones existentes, además de introducir nuevos frameworks.

¿Hay alguna función que te gustaría ver primero? Vota de forma anónima aquí o abre un Issue en GitHub.

Blogs y tutoriales 💡

• CrewAI
• n8n
• OpenAI Agents
• Autogen
• Detección de servidores MCP
• Agentic Prompt Hardening

Comunidad 🤝

¡Damos la bienvenida a las contribuciones de la comunidad de IA y seguridad! Únete a nuestra comunidad de Discord o comunidad de Slack para conectar con otros desarrolladores, hablar sobre funciones, obtener soporte y contribuir a Agentic Radar 🚀

Si te gusta lo que ves, ¡danos una estrella! Nos mantiene inspirados para mejorar e innovar y ayuda a otros a descubrir el proyecto 🌟

Preguntas frecuentes ❓

P: ¿Se comparte mi código fuente o todo se ejecuta localmente?
R: Las funciones principales (análisis estático del flujo de trabajo y mapeo de vulnerabilidades) se ejecutan completamente en local y, por lo tanto, tu código no se comparte en ningún sitio. En el caso de funciones avanzadas opcionales, se podrían usar LLM. Por ejemplo, al usar Prompt Hardening, los prompts del sistema detectados pueden enviarse al LLM para su análisis.

Contribuciones 💻

CONTRIBUTING

Código de conducta 📜

CODE OF CONDUCT

Licencia ⚖️

LICENSE