agentic-radar

Um Scanner de Segurança para seus fluxos de trabalho agênticos!

Ver Demonstração · Documentação · Reportar Bug · Solicitar Recurso

Descrição 📝

O Agentic Radar é projetado para analisar e avaliar sistemas agênticos, fornecendo insights de segurança e operacionais. Ele ajuda desenvolvedores, pesquisadores e profissionais de segurança a entender como os sistemas agênticos funcionam e a identificar possíveis vulnerabilidades.

Ele permite que os usuários criem um relatório de segurança para sistemas agênticos, incluindo:

1. Visualização do Fluxo de Trabalho - um grafo do fluxo de trabalho do sistema agêntico✅
2. Identificação de Ferramentas - uma lista de todas as ferramentas externas e personalizadas utilizadas pelo sistema✅
3. Detecção de Servidores MCP - uma lista de todos os servidores MCP usados pelos agentes do sistema✅
4. Mapeamento de Vulnerabilidades - uma tabela conectando as ferramentas identificadas a vulnerabilidades conhecidas, fornecendo uma visão geral de segurança✅

O relatório HTML abrangente resume todas as descobertas e facilita a revisão e o compartilhamento.

Veja um Exemplo Completo do Relatório Aqui

O Agentic Radar inclui o mapeamento de vulnerabilidades detectadas para estruturas de segurança conhecidas 🛡️.

• Aplicações OWASP Top 10 para LLM

• OWASP Agentic AI – Ameaças e Mitigações

Agentic Visualizer 🎆

Se você se preocupa apenas com visualização, experimente o Agentic Visualizer.

É uma ferramenta baseada na web que permite visualizar fluxos de trabalho agênticos de forma amigável.

Começando 🚀

Pré-requisitos

Não há nenhum! Apenas certifique-se de ter o Python (pip) instalado na sua máquina.

Instalação

pip install agentic-radar

# Check that it is installed
agentic-radar --version

Alguns recursos exigem instalações adicionais, dependendo da estrutura agêntica alvo. Veja mais abaixo.

Instalação Avançada

Instalação do CrewAI

Os extras do CrewAI são necessários ao usar um dos seguintes recursos em combinação com o CrewAI:

• Teste do Agentic Radar
• Descrições para ferramentas predefinidas

Você pode instalar o Agentic Radar com dependências extras do CrewAI executando:

pip install "agentic-radar[crewai]"

[!WARNING] Isso instalará o pacote crewai-tools, que só é suportado nas versões Python >= 3.10 e < 3.13. Se você estiver usando uma versão diferente do Python, as descrições das ferramentas serão menos detalhadas ou totalmente ausentes.

Instalação do OpenAI Agents

Os extras do OpenAI Agents são necessários ao usar um dos seguintes recursos em combinação com o OpenAI Agents:

• Teste do Agentic Radar

Você pode instalar o Agentic Radar com dependências extras do OpenAI Agents executando:

pip install "agentic-radar[openai-agents]"

Uso

O Agentic Radar agora suporta dois comandos principais:

1. scan

Escaneie o código em busca de fluxos de trabalho agênticos e gere um relatório.

agentic-radar scan [OPTIONS] FRAMEWORK:{langgraph|crewai|n8n|openai-agents|autogen}

Exemplo:

agentic-radar scan langgraph -i path/to/langgraph/example/folder -o report.html

2. test

Teste agentes em um fluxo de trabalho agêntico em busca de várias vulnerabilidades. Requer OPENAI_API_KEY definida como variável de ambiente.

agentic-radar test [OPTIONS] FRAMEWORK:{openai-agents} ENTRYPOINT_SCRIPT_WITH_ARGS

Exemplo:

agentic-radar test openai-agents "path/to/openai-agents/example.py"

Veja mais sobre esse recurso aqui.

Recursos Avançados ✨

Agentic Prompt Hardening

O Agentic Prompt Hardening melhora automaticamente os prompts de sistema detectados no seu fluxo de trabalho agêntico e os exibe no relatório. Ele transforma instruções simples de agente em prompts de sistema estruturados e de alta qualidade que seguem as melhores práticas de engenharia de prompt.

[!NOTE]
Frameworks atualmente suportados (com mais por vir): OpenAI Agents, CrewAI, Autogen

É bastante simples de usar:

1. Defina sua variável de ambiente OPENAI_API_KEY executando export OPENAI_API_KEY=<api_key>.

2. Execute o Agentic Radar com a flag --harden-prompts, por exemplo:

agentic-radar scan openai-agents --harden-prompts -i examples/openai-agents/
basic/lifecycle_example -o report.html

4. Inspecione os prompts de sistema reforçados no relatório gerado:

🔍 Teste de Vulnerabilidades em Fluxos de Trabalho Agênticos

O Agentic Radar agora suporta testar seus fluxos de trabalho de agente em tempo de execução para identificar vulnerabilidades críticas por meio de entradas adversariais simuladas.

Isso inclui testes automatizados para:

• Injeção de Prompt
• Vazamento de PII
• Geração de Conteúdo Nocivo
• Geração de Notícias Falsas

Atualmente suportado para:

• OpenAI Agents ✅ (mais frameworks em breve)

🛠 Como Funciona

O comando de teste executa seu fluxo de trabalho agêntico com um conjunto de testes projetado para simular entradas maliciosas ou adversariais. Esses testes são baseados em cenários de ataque do mundo real alinhados ao OWASP LLM Top 10.

[!NOTE]
Este recurso exige que OPENAI_API_KEY ou AZURE_OPENAI_API_KEY esteja definida como variável de ambiente. Você pode configurá-la pela linha de comando ou dentro de um arquivo .env.

O teste é executado assim:

agentic-radar test <framework> "<path/to/the/workflow/main.py any-necessary-args>"

Por exemplo:

agentic-radar test openai-agents "examples/openai-agents/basic/lifecycle_example.py"

A ferramenta se injeta no fluxo de trabalho agêntico fornecido pelo usuário, detecta as informações necessárias e executa os testes preparados.

Testes Configuráveis

Você pode passar testes personalizados ao Agentic Radar criando um arquivo YAML com a seguinte estrutura:

include_default_tests: false
tests:
   - name: TestA
     input: Mention A.
     success_condition: Attack succeeded if A is mentioned.

   - name: TestB
     input: Mention B.
     success_condition: Attack succeeded if B is mentioned.

name é o nome do teste, input é o texto de entrada a ser passado ao agente, e success_condition é uma descrição do que constitui um ataque bem-sucedido (ela será usada por um LLM oráculo para determinar se o teste passou ou falhou).

Você pode então executar o teste do Agentic Radar com a opção --config apontando para seu arquivo YAML:

agentic-radar test openai-agents --config custom_tests.yaml "examples/openai-agents/basic/lifecycle_example.py"

Por padrão, o Agentic Radar também incluirá os testes integrados. Você pode desativá-los definindo include_default_tests como false no seu arquivo YAML.

📊 Resultados Ricos dos Testes

Todos os resultados dos testes são impressos em um formato de tabela visualmente rico diretamente no terminal. Cada linha mostra:

• Nome do agente
• Tipo de teste
• Entrada injetada
• Saída do agente
• ✅ Se o teste passou ou falhou
• 🛑 Uma breve explicação do resultado

Isso facilita identificar vulnerabilidades rapidamente—especialmente em sistemas multiagentes.

Fluxo de Trabalho CI/CD

Para integrar o Agentic Radar ao seu pipeline de CI/CD, você pode usar o exemplo de fluxo de trabalho do GitHub Actions fornecido. Basta colar o YAML no diretório .github/workflows do seu repositório.

Esse fluxo de trabalho executa automaticamente varreduras do Agentic Radar no seu código sempre que alterações são enviadas para o repositório. O relatório gerado é enviado como um artefato na execução do GitHub Actions.

Roadmap 📈

Esta matriz mostra quais frameworks agênticos suportam todos os recursos do Agentic Radar. Com o tempo, buscaremos cobrir todos os frameworks atuais com todos os recursos existentes, além de introduzir novos frameworks ao conjunto.

Existem recursos que você gostaria que acontecessem primeiro? Vote anonimamente aqui ou abra uma Issue no GitHub.

Blogs e Tutoriais 💡

• CrewAI
• n8n
• OpenAI Agents
• Autogen
• MCP Server Detection
• Agentic Prompt Hardening

Comunidade 🤝

Recebemos contribuições da comunidade de IA e segurança! Junte-se à nossa comunidade no Discord ou comunidade no Slack para se conectar com outros desenvolvedores, discutir recursos, obter suporte e contribuir com o Agentic Radar 🚀

Se você gosta do que vê, dê uma estrela para nós! Isso nos mantém inspirados a melhorar e inovar e ajuda outras pessoas a descobrirem o projeto 🌟

Perguntas Frequentes ❓

P: Meu código-fonte está sendo compartilhado ou tudo é executado localmente?
R: Os recursos principais (análise estática do fluxo de trabalho e mapeamento de vulnerabilidades) são executados completamente de forma local e, portanto, seu código não é compartilhado em lugar nenhum. Para recursos avançados opcionais, LLMs podem ser usados. Ex.: ao usar Prompt Hardening, os prompts de sistema detectados podem ser enviados a um LLM para análise.

Contribuindo 💻

CONTRIBUTING

Código de Conduta 📜

CODE OF CONDUCT

Licença ⚖️

LICENSE