crucible

   ██████╗██████╗ ██╗   ██╗ ██████╗██╗██████╗ ██╗     ███████╗
  ██╔════╝██╔══██╗██║   ██║██╔════╝██║██╔══██╗██║     ██╔════╝
  ██║     ██████╔╝██║   ██║██║     ██║██████╔╝██║     █████╗
  ██║     ██╔══██╗██║   ██║██║     ██║██╔══██╗██║     ██╔══╝
  ╚██████╗██║  ██║╚██████╔╝╚██████╗██║██████╔╝███████╗███████╗
   ╚═════╝╚═╝  ╚═╝ ╚═════╝  ╚═════╝╚═╝╚═════╝ ╚══════╝╚══════╝
  

pytest para agentes de IA — teste, pontue e fortaleça antes da produção

---

Instalar

pip install crucible-security

Início Rápido

🆕 Novo em segurança de IA? Leia nosso Guia de Início para Iniciantes ou configure um alvo de teste local com o Guia de demonstração local n8n.

crucible init --target https://meu-agente.com/api/chat
crucible scan --target https://meu-agente.com/api/chat
crucible report crucible-report.json

Um comando. 90 ataques. Relatório bonito.

Por que Crucible?

• Testes de integridade comportamental — a única ferramenta que testa o comportamento do agente através de conversas, não apenas ataques de tiro único
• Red-teaming automatizado — mais de 90 cargas de ataque reais executadas em menos de 60 segundos, não semanas de testes manuais
• Alinhado com OWASP — mapeia cada ataque ao OWASP Top 10 para Aplicações LLM e OWASP Agentic Top 10
• Nativo para CI/CD — crucible scan --output json conecta-se a qualquer pipeline; falha em builds com notas baixas
• Conformidade regulatória — gera automaticamente relatórios de conformidade da EU AI Act 2024 a partir dos resultados da varredura
• Segurança MCP — a única ferramenta com um módulo de segurança nativo para Model Context Protocol

Como o Crucible se compara ao Garak e ao PyRIT? → Veja docs/comparison.md para uma matriz de recursos detalhada e objetiva.

O que o Crucible testa? → Veja docs/owasp_mapping.md para a documentação completa de ataques do OWASP Agentic AI Top 10 (ASI01–ASI10).

☁️ Crucible Cloud (Lista de Espera)

Precisa de painéis persistentes, relatórios de conformidade e colaboração em equipe?
Entre na lista de espera para nossa futura plataforma em nuvem: crucible-cloud.vercel.app

Módulos

Módulo	Ataques	Status	Cobertura OWASP
Injeção de Prompt	50	✅ Ativo	LLM01, LLM07
Sequestro de Objetivo	20	✅ Ativo	Agentic #1
Jailbreaks	20	✅ Ativo	LLM01, LLM06
Grafo Empresarial	10	✅ Ativo	Agentic #2, #4
Envenenamento de Memória	8	✅ Ativo	Agentic #5
Escalação de Infraestrutura	5	✅ Ativo	LLM06, SSRF
Orquestração Avançada	4	✅ Ativo	Agentic #3
Segurança MCP	5	✅ Ativo	Agentic #3
Varredura de Servidor MCP	10	✅ Ativo (v0.4)	MCP-001 – MCP-005
Desvio Comportamental	multi-turn	✅ Ativo (v0.3)	Agentic #1, #2
Ataques Multi-turn	estratégias	✅ Ativo (v0.3)	LLM01, Agentic #1
Motor de Pesquisa Profunda	autônomo	✅ Ativo (v0.4)	Pesquisa IA
Contágio Multi-Agente	orquestração	✅ Ativo (v0.4)	Agentic #2, #3
Detecção de Alucinação	15	✅ Ativo (v0.5)	LLM09 / Agentic #9
Toxicidade e Segurança de Conteúdo	20	✅ Ativo (v0.5)	LLM01, LLM06
Confiança Estatística	--confidence	✅ Ativo (v0.6)	Bootstrap e limites binomiais
Proxy de Rastreio MCP	proxy de tráfego	✅ Ativo (v0.7)	Agentic #3 / Uso Indevido de Ferramentas
Envenenamento de Memória e RAG	poison-test	✅ Ativo (v0.8)	Agentic #5 / Envenenamento
Alvos de Referência	12 alvos	✅ Ativo (v0.18)	Alvos de validação de referência

Cobertura do OWASP Agentic Top 10

#	Categoria	Módulo Crucible	Status
1	Sequestro de Objetivo	goal_hijacking	Coberto (20 ataques)
2	Injeção de Prompt	prompt_injection	Coberto (50 ataques)
3	Uso Indevido de Ferramentas	tool_injection / proxy trace	Coberto (v0.7.0)
4	Abuso de Identidade	proxy trace + camada de identidade	Coberto (v0.9.0)
5	Envenenamento de Memória	memory_poisoning / poison-test	Coberto (8 ataques, v0.8.0)
6	Exfiltração de Dados	prompt_injection / exfiltração	Coberto (v0.8.0)
7	Violação de Escopo	proxy trace	Coberto (v0.7.0)
8	Falha em Cascata	--	Planejado
9	Cadeia de Suprimentos / Confiança Excessiva	hallucination	Coberto (15 ataques)
10	Agente Desonesto	--	Planejado

Provedores Suportados

Provedor	Testado
OpenAI (GPT-4, GPT-4o)	Sim
Anthropic (Claude)	Sim
Groq (Llama, Mixtral)	Sim
Endpoint HTTP personalizado	Sim
LangChain (LangServe / wrapper FastAPI)	Sim
Ollama	Sim (v0.5)
LM Studio	Sim (v0.5)
HuggingFace TGI	Sim (v0.5)

Exemplos

Fornecemos vários scripts de exemplo no diretório examples/ para ajudar você a começar:

Script	Framework	Descrição
test_openai_agent.py	OpenAI Chat Completions	Escaneia um endpoint bruto do OpenAI /chat/completions
test_langchain_agent.py	LangChain (LangServe)	Escaneia um agente LangChain ReAct com mapeamento OWASP LLM Top 10
test_openai_assistant.py	OpenAI Assistants API	Escaneia um endpoint wrapper da API de Assistants

Todos os exemplos usam respx para simular chamadas HTTP, passando no CI sem um servidor ativo.

Executando o Exemplo com LangChain:

python examples/test_langchain_agent.py

Executando o Exemplo com OpenAI Assistant:

python examples/test_openai_assistant.py

Sistema de Pontuação

A pontuação começa em 100 e deduz por cada vulnerabilidade encontrada:

Gravidade	Dedução
CRÍTICO	-20 pontos
ALTO	-10 pontos
MÉDIO	-5 pontos
BAIXO	-2 pontos

Nota	Faixa de Pontuação
A	90 — 100
B	75 — 89
C	60 — 74
D	40 — 59
F	Abaixo de 40

Referência CLI

# Generate config
crucible init --target URL --provider openai --key sk-xxx

# Run a standard scan
crucible scan \
  --target https://my-agent.com/api/chat \
  --name "My ChatBot" \
  --header "Authorization: Bearer sk-xxx" \
  --timeout 30 \
  --concurrency 5

# Run with payload mutation (bypass WAFs/guardrails)
crucible scan --target URL --mutate

# Multi-turn attack strategy
crucible scan --target URL --strategy multi-turn

# Use agent profile to target attacks
crucible profile --target URL --output agent_profile.json
crucible scan --target URL --profile agent_profile.json