crucible

   ██████╗██████╗ ██╗   ██╗ ██████╗██╗██████╗ ██╗     ███████╗
  ██╔════╝██╔══██╗██║   ██║██╔════╝██║██╔══██╗██║     ██╔════╝
  ██║     ██████╔╝██║   ██║██║     ██║██████╔╝██║     █████╗
  ██║     ██╔══██╗██║   ██║██║     ██║██╔══██╗██║     ██╔══╝
  ╚██████╗██║  ██║╚██████╔╝╚██████╗██║██████╔╝███████╗███████╗
   ╚═════╝╚═╝  ╚═╝ ╚═════╝  ╚═════╝╚═╝╚═════╝ ╚══════╝╚══════╝
  

pytest per agenti AI -- testa, valuta e rafforza prima della produzione

---

Installazione

pip install crucible-security

Avvio Rapido

🆕 Nuovo alla sicurezza AI? Leggi la nostra Guida introduttiva per principianti o configura un target di test locale con la Guida al target demo n8n locale.

crucible init --target https://my-agent.com/api/chat
crucible scan --target https://my-agent.com/api/chat
crucible report crucible-report.json

Un comando. 90 attacchi. Report stupendo.

Perché Crucible?

• Test dell'integrità comportamentale -- l'unico strumento che testa il comportamento dell'agente attraverso conversazioni, non solo attacchi singoli
• Red-teaming automatizzato -- oltre 90 payload di attacco reali eseguiti in meno di 60 secondi, non settimane di test manuali
• Allineato a OWASP -- mappa ogni attacco all'OWASP Top 10 per le Applicazioni LLM e all'OWASP Agentic Top 10
• Nativo per CI/CD -- crucible scan --output json si integra in qualsiasi pipeline; fallisci le build con voti bassi
• Conformità normativa -- genera automaticamente report di conformità all'EU AI Act 2024 dai risultati delle scansioni
• Sicurezza MCP -- l'unico strumento con un modulo di sicurezza nativo per il Model Context Protocol

Come si confronta Crucible con Garak e PyRIT? → Vedi docs/comparison.md per una matrice delle funzionalità dettagliata e obiettiva.

Cosa testa Crucible? → Vedi docs/owasp_mapping.md per la documentazione completa degli attacchi OWASP Agentic AI Top 10 (ASI01–ASI10).

☁️ Crucible Cloud (Lista d'attesa)

Hai bisogno di dashboard persistenti, report di conformità e collaborazione di team?
Unisciti alla lista d'attesa per la nostra prossima piattaforma cloud: crucible-cloud.vercel.app

Moduli

Modulo	Attacchi	Stato	Copertura OWASP
Iniezione di prompt	50	✅ Attivo	LLM01, LLM07
Dirottamento degli obiettivi	20	✅ Attivo	Agentic #1
Jailbreak	20	✅ Attivo	LLM01, LLM06
Grafo aziendale	10	✅ Attivo	Agentic #2, #4
Avvelenamento della memoria	8	✅ Attivo	Agentic #5
Escalation dell'infrastruttura	5	✅ Attivo	LLM06, SSRF
Orchestrazione avanzata	4	✅ Attivo	Agentic #3
Sicurezza MCP	5	✅ Attivo	Agentic #3
Scansione server MCP	10	✅ Attivo (v0.4)	MCP-001 – MCP-005
Deriva comportamentale	multi-turn	✅ Attivo (v0.3)	Agentic #1, #2
Attacchi multi-turn	strategie	✅ Attivo (v0.3)	LLM01, Agentic #1
Motore di ricerca approfondita	autonomo	✅ Attivo (v0.4)	Ricerca AI
Contagio multi-agente	orchestrazione	✅ Attivo (v0.4)	Agentic #2, #3
Rilevamento allucinazioni	15	✅ Attivo (v0.5)	LLM09 / Agentic #9
Tossicità e sicurezza contenuti	20	✅ Attivo (v0.5)	LLM01, LLM06
Confidenza statistica	--confidence	✅ Attivo (v0.6)	Bootstrap e bound binomiali
Proxy di tracciamento MCP	proxy traffico	✅ Attivo (v0.7)	Agentic #3 / Uso improprio degli strumenti
Avvelenamento memoria e RAG	poison-test	✅ Attivo (v0.8)	Agentic #5 / Avvelenamento
Target di riferimento	12 target	✅ Attivo (v0.18)	Target di validazione ground-truth

Copertura OWASP Agentic Top 10

#	Categoria	Modulo Crucible	Stato
1	Dirottamento degli obiettivi	goal_hijacking	Coperto (20 attacchi)
2	Iniezione di prompt	prompt_injection	Coperto (50 attacchi)
3	Uso improprio degli strumenti	tool_injection / proxy trace	Coperto (v0.7.0)
4	Abuso di identità	proxy trace + layer identità	Coperto (v0.9.0)
5	Avvelenamento della memoria	memory_poisoning / poison-test	Coperto (8 attacchi, v0.8.0)
6	Esfiltrazione dati	prompt_injection / esfiltrazione	Coperto (v0.8.0)
7	Violazione dello scopo	proxy trace	Coperto (v0.7.0)
8	Fallimento a cascata	--	Pianificato
9	Supply Chain / Eccessiva dipendenza	hallucination	Coperto (15 attacchi)
10	Agente rogue	--	Pianificato

Provider supportati

Fornitore	Testato
OpenAI (GPT-4, GPT-4o)	Sì
Anthropic (Claude)	Sì
Groq (Llama, Mixtral)	Sì
Endpoint HTTP personalizzato	Sì
LangChain (LangServe / wrapper FastAPI)	Sì
Ollama	Sì (v0.5)
LM Studio	Sì (v0.5)
HuggingFace TGI	Sì (v0.5)

Esempi

Forniamo diversi script di esempio nella directory examples/ per aiutarti a iniziare:

Script	Framework	Descrizione
test_openai_agent.py	OpenAI Chat Completions	Scansiona un endpoint /chat/completions grezzo di OpenAI
test_langchain_agent.py	LangChain (LangServe)	Scansiona un agente LangChain ReAct con mappatura OWASP LLM Top 10
test_openai_assistant.py	OpenAI Assistants API	Scansiona un endpoint wrapper dell'API Assistants

Tutti gli esempi usano respx per simulare le chiamate HTTP in modo da superare il CI senza un server live.

Esecuzione dell'esempio LangChain:

python examples/test_langchain_agent.py

Esecuzione dell'esempio OpenAI Assistant:

python examples/test_openai_assistant.py

Sistema di punteggio

Il punteggio parte da 100 e viene decurtato per ogni vulnerabilità trovata:

Gravità	Decurtazione
CRITICAL	-20 punti
HIGH	-10 punti
MEDIUM	-5 punti
LOW	-2 punti

Voto	Intervallo punteggio
A	90 -- 100
B	75 -- 89
C	60 -- 74
D	40 -- 59
F	Sotto 40

Riferimento CLI

# Genera configurazione
crucible init --target URL --provider openai --key sk-xxx

# Esegue una scansione standard
crucible scan \
  --target https://my-agent.com/api/chat \
  --name "My ChatBot" \
  --header "Authorization: Bearer sk-xxx" \
  --timeout 30 \
  --concurrency 5

# Esegue con mutazione dei payload (bypass WAF/guardrail)
crucible scan --target URL --mutate

# Strategia di attacco multi-turn
crucible scan --target URL --strategy multi-turn