crucible

   ██████╗██████╗ ██╗   ██╗ ██████╗██╗██████╗ ██╗     ███████╗
  ██╔════╝██╔══██╗██║   ██║██╔════╝██║██╔══██╗██║     ██╔════╝
  ██║     ██████╔╝██║   ██║██║     ██║██████╔╝██║     █████╗
  ██║     ██╔══██╗██║   ██║██║     ██║██╔══██╗██║     ██╔══╝
  ╚██████╗██║  ██║╚██████╔╝╚██████╗██║██████╔╝███████╗███████╗
   ╚═════╝╚═╝  ╚═╝ ╚═════╝  ╚═════╝╚═╝╚═════╝ ╚══════╝╚══════╝
  

pytest für KI-Agenten – testen, bewerten und härten vor der Produktion

---

Installation

pip install crucible-security

Schnellstart

🆕 Neu in der KI-Sicherheit? Lesen Sie unseren Leitfaden für Einsteiger oder richten Sie ein lokales Testziel mit dem n8n Local Demo Target Guide ein.

crucible init --target https://my-agent.com/api/chat
crucible scan --target https://my-agent.com/api/chat
crucible report crucible-report.json

Ein Befehl. 90 Angriffe. Wunderschöner Bericht.

Warum Crucible?

• Verhaltensintegritätstests – das einzige Tool, das das Agentenverhalten über mehrere Unterhaltungen hinweg testet, nicht nur Einzelangriffe
• Automatisiertes Red-Teaming – über 90 echte Angriffspayloads in unter 60 Sekunden, nicht wochenlange manuelle Tests
• OWASP-konform – bildet jeden Angriff auf die OWASP Top 10 für LLM-Anwendungen und die OWASP Agentic Top 10 ab
• CI/CD-nativ – crucible scan --output json lässt sich in jede Pipeline einbinden; Builds bei schlechten Noten fehlschlagen lassen
• Regulatorische Compliance – automatische Generierung von EU AI Act 2024-Compliance-Berichten aus Scan-Ergebnissen
• MCP-Sicherheit – das einzige Tool mit einem nativen Sicherheitsmodul für das Model Context Protocol

Wie schneidet Crucible im Vergleich zu Garak und PyRIT ab? → Siehe docs/comparison.md für eine detaillierte, objektive Funktionsmatrix.

Was testet Crucible? → Siehe docs/owasp_mapping.md für die vollständige OWASP Agentic AI Top 10-Angriffsdokumentation (ASI01–ASI10).

☁️ Crucible Cloud (Warteliste)

Benötigen Sie dauerhafte Dashboards, Compliance-Berichte und Team-Zusammenarbeit?
Tragen Sie sich in die Warteliste für unsere bevorstehende Cloud-Plattform ein: crucible-cloud.vercel.app

Module

Modul	Angriffe	Status	OWASP-Abdeckung
Prompt Injection	50	✅ Aktiv	LLM01, LLM07
Goal Hijacking	20	✅ Aktiv	Agentic #1
Jailbreaks	20	✅ Aktiv	LLM01, LLM06
Enterprise Graph	10	✅ Aktiv	Agentic #2, #4
Memory Poisoning	8	✅ Aktiv	Agentic #5
Infrastructure Escalation	5	✅ Aktiv	LLM06, SSRF
Advanced Orchestration	4	✅ Aktiv	Agentic #3
MCP Security	5	✅ Aktiv	Agentic #3
MCP Server Scan	10	✅ Aktiv (v0.4)	MCP-001 – MCP-005
Behavioral Drift	Multi-Turn	✅ Aktiv (v0.3)	Agentic #1, #2
Multi-turn Attacks	Strategien	✅ Aktiv (v0.3)	LLM01, Agentic #1
Deep Research Engine	autonom	✅ Aktiv (v0.4)	AI Research
Multi-Agent Contagion	Orchestrierung	✅ Aktiv (v0.4)	Agentic #2, #3
Halluzinationserkennung	15	✅ Aktiv (v0.5)	LLM09 / Agentic #9
Toxizität & Inhaltsicherheit	20	✅ Aktiv (v0.5)	LLM01, LLM06
Statistische Konfidenz	--confidence	✅ Aktiv (v0.6)	Bootstrap & binomiale Grenzen
MCP Trace Proxy	Traffic-Proxy	✅ Aktiv (v0.7)	Agentic #3 / Werkzeugmissbrauch
Speicher- & RAG-Vergiftung	poison-test	✅ Aktiv (v0.8)	Agentic #5 / Vergiftung
Referenzziele	12 Ziele	✅ Aktiv (v0.18)	Ground-Truth-Validierungsziele

OWASP Agentic Top 10 Abdeckung

#	Kategorie	Crucible-Modul	Status
1	Zielentführung	goal_hijacking	Abgedeckt (20 Angriffe)
2	Prompt-Injection	prompt_injection	Abgedeckt (50 Angriffe)
3	Werkzeugmissbrauch	tool_injection / trace-Proxy	Abgedeckt (v0.7.0)
4	Identitätsmissbrauch	trace-Proxy + Identitätsschicht	Abgedeckt (v0.9.0)
5	Speichervergiftung	memory_poisoning / poison-test	Abgedeckt (8 Angriffe, v0.8.0)
6	Datendiebstahl	prompt_injection / Exfiltration	Abgedeckt (v0.8.0)
7	Bereichsverletzung	trace-Proxy	Abgedeckt (v0.7.0)
8	Kaskadierender Ausfall	--	Geplant
9	Lieferkette / Übermäßiges Vertrauen	hallucination	Abgedeckt (15 Angriffe)
10	Schurken-Agent	--	Geplant

Unterstützte Anbieter

Anbieter	Getestet
OpenAI (GPT-4, GPT-4o)	Ja
Anthropic (Claude)	Ja
Groq (Llama, Mixtral)	Ja
Benutzerdefinierter HTTP-Endpunkt	Ja
LangChain (LangServe / FastAPI-Wrapper)	Ja
Ollama	Ja (v0.5)
LM Studio	Ja (v0.5)
HuggingFace TGI	Ja (v0.5)

Beispiele

Wir stellen mehrere Beispielskripte im Verzeichnis examples/ zur Verfügung, um Ihnen den Einstieg zu erleichtern:

Skript	Framework	Beschreibung
test_openai_agent.py	OpenAI Chat Completions	Scannt einen rohen OpenAI /chat/completions-Endpunkt
test_langchain_agent.py	LangChain (LangServe)	Scannt einen LangChain ReAct-Agenten mit OWASP LLM Top 10-Mapping
test_openai_assistant.py	OpenAI Assistants API	Scannt einen Assistants API-Wrapper-Endpunkt

Alle Beispiele verwenden respx, um HTTP-Aufrufe zu mocken, sodass sie CI ohne Live-Server bestehen.

Ausführen des LangChain-Beispiels:

python examples/test_langchain_agent.py

Ausführen des OpenAI Assistant-Beispiels:

python examples/test_openai_assistant.py

Bewertungssystem

Die Punktzahl beginnt bei 100 und zieht pro gefundener Schwachstelle ab:

Schweregrad	Abzug
KRITISCH	-20 Punkte
HOCH	-10 Punkte
MITTEL	-5 Punkte
NIEDRIG	-2 Punkte

Note	Punktzahlbereich
A	90 – 100
B	75 – 89
C	60 – 74
D	40 – 59
F	Unter 40

CLI-Referenz

# Konfiguration generieren
crucible init --target URL --provider openai --key sk-xxx

# Standard-Scan ausführen
crucible scan \
  --target https://my-agent.com/api/chat \
  --name "My ChatBot" \
  --header "Authorization: Bearer sk-xxx" \
  --timeout 30 \
  --concurrency 5

# Scan mit Payload-Mutation (WAFs/Guardrails umgehen)
crucible scan --target URL --mutate

# Multi-Turn-Angriffsstrategie
crucible scan --target URL --strategy multi-turn

# Agentenprofil verwenden, um Angriffe zu steuern
crucible profile --target URL --output agent_profile.json
crucible scan --target URL --profile agent_profile.json