🐢 Open-Source-Bibliothek für Evaluierung & Tests von LLM-Agenten
<p align="center">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >Evals, Red Teaming und Testgenerierung für agentische Systeme</h1>
<h3 align="center" weight='300' >Modular, leichtgewichtig, dynamisch und Async-first </h3>
<div align="center">
[](https://github.com/Giskard-AI/giskard-oss/releases)
[](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[](https://pepy.tech/project/giskard)
[](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[](https://gisk.ar/discord)
<a rel="me" href="https://fosstodon.org/@Giskard"></a>
</div>
<h3 align="center">
<a href="https://docs.giskard.ai/oss"><b>Dokumentation</b></a> •
<a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>Website</b></a> •
<a href="https://gisk.ar/discord"><b>Community</b></a>
</h3>
<br />
> [!IMPORTANT]
> **Giskard v3** ist eine vollständige Neuentwicklung, die für dynamisches Testing von KI-Agenten über mehrere Turns hinweg konzipiert wurde. Dieses Release entfernt schwergewichtige Abhängigkeiten für mehr Effizienz und führt gleichzeitig einen leistungsfähigeren KI-Schwachstellenscanner sowie eine verbesserte RAG-Evaluierung ein – beide sind jetzt nativ in `giskard-scan` enthalten, ohne Abhängigkeit von v2. Nur der Legacy-Scan für **tabellarische/ML-Modelle** bleibt ausschließlich in v2 verfügbar.
> **Giskard v2 ist weiterhin verfügbar, wird aber nicht mehr aktiv gepflegt.**
> Fortschritt verfolgen → [v3-Ankündigung lesen](https://github.com/orgs/Giskard-AI/discussions/2250) · [Roadmap](https://github.com/Giskard-AI/giskard-oss/issues/2252)
## Installation
```sh
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```
Erfordert Python 3.12+.
| Extra | Fügt hinzu |
| --- | --- |
| *(keine)* | `giskard-checks` und Abhängigkeiten |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | Provider-SDKs (siehe optionale Abhängigkeiten in `pyproject.toml`) |
**Telemetrie:** optionale aggregierte Analysen über `giskard-core`. Es werden keine Prompts oder Ausgaben gesendet.
Deaktivieren mit `export DO_NOT_TRACK=1` oder `export GISKARD_TELEMETRY_DISABLED=1` (oder denselben Schlüsseln in einer `.env`-Datei im Arbeitsverzeichnis). Setzen Sie diese vor dem Import, um die Erstellung von `~/.giskard/id` zu überspringen; ein späteres Setzen stoppt dennoch weitere Sendungen.
Details: [`giskard-core` README](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).
---
Giskard ist eine Open-Source-Python-Bibliothek zum **Testen und Evaluieren agentischer Systeme**. Die v3-Architektur ist ein modularer Satz fokussierter Pakete — jedes enthält nur die Abhängigkeiten, die es benötigt — von Grund auf neu entwickelt, um alles zu umhüllen: ein LLM, einen Black-Box-Agenten oder eine mehrstufige Pipeline.
| Status | Paket | Beschreibung |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ Stabil | `giskard-checks` | Testen & Evaluieren — Szenario-API, integrierte Checks, LLM-as-Judge |
| ✅ Stabil | `giskard-scan` | Agent-Schwachstellen-Scanner + RAG/Qualitätsbewertung — Red Teaming, Prompt Injection, Jailbreaks & schädliche Inhalte (`vulnerability_scan`, Nachfolger von [v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)), plus Wissensdatenbank-Qualitätsbewertung (`quality_scan`, Nachfolger von [v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)) |
Diese bauen auf drei grundlegenden Bibliotheken auf — `giskard-core` (gemeinsame Hilfsfunktionen & Telemetrie), `giskard-llm` (anbieterunabhängiges LLM-Routing) und `giskard-agents` (Agenten- & Workflow-Orchestrierung) — die automatisch eingebunden werden und selten direkt verwendet werden.
## Giskard Checks — Evals zum Testen von Agenten erstellen und anwenden
```sh
pip install giskard-checks
```
**[Giskard Checks](https://docs.giskard.ai/oss/checks)** ist eine leichtgewichtige Bibliothek zum Erstellen von Evaluierungen (Evals), die LLM-basierte Systeme testen – von einfachen Assertions bis hin zu LLM-as-Judge-Bewertungen. Anders als traditionelle Unit-Tests sind Evals für **nicht-deterministische Ausgaben** konzipiert, bei denen dieselbe Eingabe unterschiedliche gültige Antworten erzeugen kann.
Verwenden Sie Giskard Checks, um:
- **Regressionen zu erkennen** – überprüfen Sie, ob sich Ihr System nach Änderungen noch korrekt verhält
- **RAG-Qualität zu validieren** – prüfen Sie, ob Antworten im abgerufenen Kontext verankert sind
- **Sicherheitsregeln durchzusetzen** – stellen Sie sicher, dass Ausgaben Ihren Inhaltsrichtlinien entsprechen
- **Multi-Turn-Agenten zu evaluieren** – testen Sie vollständige Konversationen, nicht nur einzelne Austausche
Zu den integrierten Evals gehören String-Matching, Vergleiche, Regex, semantische Ähnlichkeit und LLM-as-Judge-Prüfungen (`Groundedness`, `Conformity`, `LLMJudge`).
### Konzepte
- **Target** – Ihr zu testendes System: ein beliebiges synchrones/asynchrones Callable `(inputs) -> outputs` (optional mit `trace`)
- **Scenario** – eine Eval: Interaktionen + Prüfungen
- **Check** – Assertion oder LLM-Judge über den Trace
- **Suite** – viele Szenarien, die zusammen ausgeführt werden
`giskard.agents.Generator` ist ein LLM-Client für Workflows/Judges – nicht zu verwechseln mit
den Eingabe-Generatoren von `giskard.checks` (`LLMGenerator`), die Benutzernachrichten synthetisieren.
### Schnellstart
In einem Skript ohne laufende Event-Loop:
```python
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
```
In einer Notebook-Zelle oder innerhalb einer asynchronen Funktion stattdessen auf das Szenario warten:
```python
result = await scenario.run()
result.print_report()
```
`Groundedness` ist ein LLM-Judge — installieren Sie ein Provider-Extra (z. B. `pip install "giskard[openai]"`) und setzen Sie den passenden API-Schlüssel. Standardmodell: `openai/gpt-4o-mini`.
Siehe die [vollständige Dokumentation](https://docs.giskard.ai/oss/checks) für `Suites`, `LLMJudge`, Multi-Turn-Szenarien und mehr.
---
## Giskard Scan — Schwachstellen-Scanner für KI-Agenten
```sh
pip install "giskard[scan]" # or: pip install giskard-scan
```
**Giskard Scan** ist die Red-Teaming- und Schwachstellen-Scanning-Schicht für agentische Systeme. Es generiert automatisch adversarische Test-Suites aus einer Beschreibung deines Agenten in natürlicher Sprache und deckt Prompt-Injection, schädliche Inhalte, Stereotype, Fehlinformationen und mehr ab.
Verwende Giskard Scan, um:
- **Deinen Agenten einem Red-Teaming zu unterziehen** — generiere automatisch adversarische Eingaben über die OWASP LLM Top-10-Bedrohungskategorien hinweg
- **Prompt-Injection-Probes auszuführen** — integrierter Datensatz mit Injection-Payloads, sofort einsatzbereit
- **Mit benutzerdefinierten Generatoren zu erweitern** — übergib deine eigenen `ScenarioGenerator`-Instanzen an `generate_suite` oder registriere sie in `vulnerability_suite_generator_registry`
### Schnellstart
```python
import asyncio
from giskard.scan import vulnerability_scan
async def my_agent(inputs: str) -> str:
# Replace with your agent / model call
return f"Echo: {inputs}"
async def main() -> None:
await vulnerability_scan(
target=my_agent,
description="A customer support chatbot for an e-commerce platform.",
languages=["en"],
)
asyncio.run(main())
```
Scan-Generatoren benötigen ebenfalls ein LLM-Provider-Extra und einen API-Schlüssel (wie die Checks-Richter oben).
## Auf der Suche nach Giskard v2?
Giskard v2 umfasste **Scan** (automatische Schwachstellenerkennung) und **RAGET** (Generierung von RAG-Evaluierungs-Testsets).
Für **LLM-Agenten** werden beide in v3 durch `giskard-scan` abgelöst: Verwenden Sie [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents) anstelle des v2-LLM-Scans und `quality_scan` (mit `KnowledgeBase`) anstelle von RAGET.
v3 funktioniert auch mit ML-Modellen — wrappen Sie eines als Target und evaluieren Sie es mit `giskard-checks` oder `giskard-scan`. Die folgenden Beispiele behandeln den **nur in v2 verfügbaren automatischen tabellarischen Scan** — die Detektor-Suite, die ein `giskard.Model` + `giskard.Dataset` introspektiert, um Leistungs-, Bias- und Robustheitsprobleme automatisch zu erkennen — zusammen mit der ML-Test-Suite `giskard.testing` und dem Giskard Hub. Diese sind für v3 nicht geplant.
```sh
pip install "giskard[llm]>2,<3"
```
### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — Leistungs-, Bias- und Sicherheitsprobleme automatisch erkennen
Umhüllen Sie Ihr Modell und führen Sie den Scan aus:
```python
import giskard
import pandas as pd
# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
"""The function takes a DataFrame and must return a list of outputs (one per row)."""
return [my_llm_chain.run({"query": question}) for question in df["question"]]
giskard_model = giskard.Model(
model=model_predict,
model_type="text_generation",
name="My LLM Application",
description="A question answering assistant",
feature_names=["question"],
)
scan_results = giskard.scan(giskard_model)
display(scan_results)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="Scan-Beispiel" width="800">
</p>
### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — Evaluierungsdatensätze für RAG-Anwendungen generieren
Automatisches Generieren von Fragen, Referenzantworten und Kontext aus Ihrer Wissensdatenbank:
```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase
# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])
testset = generate_testset(
knowledge_base,
num_questions=60,
language="en",
agent_description="A customer support chatbot for company X",
)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="RAGET-Beispiel" width="800">
</p>
[Vollständige v2-Dokumentation](https://legacy-docs.giskard.ai)
<h1 id="community">👋 Community</h1>
Wir freuen uns über Beiträge aus der KI-Community! Lies diese [Anleitung](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md), um loszulegen, und tritt unserer lebendigen Community auf [Discord](https://gisk.ar/discord) bei.
Verfolge den Fortschritt und teile dein Feedback:
[v3-Ankündigung](https://github.com/orgs/Giskard-AI/discussions/2250) · [Roadmap](https://github.com/Giskard-AI/giskard-oss/issues/2252)
🌟 [Gib uns einen Stern](https://github.com/Giskard-AI/giskard), das hilft dem Projekt, von anderen entdeckt zu werden, und motiviert uns, großartige Open-Source-Tools zu entwickeln! 🌟
❤️ Wenn du unsere Arbeit nützlich findest, erwäge bitte, uns auf GitHub zu [sponsern](https://github.com/sponsors/Giskard-AI). Mit einem monatlichen Sponsoring erhältst du ein Sponsor-Badge, kannst dein Unternehmen in dieser Readme anzeigen und deine Bug-Reports werden priorisiert. Wir bieten auch einmaliges Sponsoring an, wenn du möchtest, dass wir uns an einem Beratungsprojekt beteiligen, einen Workshop durchführen oder einen Vortrag in deinem Unternehmen halten.