giskard-oss — 🐢 Open-Source-Bibliothek für Evaluierung & Tests von LLM-Agenten | Kitploit

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK für LLM-Judges / Generatoren

Status	Paket	Beschreibung
✅ Stabil	`giskard-checks`	Testen & Evaluierung – Szenario-API, integrierte Checks, LLM-as-Judge
✅ Stabil	`giskard-scan`	Agent-Schwachstellenscanner + RAG/Qualitäts-Evaluierung – Red Teaming, Prompt Injection, Jailbreaks & schädliche Inhalte (`vulnerability_scan`, Nachfolger des v2 Scan), plus Wissensbasis-Qualitäts-Evaluierung (`quality_scan`, Nachfolger von v2 RAGET)

import asyncio
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # durch dein Modell / deinen Agenten ersetzen


async def main() -> None:
    scenario = (
        Scenario("test_france_capital")
        .interact(inputs="What is the capital of France?", outputs=get_answer)
        .check(
            Groundedness(
                name="answer is grounded",
                context="France is in Western Europe. Its capital is Paris.",
            )
        )
    )
    result = await scenario.run()
    result.print_report()


asyncio.run(main())

import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Durch deinen Agenten / Modellaufruf ersetzen
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())

import giskard
import pandas as pd


# Ersetze my_llm_chain durch deine tatsächliche LLM-Kette oder Modell-Inferenzlogik
def model_predict(df: pd.DataFrame):
    """Die Funktion nimmt einen DataFrame entgegen und muss eine Liste von Ausgaben zurückgeben (eine pro Zeile)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)

import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# Lade deine Wissensbasis-Dokumente
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)

Extra	Fügt hinzu
(keines)	`giskard-checks` und Abhängigkeiten
`scan`	`giskard-scan`
`openai` / `anthropic` / …	Provider-SDKs (siehe optionale Abhängigkeiten in `pyproject.toml`)

giskard-oss

Beliebteste

Dokumentation • Website • Community

Installation

Giskard Checks – Evals erstellen und anwenden zum Testen von Agenten

Konzepte

Schnellstart

Giskard Scan – Schwachstellenscanner für KI-Agenten

Schnellstart

Du suchst Giskard v2?

Scan – Leistungs-, Bias- und Sicherheitsprobleme automatisch erkennen

RAGET – Evaluierungsdatensätze für RAG-Anwendungen generieren

👋 Community

giskard-oss

Beliebteste

Evals, Red Teaming und Testgenerierung für agentische Systeme

Modular, leichtgewichtig, dynamisch und async-first

Dokumentation • Website • Community

Installation

Giskard Checks – Evals erstellen und anwenden zum Testen von Agenten

Konzepte

Schnellstart

Giskard Scan – Schwachstellenscanner für KI-Agenten

Schnellstart

Du suchst Giskard v2?

Scan – Leistungs-, Bias- und Sicherheitsprobleme automatisch erkennen

RAGET – Evaluierungsdatensätze für RAG-Anwendungen generieren

👋 Community