Évaluations, Red Teaming et génération de tests pour les systèmes agentiques

Modulaire, léger, dynamique et pensé pour l'asynchrone

Documentation • Site web • Communauté

[!IMPORTANT] Giskard v3 est une réécriture complète conçue pour les tests dynamiques et multi-tours des agents IA. Cette version supprime les dépendances lourdes pour une meilleure efficacité, tout en introduisant un scanner de vulnérabilités IA plus puissant et une évaluation RAG améliorée — tous deux désormais fournis nativement dans giskard-scan, sans dépendance à la v2. Seul le scan hérité pour les modèles tabulaires/ML reste réservé à la v2. Giskard v2 reste disponible mais n'est plus activement maintenu. Suivre l'avancement → Lire l'annonce de la v3 · Feuille de route

Installation

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators

Nécessite Python 3.12+.

Extra	Ajoute
(aucun)	giskard-checks et ses dépendances
scan	giskard-scan
openai / anthropic / …	SDK des fournisseurs (voir les dépendances optionnelles dans pyproject.toml)

Télémétrie : analyses agrégées facultatives via giskard-core. Aucun prompt ni résultat n'est envoyé. Désactivez-la avec export DO_NOT_TRACK=1 ou export GISKARD_TELEMETRY_DISABLED=1 (ou les mêmes clés dans un fichier .env du répertoire de travail). Définissez-les avant l'import pour éviter la création de ~/.giskard/id ; les définir plus tard arrête tout de même les envois ultérieurs. Détails : README de giskard-core.

---

Giskard est une bibliothèque Python open source pour tester et évaluer les systèmes agentiques. L'architecture v3 est un ensemble modulaire de paquets ciblés — chacun ne portant que les dépendances dont il a besoin — conçus de zéro pour englober n'importe quoi : un LLM, un agent boîte noire ou un pipeline multi-étapes.

Statut	Paquet	Description
✅ Stable	giskard-checks	Tests et évaluation — API de scénarios, vérifications intégrées, LLM-as-judge
✅ Stable	giskard-scan	Scanner de vulnérabilités d'agents + évaluation RAG/qualité — red teaming, injection de prompt, jailbreaks et contenu nuisible (vulnerability_scan, successeur de v2 Scan), plus évaluation de la qualité de la base de connaissances (quality_scan, successeur de v2 RAGET)

Ces paquets reposent sur trois bibliothèques fondamentales — giskard-core (utilitaires partagés et télémétrie), giskard-llm (routage LLM indépendant du fournisseur) et giskard-agents (orchestration d'agents et de workflows) — qui sont tirées automatiquement et rarement utilisées directement.

Giskard Checks — créer et appliquer des évaluations pour tester les agents

pip install giskard-checks

Giskard Checks est une bibliothèque légère pour créer des évaluations (evals) qui testent les systèmes basés sur les LLM — des simples assertions aux évaluations de type LLM-as-judge. Contrairement aux tests unitaires traditionnels, les evals sont conçues pour des sorties non déterministes où une même entrée peut produire différentes réponses valides.

Utilisez Giskard Checks pour :

• Détecter les régressions — vérifier que votre système se comporte toujours correctement après des modifications
• Valider la qualité du RAG — vérifier si les réponses sont fondées sur le contexte récupéré
• Faire respecter les règles de sécurité — s'assurer que les sorties sont conformes à vos politiques de contenu
• Évaluer les agents multi-tours — tester des conversations complètes, et pas seulement des échanges uniques

Les evals intégrées incluent la correspondance de chaînes, les comparaisons, les regex, la similarité sémantique et les vérifications de type LLM-as-judge (Groundedness, Conformity, LLMJudge).

Concepts

• Target — votre système sous test : tout callable sync/async (inputs) -> outputs (éventuellement avec trace)
• Scenario — une eval : interactions + checks
• Check — assertion ou juge LLM sur la trace
• Suite — plusieurs scénarios exécutés ensemble

giskard.agents.Generator est un client LLM pour les workflows/juges — à ne pas confondre avec les générateurs d'entrées de giskard.checks (LLMGenerator) qui synthétisent des messages utilisateur.

Démarrage rapide

Dans un script sans boucle d'événements en cours d'exécution :

from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()

Dans une cellule de notebook ou à l'intérieur d'une fonction asynchrone, utilisez plutôt await sur le scénario :

result = await scenario.run()
result.print_report()

Groundedness est un juge LLM — installez un extra de fournisseur (par exemple pip install "giskard[openai]") et définissez la clé API correspondante. Modèle par défaut : openai/gpt-4o-mini.