
giskard-oss giskard-checks/v1.0.4
🐢 Bibliothèque open source d'évaluation et de test pour agents LLM
Évaluations, Red Teaming et génération de tests pour les systèmes agentiques
Modulaire, léger, dynamique et pensé pour l'asynchrone
Documentation • Site web • Communauté
[!IMPORTANT] Giskard v3 est une réécriture complète conçue pour les tests dynamiques et multi-tours des agents IA. Cette version supprime les dépendances lourdes pour une meilleure efficacité, tout en introduisant un scanner de vulnérabilités IA plus puissant et une évaluation RAG améliorée — tous deux désormais fournis nativement dans
giskard-scan, sans dépendance à la v2. Seul le scan hérité pour les modèles tabulaires/ML reste réservé à la v2. Giskard v2 reste disponible mais n'est plus activement maintenu. Suivre l'avancement → Lire l'annonce de la v3 · Feuille de route
Installation
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
Nécessite Python 3.12+.
| Extra | Ajoute |
|---|---|
| (aucun) | giskard-checks et ses dépendances |
scan | giskard-scan |
openai / anthropic / … | SDK des fournisseurs (voir les dépendances optionnelles dans pyproject.toml) |
Télémétrie : analyses agrégées facultatives via giskard-core. Aucun prompt ni résultat n'est envoyé.
Désactivez-la avec export DO_NOT_TRACK=1 ou export GISKARD_TELEMETRY_DISABLED=1 (ou les mêmes clés dans un fichier .env du répertoire de travail). Définissez-les avant l'import pour éviter la création de ~/.giskard/id ; les définir plus tard arrête tout de même les envois ultérieurs.
Détails : README de giskard-core.
Giskard est une bibliothèque Python open source pour tester et évaluer les systèmes agentiques. L'architecture v3 est un ensemble modulaire de paquets ciblés — chacun ne portant que les dépendances dont il a besoin — conçus de zéro pour englober n'importe quoi : un LLM, un agent boîte noire ou un pipeline multi-étapes.
| Statut | Paquet | Description |
|---|---|---|
| ✅ Stable | giskard-checks | Tests et évaluation — API de scénarios, vérifications intégrées, LLM-as-judge |
| ✅ Stable | giskard-scan | Scanner de vulnérabilités d'agents + évaluation RAG/qualité — red teaming, injection de prompt, jailbreaks et contenu nuisible (vulnerability_scan, successeur de v2 Scan), plus évaluation de la qualité de la base de connaissances (quality_scan, successeur de v2 RAGET) |
Ces paquets reposent sur trois bibliothèques fondamentales — giskard-core (utilitaires partagés et télémétrie), giskard-llm (routage LLM indépendant du fournisseur) et giskard-agents (orchestration d'agents et de workflows) — qui sont tirées automatiquement et rarement utilisées directement.
Giskard Checks — créer et appliquer des évaluations pour tester les agents
pip install giskard-checks
Giskard Checks est une bibliothèque légère pour créer des évaluations (evals) qui testent les systèmes basés sur les LLM — des simples assertions aux évaluations de type LLM-as-judge. Contrairement aux tests unitaires traditionnels, les evals sont conçues pour des sorties non déterministes où une même entrée peut produire différentes réponses valides.
Utilisez Giskard Checks pour :
- Détecter les régressions — vérifier que votre système se comporte toujours correctement après des modifications
- Valider la qualité du RAG — vérifier si les réponses sont fondées sur le contexte récupéré
- Faire respecter les règles de sécurité — s'assurer que les sorties sont conformes à vos politiques de contenu
- Évaluer les agents multi-tours — tester des conversations complètes, et pas seulement des échanges uniques
Les evals intégrées incluent la correspondance de chaînes, les comparaisons, les regex, la similarité sémantique et les vérifications de type LLM-as-judge (Groundedness, Conformity, LLMJudge).
Concepts
- Target — votre système sous test : tout callable sync/async
(inputs) -> outputs(éventuellement avectrace) - Scenario — une eval : interactions + checks
- Check — assertion ou juge LLM sur la trace
- Suite — plusieurs scénarios exécutés ensemble
giskard.agents.Generator est un client LLM pour les workflows/juges — à ne pas confondre avec
les générateurs d'entrées de giskard.checks (LLMGenerator) qui synthétisent des messages utilisateur.
Démarrage rapide
Dans un script sans boucle d'événements en cours d'exécution :
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
Dans une cellule de notebook ou à l'intérieur d'une fonction asynchrone, utilisez plutôt await sur le scénario :
result = await scenario.run()
result.print_report()
Groundedness est un juge LLM — installez un extra de fournisseur (par exemple pip install "giskard[openai]") et définissez la clé API correspondante. Modèle par défaut : openai/gpt-4o-mini.