🐢 Bibliothèque open source d'évaluation et de test pour agents LLM
<p align="center">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >Évaluations, Red Teaming et génération de tests pour les systèmes agentiques</h1>
<h3 align="center" weight='300' >Modulaire, léger, dynamique et pensé pour l'asynchrone </h3>
<div align="center">
[](https://github.com/Giskard-AI/giskard-oss/releases)
[](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[](https://pepy.tech/project/giskard)
[](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[](https://gisk.ar/discord)
<a rel="me" href="https://fosstodon.org/@Giskard"></a>
</div>
<h3 align="center">
<a href="https://docs.giskard.ai/oss"><b>Documentation</b></a> •
<a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>Site web</b></a> •
<a href="https://gisk.ar/discord"><b>Communauté</b></a>
</h3>
<br />
> [!IMPORTANT]
> **Giskard v3** est une réécriture complète conçue pour les tests dynamiques et multi-tours des agents IA. Cette version supprime les dépendances lourdes pour une meilleure efficacité, tout en introduisant un scanner de vulnérabilités IA plus puissant et une évaluation RAG améliorée — tous deux désormais fournis nativement dans `giskard-scan`, sans dépendance à la v2. Seul le scan hérité pour les **modèles tabulaires/ML** reste réservé à la v2.
> **Giskard v2 reste disponible mais n'est plus activement maintenu.**
> Suivre l'avancement → [Lire l'annonce de la v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Feuille de route](https://github.com/Giskard-AI/giskard-oss/issues/2252)
## Installation
```sh
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```
Nécessite Python 3.12+.
| Extra | Ajoute |
| --- | --- |
| *(aucun)* | `giskard-checks` et ses dépendances |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | SDK des fournisseurs (voir les dépendances optionnelles dans `pyproject.toml`) |
**Télémétrie :** analyses agrégées facultatives via `giskard-core`. Aucun prompt ni résultat n'est envoyé.
Désactivez-la avec `export DO_NOT_TRACK=1` ou `export GISKARD_TELEMETRY_DISABLED=1` (ou les mêmes clés dans un fichier `.env` du répertoire de travail). Définissez-les avant l'import pour éviter la création de `~/.giskard/id` ; les définir plus tard arrête tout de même les envois ultérieurs.
Détails : [README de `giskard-core`](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).
---
Giskard est une bibliothèque Python open source pour **tester et évaluer les systèmes agentiques**. L'architecture v3 est un ensemble modulaire de paquets ciblés — chacun ne portant que les dépendances dont il a besoin — conçus de zéro pour englober n'importe quoi : un LLM, un agent boîte noire ou un pipeline multi-étapes.
| Statut | Paquet | Description |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ Stable | `giskard-checks` | Tests et évaluation — API de scénarios, vérifications intégrées, LLM-as-judge |
| ✅ Stable | `giskard-scan` | Scanner de vulnérabilités d'agents + évaluation RAG/qualité — red teaming, injection de prompt, jailbreaks et contenu nuisible (`vulnerability_scan`, successeur de [v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)), plus évaluation de la qualité de la base de connaissances (`quality_scan`, successeur de [v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)) |
Ces paquets reposent sur trois bibliothèques fondamentales — `giskard-core` (utilitaires partagés et télémétrie), `giskard-llm` (routage LLM indépendant du fournisseur) et `giskard-agents` (orchestration d'agents et de workflows) — qui sont tirées automatiquement et rarement utilisées directement.
## Giskard Checks — créer et appliquer des évaluations pour tester les agents
```sh
pip install giskard-checks
```
**[Giskard Checks](https://docs.giskard.ai/oss/checks)** est une bibliothèque légère pour créer des évaluations (evals) qui testent les systèmes basés sur les LLM — des simples assertions aux évaluations de type LLM-as-judge. Contrairement aux tests unitaires traditionnels, les evals sont conçues pour des **sorties non déterministes** où une même entrée peut produire différentes réponses valides.
Utilisez Giskard Checks pour :
- **Détecter les régressions** — vérifier que votre système se comporte toujours correctement après des modifications
- **Valider la qualité du RAG** — vérifier si les réponses sont fondées sur le contexte récupéré
- **Faire respecter les règles de sécurité** — s'assurer que les sorties sont conformes à vos politiques de contenu
- **Évaluer les agents multi-tours** — tester des conversations complètes, et pas seulement des échanges uniques
Les evals intégrées incluent la correspondance de chaînes, les comparaisons, les regex, la similarité sémantique et les vérifications de type LLM-as-judge (`Groundedness`, `Conformity`, `LLMJudge`).
### Concepts
- **Target** — votre système sous test : tout callable sync/async `(inputs) -> outputs` (éventuellement avec `trace`)
- **Scenario** — une eval : interactions + checks
- **Check** — assertion ou juge LLM sur la trace
- **Suite** — plusieurs scénarios exécutés ensemble
`giskard.agents.Generator` est un client LLM pour les workflows/juges — à ne pas confondre avec
les générateurs d'entrées de `giskard.checks` (`LLMGenerator`) qui synthétisent des messages utilisateur.
### Démarrage rapide
Dans un script sans boucle d'événements en cours d'exécution :
```python
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
```
Dans une cellule de notebook ou à l'intérieur d'une fonction asynchrone, utilisez plutôt await sur le scénario :
```python
result = await scenario.run()
result.print_report()
```
`Groundedness` est un juge LLM — installez un extra de fournisseur (par exemple `pip install "giskard[openai]"`) et définissez la clé API correspondante. Modèle par défaut : `openai/gpt-4o-mini`.
Consultez la [documentation complète](https://docs.giskard.ai/oss/checks) pour `Suites`, `LLMJudge`, les scénarios multi-tours, et plus encore.
---
## Giskard Scan — scanner de vulnérabilités pour agents IA
```sh
pip install "giskard[scan]" # or: pip install giskard-scan
```
**Giskard Scan** est la couche de red-teaming et d'analyse de vulnérabilités pour les systèmes agentiques. Il génère automatiquement des suites de tests adversariaux à partir d'une description en langage naturel de votre agent, couvrant l'injection de prompt, le contenu nuisible, les stéréotypes, la désinformation, et plus encore.
Utilisez Giskard Scan pour :
- **Red-teamer votre agent** — générer automatiquement des entrées adversariales à travers les catégories de menaces OWASP LLM Top-10
- **Exécuter des sondes d'injection de prompt** — jeu de données intégré de charges utiles d'injection prêtes à l'emploi
- **Étendre avec des générateurs personnalisés** — passez vos propres instances `ScenarioGenerator` à `generate_suite`, ou enregistrez-les sur `vulnerability_suite_generator_registry`
### Démarrage rapide
```python
import asyncio
from giskard.scan import vulnerability_scan
async def my_agent(inputs: str) -> str:
# Replace with your agent / model call
return f"Echo: {inputs}"
async def main() -> None:
await vulnerability_scan(
target=my_agent,
description="A customer support chatbot for an e-commerce platform.",
languages=["en"],
)
asyncio.run(main())
```
Les générateurs de scan ont également besoin d'un extra de fournisseur LLM et d'une clé API (comme pour les juges Checks ci-dessus).
## Vous cherchez Giskard v2 ?
Giskard v2 incluait **Scan** (détection automatique de vulnérabilités) et **RAGET** (génération d'ensembles de tests d'évaluation RAG).
Pour les **agents LLM**, les deux sont remplacés dans la v3 par `giskard-scan` : utilisez [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents) à la place du scan LLM de la v2, et `quality_scan` (avec `KnowledgeBase`) à la place de RAGET.
La v3 fonctionne aussi avec les modèles ML — encapsulez-en un comme cible et évaluez-le avec `giskard-checks` ou `giskard-scan`. Ce que couvrent les exemples ci-dessous, c'est le **scan tabulaire automatique propre à la v2** — la suite de détecteurs qui introspecte un `giskard.Model` + `giskard.Dataset` pour détecter automatiquement les problèmes de performance, de biais et de robustesse — ainsi que la suite de tests ML `giskard.testing` et le Giskard Hub. Ces éléments ne sont pas prévus pour la v3.
```sh
pip install "giskard[llm]>2,<3"
```
### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — détecter automatiquement les problèmes de performance, de biais et de sécurité
Enveloppez votre modèle et lancez le scan :
```python
import giskard
import pandas as pd
# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
"""The function takes a DataFrame and must return a list of outputs (one per row)."""
return [my_llm_chain.run({"query": question}) for question in df["question"]]
giskard_model = giskard.Model(
model=model_predict,
model_type="text_generation",
name="My LLM Application",
description="A question answering assistant",
feature_names=["question"],
)
scan_results = giskard.scan(giskard_model)
display(scan_results)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="Exemple de scan" width="800">
</p>
### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — générer des jeux de données d'évaluation pour les applications RAG
Générez automatiquement des questions, des réponses de référence et du contexte à partir de votre base de connaissances :
```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase
# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])
testset = generate_testset(
knowledge_base,
num_questions=60,
language="en",
agent_description="A customer support chatbot for company X",
)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="Exemple RAGET" width="800">
</p>
[Documentation complète v2](https://legacy-docs.giskard.ai)
<h1 id="community">👋 Communauté</h1>
Nous accueillons les contributions de la communauté de l'IA ! Lisez ce [guide](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md) pour commencer, et rejoignez notre communauté florissante sur [Discord](https://gisk.ar/discord).
Suivez les progrès et partagez vos retours :
[Annonce v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Feuille de route](https://github.com/Giskard-AI/giskard-oss/issues/2252)
🌟 [Laissez-nous une étoile](https://github.com/Giskard-AI/giskard), cela aide le projet à être découvert par d'autres et nous motive à construire d'excellents outils open-source ! 🌟
❤️ Si vous trouvez notre travail utile, veuillez envisager de [nous sponsoriser](https://github.com/sponsors/Giskard-AI) sur GitHub. Avec un sponsoring mensuel, vous pouvez obtenir un badge de sponsor, afficher votre entreprise dans ce readme, et faire prioriser vos rapports de bugs. Nous proposons également un sponsoring ponctuel si vous souhaitez que nous nous impliquions dans un projet de conseil, animions un atelier, ou donnions une conférence dans votre entreprise.