Eval, Red Teaming e Generazione di Test per Sistemi Agentici

Modulare, Leggero, Dinamico e Async-first

Documentazione • Sito Web • Community

[!IMPORTANT] Giskard v3 è una riscrittura completa progettata per test dinamici e multi-turno degli agenti AI. Questa versione elimina le dipendenze pesanti per una maggiore efficienza, introducendo al contempo uno scanner di vulnerabilità AI più potente e una valutazione RAG migliorata — entrambi ora inclusi nativamente in giskard-scan, senza dipendenza dalla v2. Solo lo scan legacy per modelli tabulari/ML rimane esclusivo della v2. Giskard v2 rimane disponibile ma non è più mantenuto attivamente. Segui i progressi → Leggi l'annuncio della v3 · Roadmap

Installazione

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK per LLM judges / generators

Richiede Python 3.12+.

Extra	Aggiunge
(nessuno)	giskard-checks e dipendenze
scan	giskard-scan
openai / anthropic / …	provider SDK (vedi dipendenze opzionali in pyproject.toml)

Telemetria: analisi aggregate opzionali tramite giskard-core. Nessun prompt o output viene inviato. Per disattivare prima di importare Giskard: export DO_NOT_TRACK=1 oppure export GISKARD_TELEMETRY_DISABLED=1. Dettagli: giskard-core README.

---

Giskard è una libreria Python open-source per testare e valutare sistemi agentici. L'architettura v3 è un insieme modulare di pacchetti mirati — ciascuno con solo le dipendenze di cui ha bisogno — costruita da zero per avvolgere qualsiasi cosa: un LLM, un agente black-box o una pipeline multi-step.

Stato	Pacchetto	Descrizione
✅ Stabile	giskard-checks	Test e valutazione — API per scenari, check integrati, LLM-as-judge
✅ Stabile	giskard-scan	Scanner di vulnerabilità per agenti + valutazione RAG/qualità — red teaming, prompt injection, jailbreak e contenuti dannosi (vulnerability_scan, successore dello Scan v2), oltre alla valutazione della qualità della knowledge base (quality_scan, successore di RAGET v2)

Questi si basano su tre librerie fondamentali — giskard-core (utilità condivise e telemetria), giskard-llm (routing LLM indipendente dal provider) e giskard-agents (orchestrazione di agenti e workflow) — che vengono installate automaticamente e raramente usate direttamente.

Giskard Checks — crea e applica eval per testare gli agenti

pip install giskard-checks

Giskard Checks è una libreria leggera per creare valutazioni (eval) che testano sistemi basati su LLM — dalle semplici asserzioni alle valutazioni LLM-as-judge. A differenza dei test unitari tradizionali, gli eval sono progettati per output non deterministici in cui lo stesso input può produrre risposte valide diverse.

Usa Giskard Checks per:

• Individuare regressioni — verifica che il tuo sistema si comporti ancora correttamente dopo le modifiche
• Validare la qualità RAG — controlla che le risposte siano fondate sul contesto recuperato
• Applicare regole di sicurezza — assicurati che gli output rispettino le tue policy sui contenuti
• Valutare agenti multi-turno — testa conversazioni complete, non solo singoli scambi

Gli eval integrati includono corrispondenza di stringhe, confronti, regex, similarità semantica e check LLM-as-judge (Groundedness, Conformity, LLMJudge).

Concetti

• Target — il tuo sistema sotto test: qualsiasi callable sincrono/async (inputs) -> outputs (opzionalmente con trace)
• Scenario — un eval: interazioni + check
• Check — asserzione o giudice LLM sulla trace
• Suite — molti scenari eseguiti insieme

giskard.agents.Generator è un client LLM per workflow/giudici — non è la stessa cosa dei generatori di input di giskard.checks (LLMGenerator) che sintetizzano messaggi utente.

Avvio rapido

import asyncio
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # sostituisci con il tuo modello / agente


async def main() -> None:
    scenario = (
        Scenario("test_france_capital")
        .interact(inputs="What is the capital of France?", outputs=get_answer)
        .check(
            Groundedness(
                name="answer is grounded",
                context="France is in Western Europe. Its capital is Paris.",
            )
        )
    )
    result = await scenario.run()
    result.print_report()


asyncio.run(main())

Groundedness è un giudice LLM — installa un extra del provider (es. pip install "giskard[openai]") e imposta la chiave API corrispondente. Modello predefinito: openai/gpt-4o-mini.

Consulta la documentazione completa per Suites, LLMJudge, scenari multi-turno e altro.

---

Giskard Scan — scanner di vulnerabilità per agenti AI

pip install "giskard[scan]"   # oppure: pip install giskard-scan

Giskard Scan è il livello di red teaming e scansione delle vulnerabilità per sistemi agentici. Genera automaticamente suite di test avversariali a partire da una descrizione in linguaggio naturale del tuo agente, coprendo prompt injection, contenuti dannosi, stereotipi, disinformazione e altro.

Usa Giskard Scan per: