
giskard-oss giskard-checks/v1.0.4
🐢 Biblioteca de código aberto para avaliação e teste de Agentes de LLM
Evals, Red Teaming e Geração de Testes para Sistemas Agênticos
Modular, Leve, Dinâmico e Async-first
Docs • Website • Community
[!IMPORTANT] Giskard v3 é uma reescrita completa concebida para testes dinâmicos e multi-turno de agentes de IA. Esta versão abandona dependências pesadas para maior eficiência, ao mesmo tempo que introduz um scanner de vulnerabilidades de IA mais poderoso e uma avaliação de RAG aprimorada — ambos agora disponibilizados nativamente em
giskard-scan, sem dependência da v2. Apenas o scan legado para modelos tabulares/ML permanece exclusivo da v2. O Giskard v2 continua disponível, mas já não é mantido ativamente. Acompanhe o progresso → Leia o Anúncio da v3 · Roadmap
Instalação
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
Requer Python 3.12+.
| Extra | Adiciona |
|---|---|
| (nenhum) | giskard-checks e dependências |
scan | giskard-scan |
openai / anthropic / … | SDKs de provedores (consulte as dependências opcionais em pyproject.toml) |
Telemetria: análise agregada opcional via giskard-core. Nenhum prompt ou saída é enviado.
Desative com export DO_NOT_TRACK=1 ou export GISKARD_TELEMETRY_DISABLED=1 (ou as mesmas chaves em um arquivo .env no diretório de trabalho). Defina-as antes da importação para evitar a criação de ~/.giskard/id; defini-las depois ainda interrompe envios futuros.
Detalhes: README do giskard-core.
Giskard é uma biblioteca Python de código aberto para testar e avaliar sistemas agênticos. A arquitetura v3 é um conjunto modular de pacotes focados — cada um carregando apenas as dependências de que precisa — construídos do zero para envolver qualquer coisa: um LLM, um agente de caixa-preta ou um pipeline de múltiplas etapas.
| Status | Pacote | Descrição |
|---|---|---|
| ✅ Estável | giskard-checks | Testes e avaliação — API de cenários, verificações integradas, LLM-as-judge |
| ✅ Estável | giskard-scan | Scanner de vulnerabilidades de agentes + avaliação de RAG/qualidade — red teaming, injeção de prompt, jailbreaks e conteúdo prejudicial (vulnerability_scan, sucessor do v2 Scan), além de avaliação de qualidade de base de conhecimento (quality_scan, sucessor do v2 RAGET) |
Estes se baseiam em três bibliotecas fundamentais — giskard-core (utilitários compartilhados e telemetria), giskard-llm (roteamento de LLM independente de provedor) e giskard-agents (orquestração de agentes e fluxos de trabalho) — que são incluídas automaticamente e raramente usadas diretamente.
Giskard Checks — crie e aplique avaliações para testar agentes
pip install giskard-checks
Giskard Checks é uma biblioteca leve para criar avaliações (evals) que testam sistemas baseados em LLM — de asserções simples a avaliações com LLM como juiz. Diferente dos testes unitários tradicionais, as evals são projetadas para saídas não determinísticas, em que a mesma entrada pode produzir respostas válidas diferentes.
Use o Giskard Checks para:
- Detectar regressões — verificar se o seu sistema continua se comportando corretamente após alterações
- Validar a qualidade de RAG — verificar se as respostas estão fundamentadas no contexto recuperado
- Aplicar regras de segurança — garantir que as saídas estejam em conformidade com as suas políticas de conteúdo
- Avaliar agentes multiturno — testar conversas completas, não apenas trocas únicas
As evals integradas incluem correspondência de strings, comparações, regex, similaridade semântica e verificações com LLM como juiz (Groundedness, Conformity, LLMJudge).
Conceitos
- Target — o seu sistema em teste: qualquer callable síncrono/assíncrono
(inputs) -> outputs(opcionalmente comtrace) - Scenario — uma eval: interações + verificações
- Check — asserção ou juiz LLM sobre o trace
- Suite — vários cenários executados em conjunto
giskard.agents.Generator é um cliente LLM para workflows/juízes — não é o mesmo que
os geradores de entrada de giskard.checks (LLMGenerator) que sintetizam mensagens do usuário.
Início rápido
Em um script sem um event loop em execução:
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
Em uma célula de notebook ou dentro de uma função assíncrona, use await no cenário:
result = await scenario.run()
result.print_report()
Groundedness é um juiz LLM — instale um extra de provedor (por exemplo, pip install "giskard[openai]") e defina a chave de API correspondente. Modelo padrão: openai/gpt-4o-mini.
Consulte a documentação completa para Suites, LLMJudge, cenários multi-turno e muito mais.
Giskard Scan — scanner de vulnerabilidades para agentes de IA
pip install "giskard[scan]" # or: pip install giskard-scan