Voltar às atualizações
New releaseSep 15, 2026

giskard-oss giskard-checks/v1.0.4

🐢 Biblioteca de código aberto para avaliação e teste de Agentes de LLM

Compartilhar

giskardlogo giskardlogo

Evals, Red Teaming e Geração de Testes para Sistemas Agênticos

Modular, Leve, Dinâmico e Async-first

GitHub release License Downloads CI Giskard on Discord

Docs • Website • Community


[!IMPORTANT] Giskard v3 é uma reescrita completa concebida para testes dinâmicos e multi-turno de agentes de IA. Esta versão abandona dependências pesadas para maior eficiência, ao mesmo tempo que introduz um scanner de vulnerabilidades de IA mais poderoso e uma avaliação de RAG aprimorada — ambos agora disponibilizados nativamente em giskard-scan, sem dependência da v2. Apenas o scan legado para modelos tabulares/ML permanece exclusivo da v2. O Giskard v2 continua disponível, mas já não é mantido ativamente. Acompanhe o progresso → Leia o Anúncio da v3 · Roadmap

Instalação

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators

Requer Python 3.12+.

ExtraAdiciona
(nenhum)giskard-checks e dependências
scangiskard-scan
openai / anthropic / …SDKs de provedores (consulte as dependências opcionais em pyproject.toml)

Telemetria: análise agregada opcional via giskard-core. Nenhum prompt ou saída é enviado. Desative com export DO_NOT_TRACK=1 ou export GISKARD_TELEMETRY_DISABLED=1 (ou as mesmas chaves em um arquivo .env no diretório de trabalho). Defina-as antes da importação para evitar a criação de ~/.giskard/id; defini-las depois ainda interrompe envios futuros. Detalhes: README do giskard-core.


Giskard é uma biblioteca Python de código aberto para testar e avaliar sistemas agênticos. A arquitetura v3 é um conjunto modular de pacotes focados — cada um carregando apenas as dependências de que precisa — construídos do zero para envolver qualquer coisa: um LLM, um agente de caixa-preta ou um pipeline de múltiplas etapas.

StatusPacoteDescrição
✅ Estávelgiskard-checksTestes e avaliação — API de cenários, verificações integradas, LLM-as-judge
✅ Estávelgiskard-scanScanner de vulnerabilidades de agentes + avaliação de RAG/qualidade — red teaming, injeção de prompt, jailbreaks e conteúdo prejudicial (vulnerability_scan, sucessor do v2 Scan), além de avaliação de qualidade de base de conhecimento (quality_scan, sucessor do v2 RAGET)

Estes se baseiam em três bibliotecas fundamentais — giskard-core (utilitários compartilhados e telemetria), giskard-llm (roteamento de LLM independente de provedor) e giskard-agents (orquestração de agentes e fluxos de trabalho) — que são incluídas automaticamente e raramente usadas diretamente.

Giskard Checks — crie e aplique avaliações para testar agentes

pip install giskard-checks

Giskard Checks é uma biblioteca leve para criar avaliações (evals) que testam sistemas baseados em LLM — de asserções simples a avaliações com LLM como juiz. Diferente dos testes unitários tradicionais, as evals são projetadas para saídas não determinísticas, em que a mesma entrada pode produzir respostas válidas diferentes.

Use o Giskard Checks para:

  • Detectar regressões — verificar se o seu sistema continua se comportando corretamente após alterações
  • Validar a qualidade de RAG — verificar se as respostas estão fundamentadas no contexto recuperado
  • Aplicar regras de segurança — garantir que as saídas estejam em conformidade com as suas políticas de conteúdo
  • Avaliar agentes multiturno — testar conversas completas, não apenas trocas únicas

As evals integradas incluem correspondência de strings, comparações, regex, similaridade semântica e verificações com LLM como juiz (Groundedness, Conformity, LLMJudge).

Conceitos

  • Target — o seu sistema em teste: qualquer callable síncrono/assíncrono (inputs) -> outputs (opcionalmente com trace)
  • Scenario — uma eval: interações + verificações
  • Check — asserção ou juiz LLM sobre o trace
  • Suite — vários cenários executados em conjunto

giskard.agents.Generator é um cliente LLM para workflows/juízes — não é o mesmo que os geradores de entrada de giskard.checks (LLMGenerator) que sintetizam mensagens do usuário.

Início rápido

Em um script sem um event loop em execução:

from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()

Em uma célula de notebook ou dentro de uma função assíncrona, use await no cenário:

result = await scenario.run()
result.print_report()

Groundedness é um juiz LLM — instale um extra de provedor (por exemplo, pip install "giskard[openai]") e defina a chave de API correspondente. Modelo padrão: openai/gpt-4o-mini.

Consulte a documentação completa para Suites, LLMJudge, cenários multi-turno e muito mais.


Giskard Scan — scanner de vulnerabilidades para agentes de IA

pip install "giskard[scan]"   # or: pip install giskard-scan

Categorias