giskard-oss — 🐢 Biblioteca de código aberto para avaliação e teste de Agentes de LLM | Kitploit

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + scan de vulnerabilidade / qualidade
pip install "giskard[openai]" # SDK do provedor para LLM judges / generators

Status	Pacote	Descrição
✅ Estável	`giskard-checks`	Testes e avaliação — API de cenários, checks integrados, LLM-as-judge
✅ Estável	`giskard-scan`	Scanner de vulnerabilidades de agentes + avaliação RAG/qualidade — red teaming, injeção de prompt, jailbreaks e conteúdo prejudicial (`vulnerability_scan`, sucessor do v2 Scan), além da avaliação de qualidade da base de conhecimento (`quality_scan`, sucessor do v2 RAGET)

import asyncio
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # substitua pelo seu modelo / agente


async def main() -> None:
    scenario = (
        Scenario("test_france_capital")
        .interact(inputs="What is the capital of France?", outputs=get_answer)
        .check(
            Groundedness(
                name="answer is grounded",
                context="France is in Western Europe. Its capital is Paris.",
            )
        )
    )
    result = await scenario.run()
    result.print_report()


asyncio.run(main())

import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Substitua pela chamada do seu agente / modelo
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())

import giskard
import pandas as pd


# Substitua my_llm_chain pela sua lógica real de cadeia LLM ou inferência de modelo
def model_predict(df: pd.DataFrame):
    """A função recebe um DataFrame e deve retornar uma lista de saídas (uma por linha)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)

import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# Carregue os documentos da sua base de conhecimento
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)

Extra	Adiciona
(nenhum)	`giskard-checks` e dependências
`scan`	`giskard-scan`
`openai` / `anthropic` / …	SDKs dos provedores (veja dependências opcionais no `pyproject.toml`)

giskard-oss

Mais Populares

Docs • Website • Comunidade

Instalação

Giskard Checks — crie e aplique evals para testar agentes

Conceitos

Início rápido

Giskard Scan — scanner de vulnerabilidades para agentes de IA

Início rápido

Procurando pelo Giskard v2?

Scan — detecte automaticamente problemas de desempenho, viés e segurança

RAGET — gere conjuntos de dados de avaliação para aplicações RAG

👋 Comunidade

giskard-oss

Mais Populares

Evals, Red Teaming e Geração de Testes para Sistemas Agênticos

Modular, Leve, Dinâmico e Async-first

Docs • Website • Comunidade

Instalação

Giskard Checks — crie e aplique evals para testar agentes

Conceitos

Início rápido

Giskard Scan — scanner de vulnerabilidades para agentes de IA

Início rápido

Procurando pelo Giskard v2?

Scan — detecte automaticamente problemas de desempenho, viés e segurança

RAGET — gere conjuntos de dados de avaliação para aplicações RAG

👋 Comunidade