返回更新列表
新发布Sep 15, 2026

giskard-oss giskard-checks/v1.0.4

🐢 用于 LLM 智能体的开源评估与测试库

分享

giskardlogo giskardlogo

面向智能体系统的评估、红队测试与测试生成

模块化、轻量、动态且异步优先

GitHub release License Downloads CI Giskard on Discord

文档 • 网站 • 社区


[!IMPORTANT] Giskard v3 是一次全新重写,专为 AI 智能体的动态、多轮测试而设计。此版本移除了沉重的依赖以提升效率,同时引入了更强大的 AI 漏洞扫描器和增强的 RAG 评估——两者现已在 giskard-scan 中原生提供,不再依赖 v2。仅针对表格/机器学习模型的旧版扫描仍仅限 v2。 Giskard v2 仍可使用,但已不再积极维护。 关注进展 → 阅读 v3 公告 · 路线图

安装

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators

需要 Python 3.12+。

Extra新增内容
(无)giskard-checks 及其依赖
scangiskard-scan
openai / anthropic / …提供商 SDK(参见 pyproject.toml 中的可选依赖)

遥测: 通过 giskard-core 进行可选的聚合分析。不会发送任何提示词或输出。 可通过 export DO_NOT_TRACK=1 或 export GISKARD_TELEMETRY_DISABLED=1 退出(或在工作目录的 .env 文件中设置相同的键)。在导入前设置可跳过创建 ~/.giskard/id;稍后设置仍会停止后续发送。 详情:giskard-core README。


Giskard 是一个用于测试和评估智能体系统的开源 Python 库。v3 架构是一组模块化的专注包——每个包只携带其所需的依赖——从零构建以封装任何对象:一个 LLM、一个黑盒智能体,或一个多步骤流水线。

状态包描述
✅ 稳定giskard-checks测试与评估——场景 API、内置检查、LLM-as-judge
✅ 稳定giskard-scan智能体漏洞扫描器 + RAG/质量评估——红队测试、提示词注入、越狱与有害内容(vulnerability_scan,v2 Scan 的继任者),以及知识库质量评估(quality_scan,v2 RAGET 的继任者)

这些包构建于三个基础库之上——giskard-core(共享工具与遥测)、giskard-llm(提供商无关的 LLM 路由)和 giskard-agents(智能体与工作流编排)——它们会被自动引入,很少直接使用。

Giskard Checks — 创建并应用用于测试智能体的评估

pip install giskard-checks

Giskard Checks 是一个轻量级库,用于创建评估(evals),以测试基于 LLM 的系统——从简单的断言到 LLM-as-judge 评估。与传统单元测试不同,评估专为非确定性输出而设计,即相同的输入可能产生不同的有效响应。

使用 Giskard Checks 可以:

  • 捕获回归 — 验证系统在更改后是否仍能正确运行
  • 验证 RAG 质量 — 检查答案是否基于检索到的上下文
  • 执行安全规则 — 确保输出符合你的内容策略
  • 评估多轮智能体 — 测试完整对话,而不仅仅是单次交互

内置评估包括字符串匹配、比较、正则表达式、语义相似度以及 LLM-as-judge 检查(Groundedness、Conformity、LLMJudge)。

概念

  • Target — 被测系统:任何同步/异步可调用对象 (inputs) -> outputs(可选带 trace)
  • Scenario — 一次评估:交互 + 检查
  • Check — 对 trace 的断言或 LLM 评判
  • Suite — 一起运行的多个场景

giskard.agents.Generator 是用于工作流/评判器的 LLM 客户端——与 giskard.checks 中用于合成用户消息的输入生成器(LLMGenerator)不同。

快速开始

在没有运行事件循环的脚本中:

from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()

在 notebook 单元格中或异步函数内部,改为 await 该场景:

result = await scenario.run()
result.print_report()

Groundedness 是一个 LLM 评判器——安装一个提供商扩展(例如 pip install "giskard[openai]")并设置对应的 API 密钥。默认模型:openai/gpt-4o-mini。

有关 Suites、LLMJudge、多轮场景等更多内容,请参阅完整文档。


Giskard Scan — AI 智能体漏洞扫描器

pip install "giskard[scan]"   # or: pip install giskard-scan

Giskard Scan 是面向智能体系统的红队测试与漏洞扫描层。它能够根据对您智能体的自然语言描述自动生成对抗性测试套件,覆盖提示注入、有害内容、刻板印象、虚假信息等更多类别。

使用 Giskard Scan 可以:

  • 对您的智能体进行红队测试 — 自动生成覆盖 OWASP LLM Top-10 威胁类别的对抗性输入
  • 运行提示注入探测 — 内置可直接使用的注入载荷数据集
  • 通过自定义生成器进行扩展 — 将您自己的 ScenarioGenerator 实例传给 generate_suite,或在 vulnerability_suite_generator_registry 上注册它们

快速开始

import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Replace with your agent / model call
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())

扫描生成器同样需要 LLM 提供方扩展和 API 密钥(与上文 Checks 评判器相同)。

在寻找 Giskard v2?

Giskard v2 包含 Scan(自动漏洞检测)和 RAGET(RAG 评估测试集生成)。

对于 LLM 智能体,这两者在 v3 中均已被 giskard-scan 取代:使用 vulnerability_scan 替代 v2 的 LLM 扫描,并使用 quality_scan(配合 KnowledgeBase)替代 RAGET。

v3 同样适用于 ML 模型——将模型包装为目标,并使用 giskard-checks 或 giskard-scan 对其进行评估。以下示例涵盖的是 仅限 v2 的自动表格扫描——即通过内省 giskard.Model + giskard.Dataset 来自动检测性能、偏差和鲁棒性问题的检测器套件——以及 giskard.testing ML 测试套件和 Giskard Hub。这些内容未计划在 v3 中提供。

pip install "giskard[llm]>2,<3"

Scan — 自动检测性能、偏见与安全问题

封装你的模型并运行扫描:

import giskard
import pandas as pd


# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
    """The function takes a DataFrame and must return a list of outputs (one per row)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)

扫描示例

RAGET — 为 RAG 应用生成评估数据集

从你的知识库中自动生成问题、参考答案和上下文:

分类