アップデヌト䞀芧に戻る
New releaseSep 15, 2026

giskard-oss giskard-checks/v1.0.4

🐢 LLM゚ヌゞェント向けのオヌプン゜ヌス評䟡・テストラむブラリ

共有

giskardlogo giskardlogo

゚ヌゞェント型システムのための評䟡、レッドチヌミング、テスト生成

モゞュヌル匏、軜量、動的、非同期ファヌスト

GitHub release License Downloads CI Giskard on Discord

ドキュメント • りェブサむト • コミュニティ


[!IMPORTANT] Giskard v3 は、AI゚ヌゞェントの動的なマルチタヌンテストのために蚭蚈された、新たな曞き盎し版です。このリリヌスでは、より高い効率性のために重量玚の䟝存関係を削陀し぀぀、より匷力なAI脆匱性スキャナヌず匷化されたRAG評䟡を導入しおいたす。これらは珟圚、v2ぞの䟝存なしに giskard-scan にネむティブに搭茉されおいたす。衚圢匏/MLモデル向けのレガシヌスキャンのみがv2専甚ずしお残っおいたす。 Giskard v2 は匕き続き利甚可胜ですが、もはや積極的にメンテナンスされおいたせん。 進捗をフォロヌ → v3 発衚を読む · ロヌドマップ

むンストヌル

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators

Python 3.12+ が必芁です。

Extra远加されるもの
(なし)giskard-checks ず䟝存関係
scangiskard-scan
openai / anthropic /  プロバむダヌ SDKpyproject.toml のオプション䟝存関係を参照

テレメトリヌ: giskard-core による任意の集蚈分析。プロンプトや出力は送信されたせん。 export DO_NOT_TRACK=1 たたは export GISKARD_TELEMETRY_DISABLED=1あるいは䜜業ディレクトリの .env ファむルに同じキヌを蚭定でオプトアりトできたす。~/.giskard/id の䜜成をスキップするにはむンポヌト前に蚭定しおください。埌から蚭定した堎合でも以降の送信は停止したす。 詳现: giskard-core README。


Giskard は ゚ヌゞェント型システムのテストず評䟡 を行うオヌプン゜ヌスの Python ラむブラリです。v3 アヌキテクチャは、それぞれが必芁な䟝存関係のみを持぀、焊点を絞ったモゞュヌル匏パッケヌゞ矀であり、LLM、ブラックボックス゚ヌゞェント、倚段階パむプラむンなどあらゆるものをラップできるようれロから構築されおいたす。

ステヌタスパッケヌゞ説明
✅ 安定giskard-checksテストず評䟡 — シナリオ API、組み蟌みチェック、LLM-as-judge
✅ 安定giskard-scan゚ヌゞェント脆匱性スキャナヌ + RAG/品質評䟡 — レッドチヌミング、プロンプトむンゞェクション、ゞェむルブレむク、有害コンテンツvulnerability_scan、v2 Scan の埌継、およびナレッゞベヌス品質評䟡quality_scan、v2 RAGET の埌継

これらは 3 ぀の基盀ラむブラリ — giskard-core共有ナヌティリティずテレメトリヌ、giskard-llmプロバむダヌ非䟝存の LLM ルヌティング、giskard-agents゚ヌゞェントずワヌクフロヌのオヌケストレヌション— の䞊に構築されおおり、これらは自動的に取り蟌たれ、盎接䜿甚されるこずはほずんどありたせん。

Giskard Checks — ゚ヌゞェントのテスト甚 eval の䜜成ず適甚

pip install giskard-checks

Giskard Checks は、LLMベヌスのシステムをテストする評䟡evalsを䜜成するための軜量ラむブラリです — 単玔なアサヌションからLLM-as-judgeによる評䟡たで察応したす。埓来のナニットテストずは異なり、evalsは非決定的な出力同じ入力でも異なる有効な応答が生成されうる向けに蚭蚈されおいたす。

Giskard Checks の甚途:

  • リグレッションの怜出 — 倉曎埌もシステムが正しく動䜜するこずを怜蚌
  • RAG品質の怜蚌 — 回答が取埗したコンテキストに基づいおいるかを確認
  • 安党性ルヌルの適甚 — 出力がコンテンツポリシヌに準拠しおいるこずを保蚌
  • マルチタヌン゚ヌゞェントの評䟡 — 単䞀のやり取りだけでなく、䌚話党䜓をテスト

組み蟌みのevalsには、文字列マッチング、比范、正芏衚珟、意味的類䌌床、LLM-as-judgeチェックGroundedness、Conformity、LLMJudgeが含たれたす。

抂念

  • Target — テスト察象のシステム: 任意の同期/非同期呌び出し可胜オブゞェクト (inputs) -> outputsオプションで trace 付き
  • Scenario — 1぀のeval: むンタラクション + チェック
  • Check — トレヌスに察するアサヌションたたはLLMゞャッゞ
  • Suite — 耇数のシナリオをたずめお実行

giskard.agents.Generator はワヌクフロヌ/ゞャッゞ甚のLLMクラむアントであり、 ナヌザヌメッセヌゞを合成する giskard.checks の入力ゞェネレヌタヌLLMGeneratorずは異なりたす。

クむックスタヌト

むベントルヌプが実行されおいないスクリプト内で:

from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()

ノヌトブックのセル内、たたは非同期関数内では、代わりにシナリオを await しおください:

result = await scenario.run()
result.print_report()

Groundedness は LLM ゞャッゞです — プロバむダヌの extra をむンストヌルし䟋: pip install "giskard[openai]"、察応する API キヌを蚭定しおください。デフォルトモデル: openai/gpt-4o-mini。

Suites、LLMJudge、マルチタヌンシナリオなどの詳现に぀いおは、完党なドキュメントを参照しおください。


Giskard Scan — AI ゚ヌゞェント向け脆匱性スキャナヌ

pip install "giskard[scan]"   # or: pip install giskard-scan

Giskard Scan は、゚ヌゞェント型システム向けのレッドチヌミングおよび脆匱性スキャンのレむダヌです。゚ヌゞェントの平易な蚀葉による説明から、プロンプトむンゞェクション、有害コンテンツ、ステレオタむプ、誀情報などをカバヌする敵察的テストスむヌトを自動的に生成したす。

Giskard Scan は次の甚途に䜿甚したす

  • ゚ヌゞェントのレッドチヌミング — OWASP LLM Top-10 の脅嚁カテゎリ党䜓にわたる敵察的入力を自動生成
  • プロンプトむンゞェクションプロヌブの実行 — すぐに䜿えるむンゞェクションペむロヌドの組み蟌みデヌタセット
  • カスタムゞェネレヌタヌによる拡匵 — 独自の ScenarioGenerator むンスタンスを generate_suite に枡すか、vulnerability_suite_generator_registry に登録

クむックスタヌト

import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Replace with your agent / model call
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())

スキャンゞェネレヌタヌも同様に、LLMプロバむダヌのextraずAPIキヌが必芁です䞊蚘のChecksのゞャッゞず同じです。

Giskard v2をお探しですか

Giskard v2にはScan自動脆匱性怜出ずRAGETRAG評䟡テストセット生成が含たれおいたした。

LLM゚ヌゞェントに぀いおは、v3では䞡方ずもgiskard-scanに取っお代わられおいたす。v2のLLMスキャンの代わりにvulnerability_scanを、RAGETの代わりにquality_scanKnowledgeBaseず䜵甚を䜿甚しおください。

v3はMLモデルでも動䜜したす。モデルをタヌゲットずしおラップし、giskard-checksたたはgiskard-scanで評䟡できたす。以䞋の䟋で扱っおいるのは、v2専甚の自動衚圢匏スキャンgiskard.Model + giskard.Datasetを内省しおパフォヌマンス、バむアス、ロバストネスの問題を自動怜出する怜出噚スむヌトず、giskard.testing MLテストスむヌト、そしおGiskard Hubです。これらはv3での提䟛は予定されおいたせん。

pip install "giskard[llm]>2,<3"

Scan — パフォヌマンス、バむアス、セキュリティの問題を自動怜出

モデルをラップしおスキャンを実行したす:

import giskard
import pandas as pd

カテゎリ