🐢 LLMエージェント向けのオープンソース評価・テストライブラリ
<p align="center">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >エージェント型システムのための評価、レッドチーミング、テスト生成</h1>
<h3 align="center" weight='300' >モジュール式、軽量、動的、非同期ファースト</h3>
<div align="center">
[](https://github.com/Giskard-AI/giskard-oss/releases)
[](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[](https://pepy.tech/project/giskard)
[](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[](https://gisk.ar/discord)
<a rel="me" href="https://fosstodon.org/@Giskard"></a>
</div>
<h3 align="center">
<a href="https://docs.giskard.ai/oss"><b>ドキュメント</b></a> •
<a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>ウェブサイト</b></a> •
<a href="https://gisk.ar/discord"><b>コミュニティ</b></a>
</h3>
<br />
> [!IMPORTANT]
> **Giskard v3** は、AIエージェントの動的なマルチターンテストのために設計された、新たな書き直し版です。このリリースでは、より高い効率性のために重量級の依存関係を削除しつつ、より強力なAI脆弱性スキャナーと強化されたRAG評価を導入しています。これらは現在、v2への依存なしに `giskard-scan` にネイティブに搭載されています。**表形式/MLモデル**向けのレガシースキャンのみがv2専用として残っています。
> **Giskard v2 は引き続き利用可能ですが、もはや積極的にメンテナンスされていません。**
> 進捗をフォロー → [v3 発表を読む](https://github.com/orgs/Giskard-AI/discussions/2250) · [ロードマップ](https://github.com/Giskard-AI/giskard-oss/issues/2252)
## インストール
```sh
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```
Python 3.12+ が必要です。
| Extra | 追加されるもの |
| --- | --- |
| *(なし)* | `giskard-checks` と依存関係 |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | プロバイダー SDK(`pyproject.toml` のオプション依存関係を参照) |
**テレメトリー:** `giskard-core` による任意の集計分析。プロンプトや出力は送信されません。
`export DO_NOT_TRACK=1` または `export GISKARD_TELEMETRY_DISABLED=1`(あるいは作業ディレクトリの `.env` ファイルに同じキーを設定)でオプトアウトできます。`~/.giskard/id` の作成をスキップするにはインポート前に設定してください。後から設定した場合でも以降の送信は停止します。
詳細: [`giskard-core` README](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry)。
---
Giskard は **エージェント型システムのテストと評価** を行うオープンソースの Python ライブラリです。v3 アーキテクチャは、それぞれが必要な依存関係のみを持つ、焦点を絞ったモジュール式パッケージ群であり、LLM、ブラックボックスエージェント、多段階パイプラインなどあらゆるものをラップできるようゼロから構築されています。
| ステータス | パッケージ | 説明 |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ 安定 | `giskard-checks` | テストと評価 — シナリオ API、組み込みチェック、LLM-as-judge |
| ✅ 安定 | `giskard-scan` | エージェント脆弱性スキャナー + RAG/品質評価 — レッドチーミング、プロンプトインジェクション、ジェイルブレイク、有害コンテンツ(`vulnerability_scan`、[v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) の後継)、およびナレッジベース品質評価(`quality_scan`、[v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) の後継) |
これらは 3 つの基盤ライブラリ — `giskard-core`(共有ユーティリティとテレメトリー)、`giskard-llm`(プロバイダー非依存の LLM ルーティング)、`giskard-agents`(エージェントとワークフローのオーケストレーション)— の上に構築されており、これらは自動的に取り込まれ、直接使用されることはほとんどありません。
## Giskard Checks — エージェントのテスト用 eval の作成と適用
```sh
pip install giskard-checks
```
**[Giskard Checks](https://docs.giskard.ai/oss/checks)** は、LLMベースのシステムをテストする評価(evals)を作成するための軽量ライブラリです — 単純なアサーションからLLM-as-judgeによる評価まで対応します。従来のユニットテストとは異なり、evalsは**非決定的な出力**(同じ入力でも異なる有効な応答が生成されうる)向けに設計されています。
Giskard Checks の用途:
- **リグレッションの検出** — 変更後もシステムが正しく動作することを検証
- **RAG品質の検証** — 回答が取得したコンテキストに基づいているかを確認
- **安全性ルールの適用** — 出力がコンテンツポリシーに準拠していることを保証
- **マルチターンエージェントの評価** — 単一のやり取りだけでなく、会話全体をテスト
組み込みのevalsには、文字列マッチング、比較、正規表現、意味的類似度、LLM-as-judgeチェック(`Groundedness`、`Conformity`、`LLMJudge`)が含まれます。
### 概念
- **Target** — テスト対象のシステム: 任意の同期/非同期呼び出し可能オブジェクト `(inputs) -> outputs`(オプションで `trace` 付き)
- **Scenario** — 1つのeval: インタラクション + チェック
- **Check** — トレースに対するアサーションまたはLLMジャッジ
- **Suite** — 複数のシナリオをまとめて実行
`giskard.agents.Generator` はワークフロー/ジャッジ用のLLMクライアントであり、
ユーザーメッセージを合成する `giskard.checks` の入力ジェネレーター(`LLMGenerator`)とは異なります。
### クイックスタート
イベントループが実行されていないスクリプト内で:
```python
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
```
ノートブックのセル内、または非同期関数内では、代わりにシナリオを await してください:
```python
result = await scenario.run()
result.print_report()
```
`Groundedness` は LLM ジャッジです — プロバイダーの extra をインストールし(例: `pip install "giskard[openai]"`)、対応する API キーを設定してください。デフォルトモデル: `openai/gpt-4o-mini`。
`Suites`、`LLMJudge`、マルチターンシナリオなどの詳細については、[完全なドキュメント](https://docs.giskard.ai/oss/checks)を参照してください。
---
## Giskard Scan — AI エージェント向け脆弱性スキャナー
```sh
pip install "giskard[scan]" # or: pip install giskard-scan
```
**Giskard Scan** は、エージェント型システム向けのレッドチーミングおよび脆弱性スキャンのレイヤーです。エージェントの平易な言葉による説明から、プロンプトインジェクション、有害コンテンツ、ステレオタイプ、誤情報などをカバーする敵対的テストスイートを自動的に生成します。
Giskard Scan は次の用途に使用します:
- **エージェントのレッドチーミング** — OWASP LLM Top-10 の脅威カテゴリ全体にわたる敵対的入力を自動生成
- **プロンプトインジェクションプローブの実行** — すぐに使えるインジェクションペイロードの組み込みデータセット
- **カスタムジェネレーターによる拡張** — 独自の `ScenarioGenerator` インスタンスを `generate_suite` に渡すか、`vulnerability_suite_generator_registry` に登録
### クイックスタート
```python
import asyncio
from giskard.scan import vulnerability_scan
async def my_agent(inputs: str) -> str:
# Replace with your agent / model call
return f"Echo: {inputs}"
async def main() -> None:
await vulnerability_scan(
target=my_agent,
description="A customer support chatbot for an e-commerce platform.",
languages=["en"],
)
asyncio.run(main())
```
スキャンジェネレーターも同様に、LLMプロバイダーのextraとAPIキーが必要です(上記のChecksのジャッジと同じです)。
## Giskard v2をお探しですか?
Giskard v2には**Scan**(自動脆弱性検出)と**RAGET**(RAG評価テストセット生成)が含まれていました。
**LLMエージェント**については、v3では両方とも`giskard-scan`に取って代わられています。v2のLLMスキャンの代わりに[`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents)を、RAGETの代わりに`quality_scan`(`KnowledgeBase`と併用)を使用してください。
v3はMLモデルでも動作します。モデルをターゲットとしてラップし、`giskard-checks`または`giskard-scan`で評価できます。以下の例で扱っているのは、**v2専用の自動表形式スキャン**(`giskard.Model` + `giskard.Dataset`を内省してパフォーマンス、バイアス、ロバストネスの問題を自動検出する検出器スイート)と、`giskard.testing` MLテストスイート、そしてGiskard Hubです。これらはv3での提供は予定されていません。
```sh
pip install "giskard[llm]>2,<3"
```
### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — パフォーマンス、バイアス、セキュリティの問題を自動検出
モデルをラップしてスキャンを実行します:
```python
import giskard
import pandas as pd
# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
"""The function takes a DataFrame and must return a list of outputs (one per row)."""
return [my_llm_chain.run({"query": question}) for question in df["question"]]
giskard_model = giskard.Model(
model=model_predict,
model_type="text_generation",
name="My LLM Application",
description="A question answering assistant",
feature_names=["question"],
)
scan_results = giskard.scan(giskard_model)
display(scan_results)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="スキャンの例" width="800">
</p>
### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — RAGアプリケーション向けの評価データセットを生成
ナレッジベースから質問、参照回答、コンテキストを自動的に生成します:
```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase
# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])
testset = generate_testset(
knowledge_base,
num_questions=60,
language="en",
agent_description="A customer support chatbot for company X",
)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="RAGETの例" width="800">
</p>
[完全なv2ドキュメント](https://legacy-docs.giskard.ai)
<h1 id="community">👋 コミュニティ</h1>
AIコミュニティからの貢献を歓迎します!まずはこちらの[ガイド](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md)をお読みいただき、活発なコミュニティである[Discord](https://gisk.ar/discord)にご参加ください。
進捗をフォローし、フィードバックを共有しましょう:
[v3のお知らせ](https://github.com/orgs/Giskard-AI/discussions/2250) · [ロードマップ](https://github.com/Giskard-AI/giskard-oss/issues/2252)
🌟 [スターを付けてください](https://github.com/Giskard-AI/giskard)。プロジェクトが他の人に見つけてもらいやすくなり、素晴らしいオープンソースツールを作り続けるモチベーションにつながります! 🌟
❤️ 私たちの活動が役に立ったと感じたら、GitHubでの[スポンサー](https://github.com/sponsors/Giskard-AI)をご検討ください。月額スポンサーになると、スポンサーバッジを取得でき、このreadmeに企業名を掲載でき、バグレポートが優先的に処理されます。また、コンサルティングプロジェクトへの参加、ワークショップの開催、貴社での講演などをご希望の場合には、単発のスポンサーも受け付けています。