giskard-oss — 🐢 LLMエージェント向けのオープンソース評価・テストライブラリ | Kitploit

pip install giskard           # チェック (+ agents, llm, core)
pip install "giskard[scan]"   # + 脆弱性 / 品質スキャン
pip install "giskard[openai]" # LLMジャッジ / ジェネレーター用プロバイダーSDK

ステータス	パッケージ	説明
✅ 安定版	`giskard-checks`	テストと評価 — シナリオAPI、組み込みチェック、LLM-as-judge
✅ 安定版	`giskard-scan`	エージェント脆弱性スキャナー + RAG/品質評価 — レッドチーミング、プロンプトインジェクション、脱獄、有害コンテンツ (`vulnerability_scan`、v2 Scan の後継)、およびナレッジベース品質評価 (`quality_scan`、v2 RAGET の後継)

import asyncio
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # モデル / エージェントに置き換えてください


async def main() -> None:
    scenario = (
        Scenario("test_france_capital")
        .interact(inputs="What is the capital of France?", outputs=get_answer)
        .check(
            Groundedness(
                name="answer is grounded",
                context="France is in Western Europe. Its capital is Paris.",
            )
        )
    )
    result = await scenario.run()
    result.print_report()


asyncio.run(main())

import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # エージェント / モデルの呼び出しに置き換えてください
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())

import giskard
import pandas as pd


# my_llm_chain を実際のLLMチェーンまたはモデル推論ロジックに置き換えてください
def model_predict(df: pd.DataFrame):
    """この関数はDataFrameを受け取り、出力のリスト (行ごとに1つ) を返す必要があります。"""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)

import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# ナレッジベースのドキュメントを読み込む
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)

Extra	追加されるもの
(なし)	`giskard-checks` と依存関係
`scan`	`giskard-scan`
`openai` / `anthropic` / …	プロバイダーSDK (`pyproject.toml` のオプション依存関係を参照)

人気

giskard-oss

ドキュメント • ウェブサイト • コミュニティ

インストール

Giskard Checks — エージェントをテストするためのEvalsの作成と適用

概念

クイックスタート

Giskard Scan — AIエージェント用の脆弱性スキャナー

クイックスタート

Giskard v2をお探しですか?

Scan — パフォーマンス、バイアス、セキュリティの問題を自動検出

RAGET — RAGアプリケーション用の評価データセットを生成

👋 コミュニティ

人気

giskard-oss

エージェントシステムのためのEvals、レッドチーミング、テスト生成

モジュール式、軽量、動的、そしてAsyncファースト

ドキュメント • ウェブサイト • コミュニティ

インストール

Giskard Checks — エージェントをテストするためのEvalsの作成と適用

概念

クイックスタート

Giskard Scan — AIエージェント用の脆弱性スキャナー

クイックスタート

Giskard v2をお探しですか?

Scan — パフォーマンス、バイアス、セキュリティの問題を自動検出

RAGET — RAGアプリケーション用の評価データセットを生成

👋 コミュニティ