giskard-oss — 🐢 LLM 에이전트용 오픈소스 평가 및 테스트 라이브러리 | Kitploit

pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + 취약점 / 품질 스캔
pip install "giskard[openai]" # LLM 판정/생성기를 위한 provider SDK

상태	패키지	설명
✅ 안정	`giskard-checks`	테스트 및 평가 — 시나리오 API, 내장 검사, LLM-as-judge
✅ 안정	`giskard-scan`	에이전트 취약점 스캐너 + RAG/품질 평가 — 레드 팀, 프롬프트 인젝션, 탈옥(jailbreaks) 및 유해 콘텐츠 (`vulnerability_scan`, v2 Scan의 후속), 지식 베이스 품질 평가 (`quality_scan`, v2 RAGET의 후속)

import asyncio
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # 모델 / 에이전트로 교체


async def main() -> None:
    scenario = (
        Scenario("test_france_capital")
        .interact(inputs="What is the capital of France?", outputs=get_answer)
        .check(
            Groundedness(
                name="answer is grounded",
                context="France is in Western Europe. Its capital is Paris.",
            )
        )
    )
    result = await scenario.run()
    result.print_report()


asyncio.run(main())

import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # 에이전트 / 모델 호출로 교체
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())

import giskard
import pandas as pd


# my_llm_chain을 실제 LLM 체인 또는 모델 추론 로직으로 교체
def model_predict(df: pd.DataFrame):
    """이 함수는 DataFrame을 받아 출력 목록(행당 하나)을 반환해야 합니다."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)

import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# 지식 베이스 문서 로드
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)

Extra	추가 항목
(없음)	`giskard-checks` 및 의존성
`scan`	`giskard-scan`
`openai` / `anthropic` / …	provider SDK (`pyproject.toml` 선택 의존성 참조)

인기

giskard-oss

문서 • 웹사이트 • 커뮤니티

설치

Giskard Checks — 에이전트 테스트를 위한 평가 생성 및 적용

개념

빠른 시작

Giskard Scan — AI 에이전트용 취약점 스캐너

빠른 시작

Giskard v2를 찾고 계신가요?

Scan — 성능, 편향 및 보안 문제 자동 감지

RAGET — RAG 애플리케이션용 평가 데이터셋 생성

👋 커뮤니티

인기

giskard-oss

에이전트 시스템을 위한 평가(Evals), 레드 팀(Red Teaming) 및 테스트 생성

모듈형, 경량, 동적 및 Async 우선

문서 • 웹사이트 • 커뮤니티

설치

Giskard Checks — 에이전트 테스트를 위한 평가 생성 및 적용

개념

빠른 시작

Giskard Scan — AI 에이전트용 취약점 스캐너

빠른 시작

Giskard v2를 찾고 계신가요?

Scan — 성능, 편향 및 보안 문제 자동 감지

RAGET — RAG 애플리케이션용 평가 데이터셋 생성

👋 커뮤니티