🐢 LLM 에이전트용 오픈소스 평가 및 테스트 라이브러리
<p align="center">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >에이전트 시스템을 위한 평가, 레드 팀 활동 및 테스트 생성</h1>
<h3 align="center" weight='300' >모듈형, 경량, 동적 및 비동기 우선</h3>
<div align="center">
[](https://github.com/Giskard-AI/giskard-oss/releases)
[](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[](https://pepy.tech/project/giskard)
[](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[](https://gisk.ar/discord)
<a rel="me" href="https://fosstodon.org/@Giskard"></a>
</div>
<h3 align="center">
<a href="https://docs.giskard.ai/oss"><b>문서</b></a> •
<a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>웹사이트</b></a> •
<a href="https://gisk.ar/discord"><b>커뮤니티</b></a>
</h3>
<br />
> [!IMPORTANT]
> **Giskard v3**는 AI 에이전트의 동적이고 다중 턴 테스트를 위해 설계된 완전히 새로 작성된 버전입니다. 이 릴리스는 더 나은 효율성을 위해 무거운 의존성을 제거하는 동시에 더 강력한 AI 취약점 스캐너와 향상된 RAG 평가를 도입했습니다. 두 기능 모두 이제 v2에 대한 의존성 없이 `giskard-scan`에 기본으로 제공됩니다. **표 형식/ML 모델**을 위한 레거시 스캔만이 여전히 v2 전용입니다.
> **Giskard v2는 계속 사용할 수 있지만 더 이상 적극적으로 유지 관리되지 않습니다.**
> 진행 상황 팔로우 → [v3 발표 읽기](https://github.com/orgs/Giskard-AI/discussions/2250) · [로드맵](https://github.com/Giskard-AI/giskard-oss/issues/2252)
## 설치
```sh
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```
Python 3.12+가 필요합니다.
| 추가 항목 | 추가되는 내용 |
| --- | --- |
| *(없음)* | `giskard-checks` 및 종속성 |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | 제공자 SDK (`pyproject.toml`의 선택적 종속성 참조) |
**텔레메트리:** `giskard-core`를 통한 선택적 집계 분석. 프롬프트나 출력은 전송되지 않습니다.
`export DO_NOT_TRACK=1` 또는 `export GISKARD_TELEMETRY_DISABLED=1`로 옵트아웃할 수 있습니다(또는 작업 디렉터리의 `.env` 파일에 동일한 키 설정). `~/.giskard/id` 생성을 건너뛰려면 import 전에 설정하세요. 나중에 설정해도 추가 전송은 중단됩니다.
자세한 내용: [`giskard-core` README](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).
---
Giskard는 **에이전트 시스템을 테스트하고 평가**하기 위한 오픈소스 Python 라이브러리입니다. v3 아키텍처는 각각 필요한 종속성만 포함하는, 목적에 집중한 모듈형 패키지 집합으로, LLM, 블랙박스 에이전트, 다단계 파이프라인 등 무엇이든 감쌀 수 있도록 처음부터 구축되었습니다.
| 상태 | 패키지 | 설명 |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ 안정 | `giskard-checks` | 테스트 및 평가 — 시나리오 API, 내장 검사, LLM-as-judge |
| ✅ 안정 | `giskard-scan` | 에이전트 취약점 스캐너 + RAG/품질 평가 — 레드 팀잉, 프롬프트 인젝션, 탈옥 및 유해 콘텐츠([v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)의 후속인 `vulnerability_scan`), 그리고 지식 기반 품질 평가([v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)의 후속인 `quality_scan`) |
이들은 세 가지 기반 라이브러리 — `giskard-core`(공유 유틸리티 및 텔레메트리), `giskard-llm`(제공자 독립적 LLM 라우팅), `giskard-agents`(에이전트 및 워크플로 오케스트레이션) — 위에 구축되며, 이들은 자동으로 가져와지고 직접 사용되는 경우는 드뭅니다.
## Giskard Checks — 에이전트 테스트를 위한 평가 생성 및 적용
```sh
pip install giskard-checks
```
**[Giskard Checks](https://docs.giskard.ai/oss/checks)**는 LLM 기반 시스템을 테스트하는 평가(eval)를 만들기 위한 경량 라이브러리로, 단순한 검증(assertion)부터 LLM-as-judge 평가까지 지원합니다. 전통적인 단위 테스트와 달리, eval은 동일한 입력이 서로 다른 유효한 응답을 생성할 수 있는 **비결정적 출력**을 위해 설계되었습니다.
Giskard Checks를 사용하여:
- **회귀 감지** — 변경 후에도 시스템이 여전히 올바르게 동작하는지 확인
- **RAG 품질 검증** — 답변이 검색된 컨텍스트에 근거하는지 확인
- **안전 규칙 적용** — 출력이 콘텐츠 정책을 준수하는지 보장
- **멀티턴 에이전트 평가** — 단일 교환뿐 아니라 전체 대화 테스트
내장 eval에는 문자열 매칭, 비교, 정규식, 의미적 유사도, LLM-as-judge 검사(`Groundedness`, `Conformity`, `LLMJudge`)가 포함됩니다.
### 개념
- **Target** — 테스트 대상 시스템: 임의의 동기/비동기 호출 가능 객체 `(inputs) -> outputs` (선택적으로 `trace` 포함)
- **Scenario** — 하나의 eval: 상호작용 + 검사
- **Check** — 트레이스에 대한 검증(assertion) 또는 LLM 판정
- **Suite** — 함께 실행되는 여러 시나리오
`giskard.agents.Generator`는 워크플로/판정을 위한 LLM 클라이언트로,
사용자 메시지를 합성하는 `giskard.checks` 입력 생성기(`LLMGenerator`)와는 다릅니다.
### 빠른 시작
실행 중인 이벤트 루프가 없는 스크립트에서:
```python
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
```
노트북 셀이나 비동기 함수 내부에서는 대신 시나리오를 await하세요:
```python
result = await scenario.run()
result.print_report()
```
`Groundedness`는 LLM 판정기입니다 — 제공자 추가 패키지를 설치하고(예: `pip install "giskard[openai]"`) 해당 API 키를 설정하세요. 기본 모델: `openai/gpt-4o-mini`.
`Suites`, `LLMJudge`, 멀티턴 시나리오 등에 대한 내용은 [전체 문서](https://docs.giskard.ai/oss/checks)를 참조하세요.
---
## Giskard Scan — AI 에이전트용 취약점 스캐너
```sh
pip install "giskard[scan]" # or: pip install giskard-scan
```
**Giskard Scan**은 에이전틱 시스템을 위한 레드팀 및 취약점 스캐닝 계층입니다. 에이전트에 대한 평이한 언어 설명으로부터 프롬프트 인젝션, 유해 콘텐츠, 고정관념, 허위 정보 등을 포괄하는 적대적 테스트 스위트를 자동으로 생성합니다.
Giskard Scan을 사용하여:
- **에이전트 레드팀 수행** — OWASP LLM Top-10 위협 범주 전반에 걸쳐 적대적 입력을 자동으로 생성
- **프롬프트 인젝션 프로브 실행** — 바로 사용할 수 있는 인젝션 페이로드의 내장 데이터셋
- **사용자 정의 생성기로 확장** — 자체 `ScenarioGenerator` 인스턴스를 `generate_suite`에 전달하거나 `vulnerability_suite_generator_registry`에 등록
### 빠른 시작
```python
import asyncio
from giskard.scan import vulnerability_scan
async def my_agent(inputs: str) -> str:
# Replace with your agent / model call
return f"Echo: {inputs}"
async def main() -> None:
await vulnerability_scan(
target=my_agent,
description="A customer support chatbot for an e-commerce platform.",
languages=["en"],
)
asyncio.run(main())
```
스캔 생성기 역시 LLM 제공자 추가 패키지와 API 키가 필요합니다(위의 Checks 판정기와 동일).
## Giskard v2를 찾고 계신가요?
Giskard v2에는 **Scan**(자동 취약점 탐지)과 **RAGET**(RAG 평가 테스트 세트 생성)이 포함되어 있었습니다.
**LLM 에이전트**의 경우, v3에서는 두 기능 모두 `giskard-scan`으로 대체되었습니다. v2의 LLM 스캔 대신 [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents)을 사용하고, RAGET 대신 `quality_scan`(`KnowledgeBase`와 함께)을 사용하세요.
v3는 ML 모델과도 함께 작동합니다. 모델을 타깃으로 감싸서 `giskard-checks` 또는 `giskard-scan`으로 평가하면 됩니다. 아래 예제에서 다루는 내용은 **v2 전용 자동 테이블형 스캔** — `giskard.Model` + `giskard.Dataset`을 검사하여 성능, 편향, 견고성 문제를 자동 탐지하는 탐지기 모음 — 과 `giskard.testing` ML 테스트 모음, 그리고 Giskard Hub입니다. 이들은 v3에 계획되어 있지 않습니다.
```sh
pip install "giskard[llm]>2,<3"
```
### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — 성능, 편향 및 보안 문제를 자동으로 탐지
모델을 감싸고 스캔을 실행하세요:
```python
import giskard
import pandas as pd
# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
"""The function takes a DataFrame and must return a list of outputs (one per row)."""
return [my_llm_chain.run({"query": question}) for question in df["question"]]
giskard_model = giskard.Model(
model=model_predict,
model_type="text_generation",
name="My LLM Application",
description="A question answering assistant",
feature_names=["question"],
)
scan_results = giskard.scan(giskard_model)
display(scan_results)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="스캔 예시" width="800">
</p>
### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — RAG 애플리케이션용 평가 데이터셋 생성
지식 베이스로부터 질문, 참조 답변, 컨텍스트를 자동으로 생성합니다:
```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase
# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])
testset = generate_testset(
knowledge_base,
num_questions=60,
language="en",
agent_description="A customer support chatbot for company X",
)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="RAGET 예시" width="800">
</p>
[전체 v2 문서](https://legacy-docs.giskard.ai)
<h1 id="community">👋 커뮤니티</h1>
AI 커뮤니티의 기여를 환영합니다! 시작하려면 이 [가이드](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md)를 읽고, 활발한 커뮤니티인 [Discord](https://gisk.ar/discord)에 참여하세요.
진행 상황을 팔로우하고 피드백을 공유하세요:
[v3 공지](https://github.com/orgs/Giskard-AI/discussions/2250) · [로드맵](https://github.com/Giskard-AI/giskard-oss/issues/2252)
🌟 [스타를 남겨주세요](https://github.com/Giskard-AI/giskard), 이는 프로젝트가 다른 사람들에게 발견되는 데 도움이 되고 멋진 오픈소스 도구를 만들도록 동기를 부여합니다! 🌟
❤️ 저희 작업이 유용하다고 생각하시면 GitHub에서 [후원](https://github.com/sponsors/Giskard-AI)을 고려해 주세요. 월간 후원을 하시면 스폰서 배지를 받고, 이 readme에 회사를 표시하며, 버그 리포트의 우선순위를 받을 수 있습니다. 컨설팅 프로젝트 참여, 워크숍 진행, 또는 회사에서 강연을 원하시는 경우 일회성 후원도 제공합니다.