
giskard-oss giskard-checks/v1.0.4
๐ข LLM ์์ด์ ํธ์ฉ ์คํ์์ค ํ๊ฐ ๋ฐ ํ ์คํธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ
์์ด์ ํธ ์์คํ ์ ์ํ ํ๊ฐ, ๋ ๋ ํ ํ๋ ๋ฐ ํ ์คํธ ์์ฑ
๋ชจ๋ํ, ๊ฒฝ๋, ๋์ ๋ฐ ๋น๋๊ธฐ ์ฐ์
๋ฌธ์ โข ์น์ฌ์ดํธ โข ์ปค๋ฎค๋ํฐ
[!IMPORTANT] Giskard v3๋ AI ์์ด์ ํธ์ ๋์ ์ด๊ณ ๋ค์ค ํด ํ ์คํธ๋ฅผ ์ํด ์ค๊ณ๋ ์์ ํ ์๋ก ์์ฑ๋ ๋ฒ์ ์ ๋๋ค. ์ด ๋ฆด๋ฆฌ์ค๋ ๋ ๋์ ํจ์จ์ฑ์ ์ํด ๋ฌด๊ฑฐ์ด ์์กด์ฑ์ ์ ๊ฑฐํ๋ ๋์์ ๋ ๊ฐ๋ ฅํ AI ์ทจ์ฝ์ ์ค์บ๋์ ํฅ์๋ RAG ํ๊ฐ๋ฅผ ๋์ ํ์ต๋๋ค. ๋ ๊ธฐ๋ฅ ๋ชจ๋ ์ด์ v2์ ๋ํ ์์กด์ฑ ์์ด
giskard-scan์ ๊ธฐ๋ณธ์ผ๋ก ์ ๊ณต๋ฉ๋๋ค. ํ ํ์/ML ๋ชจ๋ธ์ ์ํ ๋ ๊ฑฐ์ ์ค์บ๋ง์ด ์ฌ์ ํ v2 ์ ์ฉ์ ๋๋ค. Giskard v2๋ ๊ณ์ ์ฌ์ฉํ ์ ์์ง๋ง ๋ ์ด์ ์ ๊ทน์ ์ผ๋ก ์ ์ง ๊ด๋ฆฌ๋์ง ์์ต๋๋ค. ์งํ ์ํฉ ํ๋ก์ฐ โ v3 ๋ฐํ ์ฝ๊ธฐ ยท ๋ก๋๋งต
์ค์น
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
Python 3.12+๊ฐ ํ์ํฉ๋๋ค.
| ์ถ๊ฐ ํญ๋ชฉ | ์ถ๊ฐ๋๋ ๋ด์ฉ |
|---|---|
| (์์) | giskard-checks ๋ฐ ์ข
์์ฑ |
scan | giskard-scan |
openai / anthropic / โฆ | ์ ๊ณต์ SDK (pyproject.toml์ ์ ํ์ ์ข
์์ฑ ์ฐธ์กฐ) |
ํ
๋ ๋ฉํธ๋ฆฌ: giskard-core๋ฅผ ํตํ ์ ํ์ ์ง๊ณ ๋ถ์. ํ๋กฌํํธ๋ ์ถ๋ ฅ์ ์ ์ก๋์ง ์์ต๋๋ค.
export DO_NOT_TRACK=1 ๋๋ export GISKARD_TELEMETRY_DISABLED=1๋ก ์ตํธ์์ํ ์ ์์ต๋๋ค(๋๋ ์์
๋๋ ํฐ๋ฆฌ์ .env ํ์ผ์ ๋์ผํ ํค ์ค์ ). ~/.giskard/id ์์ฑ์ ๊ฑด๋๋ฐ๋ ค๋ฉด import ์ ์ ์ค์ ํ์ธ์. ๋์ค์ ์ค์ ํด๋ ์ถ๊ฐ ์ ์ก์ ์ค๋จ๋ฉ๋๋ค.
์์ธํ ๋ด์ฉ: giskard-core README.
Giskard๋ ์์ด์ ํธ ์์คํ ์ ํ ์คํธํ๊ณ ํ๊ฐํ๊ธฐ ์ํ ์คํ์์ค Python ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋๋ค. v3 ์ํคํ ์ฒ๋ ๊ฐ๊ฐ ํ์ํ ์ข ์์ฑ๋ง ํฌํจํ๋, ๋ชฉ์ ์ ์ง์คํ ๋ชจ๋ํ ํจํค์ง ์งํฉ์ผ๋ก, LLM, ๋ธ๋๋ฐ์ค ์์ด์ ํธ, ๋ค๋จ๊ณ ํ์ดํ๋ผ์ธ ๋ฑ ๋ฌด์์ด๋ ๊ฐ์ ์ ์๋๋ก ์ฒ์๋ถํฐ ๊ตฌ์ถ๋์์ต๋๋ค.
| ์ํ | ํจํค์ง | ์ค๋ช |
|---|---|---|
| โ ์์ | giskard-checks | ํ ์คํธ ๋ฐ ํ๊ฐ โ ์๋๋ฆฌ์ค API, ๋ด์ฅ ๊ฒ์ฌ, LLM-as-judge |
| โ ์์ | giskard-scan | ์์ด์ ํธ ์ทจ์ฝ์ ์ค์บ๋ + RAG/ํ์ง ํ๊ฐ โ ๋ ๋ ํ์, ํ๋กฌํํธ ์ธ์ ์
, ํ์ฅ ๋ฐ ์ ํด ์ฝํ
์ธ (v2 Scan์ ํ์์ธ vulnerability_scan), ๊ทธ๋ฆฌ๊ณ ์ง์ ๊ธฐ๋ฐ ํ์ง ํ๊ฐ(v2 RAGET์ ํ์์ธ quality_scan) |
์ด๋ค์ ์ธ ๊ฐ์ง ๊ธฐ๋ฐ ๋ผ์ด๋ธ๋ฌ๋ฆฌ โ giskard-core(๊ณต์ ์ ํธ๋ฆฌํฐ ๋ฐ ํ
๋ ๋ฉํธ๋ฆฌ), giskard-llm(์ ๊ณต์ ๋
๋ฆฝ์ LLM ๋ผ์ฐํ
), giskard-agents(์์ด์ ํธ ๋ฐ ์ํฌํ๋ก ์ค์ผ์คํธ๋ ์ด์
) โ ์์ ๊ตฌ์ถ๋๋ฉฐ, ์ด๋ค์ ์๋์ผ๋ก ๊ฐ์ ธ์์ง๊ณ ์ง์ ์ฌ์ฉ๋๋ ๊ฒฝ์ฐ๋ ๋๋ญ
๋๋ค.
Giskard Checks โ ์์ด์ ํธ ํ ์คํธ๋ฅผ ์ํ ํ๊ฐ ์์ฑ ๋ฐ ์ ์ฉ
pip install giskard-checks
**Giskard Checks**๋ LLM ๊ธฐ๋ฐ ์์คํ ์ ํ ์คํธํ๋ ํ๊ฐ(eval)๋ฅผ ๋ง๋ค๊ธฐ ์ํ ๊ฒฝ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ก, ๋จ์ํ ๊ฒ์ฆ(assertion)๋ถํฐ LLM-as-judge ํ๊ฐ๊น์ง ์ง์ํฉ๋๋ค. ์ ํต์ ์ธ ๋จ์ ํ ์คํธ์ ๋ฌ๋ฆฌ, eval์ ๋์ผํ ์ ๋ ฅ์ด ์๋ก ๋ค๋ฅธ ์ ํจํ ์๋ต์ ์์ฑํ ์ ์๋ ๋น๊ฒฐ์ ์ ์ถ๋ ฅ์ ์ํด ์ค๊ณ๋์์ต๋๋ค.
Giskard Checks๋ฅผ ์ฌ์ฉํ์ฌ:
- ํ๊ท ๊ฐ์ง โ ๋ณ๊ฒฝ ํ์๋ ์์คํ ์ด ์ฌ์ ํ ์ฌ๋ฐ๋ฅด๊ฒ ๋์ํ๋์ง ํ์ธ
- RAG ํ์ง ๊ฒ์ฆ โ ๋ต๋ณ์ด ๊ฒ์๋ ์ปจํ ์คํธ์ ๊ทผ๊ฑฐํ๋์ง ํ์ธ
- ์์ ๊ท์น ์ ์ฉ โ ์ถ๋ ฅ์ด ์ฝํ ์ธ ์ ์ฑ ์ ์ค์ํ๋์ง ๋ณด์ฅ
- ๋ฉํฐํด ์์ด์ ํธ ํ๊ฐ โ ๋จ์ผ ๊ตํ๋ฟ ์๋๋ผ ์ ์ฒด ๋ํ ํ ์คํธ
๋ด์ฅ eval์๋ ๋ฌธ์์ด ๋งค์นญ, ๋น๊ต, ์ ๊ท์, ์๋ฏธ์ ์ ์ฌ๋, LLM-as-judge ๊ฒ์ฌ(Groundedness, Conformity, LLMJudge)๊ฐ ํฌํจ๋ฉ๋๋ค.
๊ฐ๋
- Target โ ํ
์คํธ ๋์ ์์คํ
: ์์์ ๋๊ธฐ/๋น๋๊ธฐ ํธ์ถ ๊ฐ๋ฅ ๊ฐ์ฒด
(inputs) -> outputs(์ ํ์ ์ผ๋กtraceํฌํจ) - Scenario โ ํ๋์ eval: ์ํธ์์ฉ + ๊ฒ์ฌ
- Check โ ํธ๋ ์ด์ค์ ๋ํ ๊ฒ์ฆ(assertion) ๋๋ LLM ํ์
- Suite โ ํจ๊ป ์คํ๋๋ ์ฌ๋ฌ ์๋๋ฆฌ์ค
giskard.agents.Generator๋ ์ํฌํ๋ก/ํ์ ์ ์ํ LLM ํด๋ผ์ด์ธํธ๋ก,
์ฌ์ฉ์ ๋ฉ์์ง๋ฅผ ํฉ์ฑํ๋ giskard.checks ์
๋ ฅ ์์ฑ๊ธฐ(LLMGenerator)์๋ ๋ค๋ฆ
๋๋ค.
๋น ๋ฅธ ์์
์คํ ์ค์ธ ์ด๋ฒคํธ ๋ฃจํ๊ฐ ์๋ ์คํฌ๋ฆฝํธ์์:
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
๋ ธํธ๋ถ ์ ์ด๋ ๋น๋๊ธฐ ํจ์ ๋ด๋ถ์์๋ ๋์ ์๋๋ฆฌ์ค๋ฅผ awaitํ์ธ์:
result = await scenario.run()
result.print_report()
Groundedness๋ LLM ํ์ ๊ธฐ์
๋๋ค โ ์ ๊ณต์ ์ถ๊ฐ ํจํค์ง๋ฅผ ์ค์นํ๊ณ (์: pip install "giskard[openai]") ํด๋น API ํค๋ฅผ ์ค์ ํ์ธ์. ๊ธฐ๋ณธ ๋ชจ๋ธ: openai/gpt-4o-mini.
Suites, LLMJudge, ๋ฉํฐํด ์๋๋ฆฌ์ค ๋ฑ์ ๋ํ ๋ด์ฉ์ ์ ์ฒด ๋ฌธ์๋ฅผ ์ฐธ์กฐํ์ธ์.
Giskard Scan โ AI ์์ด์ ํธ์ฉ ์ทจ์ฝ์ ์ค์บ๋
pip install "giskard[scan]" # or: pip install giskard-scan
Giskard Scan์ ์์ด์ ํฑ ์์คํ ์ ์ํ ๋ ๋ํ ๋ฐ ์ทจ์ฝ์ ์ค์บ๋ ๊ณ์ธต์ ๋๋ค. ์์ด์ ํธ์ ๋ํ ํ์ดํ ์ธ์ด ์ค๋ช ์ผ๋ก๋ถํฐ ํ๋กฌํํธ ์ธ์ ์ , ์ ํด ์ฝํ ์ธ , ๊ณ ์ ๊ด๋ , ํ์ ์ ๋ณด ๋ฑ์ ํฌ๊ดํ๋ ์ ๋์ ํ ์คํธ ์ค์ํธ๋ฅผ ์๋์ผ๋ก ์์ฑํฉ๋๋ค.
Giskard Scan์ ์ฌ์ฉํ์ฌ:
- ์์ด์ ํธ ๋ ๋ํ ์ํ โ OWASP LLM Top-10 ์ํ ๋ฒ์ฃผ ์ ๋ฐ์ ๊ฑธ์ณ ์ ๋์ ์ ๋ ฅ์ ์๋์ผ๋ก ์์ฑ
- ํ๋กฌํํธ ์ธ์ ์ ํ๋ก๋ธ ์คํ โ ๋ฐ๋ก ์ฌ์ฉํ ์ ์๋ ์ธ์ ์ ํ์ด๋ก๋์ ๋ด์ฅ ๋ฐ์ดํฐ์
- ์ฌ์ฉ์ ์ ์ ์์ฑ๊ธฐ๋ก ํ์ฅ โ ์์ฒด
ScenarioGenerator์ธ์คํด์ค๋ฅผgenerate_suite์ ์ ๋ฌํ๊ฑฐ๋vulnerability_suite_generator_registry์ ๋ฑ๋ก
๋น ๋ฅธ ์์
import asyncio
from giskard.scan import vulnerability_scan
async def my_agent(inputs: str) -> str:
# Replace with your agent / model call
return f"Echo: {inputs}"
async def main() -> None:
await vulnerability_scan(
target=my_agent,
description="A customer support chatbot for an e-commerce platform.",
languages=["en"],
)
asyncio.run(main())
์ค์บ ์์ฑ๊ธฐ ์ญ์ LLM ์ ๊ณต์ ์ถ๊ฐ ํจํค์ง์ API ํค๊ฐ ํ์ํฉ๋๋ค(์์ Checks ํ์ ๊ธฐ์ ๋์ผ).
Giskard v2๋ฅผ ์ฐพ๊ณ ๊ณ์ ๊ฐ์?
Giskard v2์๋ Scan(์๋ ์ทจ์ฝ์ ํ์ง)๊ณผ RAGET(RAG ํ๊ฐ ํ ์คํธ ์ธํธ ์์ฑ)์ด ํฌํจ๋์ด ์์์ต๋๋ค.
LLM ์์ด์ ํธ์ ๊ฒฝ์ฐ, v3์์๋ ๋ ๊ธฐ๋ฅ ๋ชจ๋ giskard-scan์ผ๋ก ๋์ฒด๋์์ต๋๋ค. v2์ LLM ์ค์บ ๋์ vulnerability_scan์ ์ฌ์ฉํ๊ณ , RAGET ๋์ quality_scan(KnowledgeBase์ ํจ๊ป)์ ์ฌ์ฉํ์ธ์.
v3๋ ML ๋ชจ๋ธ๊ณผ๋ ํจ๊ป ์๋ํฉ๋๋ค. ๋ชจ๋ธ์ ํ๊น์ผ๋ก ๊ฐ์ธ์ giskard-checks ๋๋ giskard-scan์ผ๋ก ํ๊ฐํ๋ฉด ๋ฉ๋๋ค. ์๋ ์์ ์์ ๋ค๋ฃจ๋ ๋ด์ฉ์ v2 ์ ์ฉ ์๋ ํ
์ด๋ธํ ์ค์บ โ giskard.Model + giskard.Dataset์ ๊ฒ์ฌํ์ฌ ์ฑ๋ฅ, ํธํฅ, ๊ฒฌ๊ณ ์ฑ ๋ฌธ์ ๋ฅผ ์๋ ํ์งํ๋ ํ์ง๊ธฐ ๋ชจ์ โ ๊ณผ giskard.testing ML ํ
์คํธ ๋ชจ์, ๊ทธ๋ฆฌ๊ณ Giskard Hub์
๋๋ค. ์ด๋ค์ v3์ ๊ณํ๋์ด ์์ง ์์ต๋๋ค.
pip install "giskard[llm]>2,<3"
Scan โ ์ฑ๋ฅ, ํธํฅ ๋ฐ ๋ณด์ ๋ฌธ์ ๋ฅผ ์๋์ผ๋ก ํ์ง
๋ชจ๋ธ์ ๊ฐ์ธ๊ณ ์ค์บ์ ์คํํ์ธ์:
import giskard
import pandas as pd