
giskard-oss giskard-checks/v1.0.4
🐢 LLM एजेंटों के लिए ओपन-सोर्स मूल्यांकन एवं परीक्षण लाइब्रेरी
एजेंटिक सिस्टम्स के लिए इवैल्स, रेड टीमिंग और टेस्ट जनरेशन
मॉड्यूलर, हल्का, डायनामिक और async-first
डॉक्स • वेबसाइट • कम्युनिटी
[!IMPORTANT] Giskard v3 एक नया रीराइट है जिसे AI एजेंट्स के डायनामिक, मल्टी-टर्न टेस्टिंग के लिए डिज़ाइन किया गया है। यह रिलीज़ बेहतर दक्षता के लिए भारी डिपेंडेंसीज़ को हटा देती है और साथ ही एक अधिक शक्तिशाली AI वल्नरेबिलिटी स्कैनर तथा उन्नत RAG इवैल्यूएशन पेश करती है — दोनों अब
giskard-scanमें नेटिव रूप से उपलब्ध हैं, जिनके लिए v2 पर कोई निर्भरता नहीं है। केवल tabular/ML मॉडल्स के लिए लेगेसी स्कैन ही v2-only रहता है। Giskard v2 अभी भी उपलब्ध है लेकिन अब सक्रिय रूप से मेंटेन नहीं किया जाता। प्रगति को फॉलो करें → v3 की घोषणा पढ़ें · रोडमैप
इंस्टॉल करें
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
Python 3.12+ आवश्यक है।
| अतिरिक्त | जोड़ता है |
|---|---|
| (कोई नहीं) | giskard-checks और निर्भरताएँ |
scan | giskard-scan |
openai / anthropic / … | प्रदाता SDKs (pyproject.toml वैकल्पिक निर्भरताएँ देखें) |
टेलीमेट्री: giskard-core के माध्यम से वैकल्पिक समग्र एनालिटिक्स। कोई प्रॉम्प्ट या आउटपुट नहीं भेजे जाते।
export DO_NOT_TRACK=1 या export GISKARD_TELEMETRY_DISABLED=1 के साथ ऑप्ट आउट करें (या कार्यशील निर्देशिका में .env फ़ाइल में समान कुंजियाँ)। ~/.giskard/id बनाने से बचने के लिए इन्हें इम्पोर्ट से पहले सेट करें; बाद में सेट करने पर भी आगे भेजना रुक जाता है।
विवरण: giskard-core README.
Giskard एजेंटिक सिस्टम के परीक्षण और मूल्यांकन के लिए एक ओपन-सोर्स Python लाइब्रेरी है। v3 आर्किटेक्चर केंद्रित पैकेजों का एक मॉड्यूलर सेट है — प्रत्येक केवल वही निर्भरताएँ ले जाता है जिनकी उसे आवश्यकता होती है — जिसे किसी भी चीज़ को रैप करने के लिए शुरू से बनाया गया है: एक LLM, एक ब्लैक-बॉक्स एजेंट, या एक मल्टी-स्टेप पाइपलाइन।
| स्थिति | पैकेज | विवरण |
|---|---|---|
| ✅ स्थिर | giskard-checks | परीक्षण और मूल्यांकन — सिनेरियो API, अंतर्निहित जाँच, LLM-as-judge |
| ✅ स्थिर | giskard-scan | एजेंट भेद्यता स्कैनर + RAG/गुणवत्ता मूल्यांकन — रेड टीमिंग, प्रॉम्प्ट इंजेक्शन, जेलब्रेक और हानिकारक सामग्री (vulnerability_scan, v2 Scan का उत्तराधिकारी), साथ ही नॉलेज-बेस गुणवत्ता मूल्यांकन (quality_scan, v2 RAGET का उत्तराधिकारी) |
ये तीन आधारभूत लाइब्रेरीज़ पर निर्मित हैं — giskard-core (साझा उपयोगिताएँ और टेलीमेट्री), giskard-llm (प्रदाता-अज्ञेयवादी LLM रूटिंग), और giskard-agents (एजेंट और वर्कफ़्लो ऑर्केस्ट्रेशन) — जो स्वचालित रूप से शामिल होते हैं और शायद ही कभी सीधे उपयोग किए जाते हैं।
Giskard Checks — एजेंट के परीक्षण के लिए evals बनाएँ और लागू करें
pip install giskard-checks
Giskard Checks LLM-आधारित सिस्टम का परीक्षण करने वाले मूल्यांकन (evals) बनाने के लिए एक हल्की लाइब्रेरी है — सरल assertions से लेकर LLM-as-judge आकलन तक। पारंपरिक unit tests के विपरीत, evals non-deterministic outputs के लिए डिज़ाइन किए गए हैं, जहाँ एक ही इनपुट भिन्न वैध प्रतिक्रियाएँ उत्पन्न कर सकता है।
Giskard Checks का उपयोग इनके लिए करें:
- Regressions पकड़ें — सत्यापित करें कि परिवर्तनों के बाद भी आपका सिस्टम सही व्यवहार करता है
- RAG गुणवत्ता सत्यापित करें — जाँचें कि उत्तर प्राप्त किए गए संदर्भ में आधारित हैं या नहीं
- सुरक्षा नियम लागू करें — सुनिश्चित करें कि आउटपुट आपकी सामग्री नीतियों के अनुरूप हैं
- मल्टी-टर्न एजेंट्स का मूल्यांकन करें — केवल एकल आदान-प्रदान नहीं, बल्कि पूरी बातचीत का परीक्षण करें
अंतर्निहित evals में string matching, तुलनाएँ, regex, semantic similarity, और LLM-as-judge checks (Groundedness, Conformity, LLMJudge) शामिल हैं।
अवधारणाएँ
- Target — परीक्षण के अंतर्गत आपका सिस्टम: कोई भी sync/async callable
(inputs) -> outputs(वैकल्पिक रूप सेtraceके साथ) - Scenario — एक eval: interactions + checks
- Check — trace पर assertion या LLM judge
- Suite — कई scenarios एक साथ चलाए जाते हैं
giskard.agents.Generator workflows/judges के लिए एक LLM क्लाइंट है — यह
giskard.checks के input generators (LLMGenerator) से भिन्न है जो उपयोगकर्ता संदेशों को संश्लेषित करते हैं।
Quickstart
चालू event loop के बिना एक स्क्रिप्ट में:
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
किसी नोटबुक सेल में या किसी async फ़ंक्शन के अंदर, इसके बजाय scenario को await करें:
result = await scenario.run()
result.print_report()
Groundedness एक LLM जज है — एक प्रोवाइडर एक्स्ट्रा इंस्टॉल करें (जैसे pip install "giskard[openai]") और संबंधित API key सेट करें। डिफ़ॉल्ट मॉडल: openai/gpt-4o-mini।
Suites, LLMJudge, मल्टी-टर्न परिदृश्यों और अधिक के लिए पूर्ण दस्तावेज़ देखें।
Giskard Scan — AI एजेंट्स के लिए भेद्यता स्कैनर
pip install "giskard[scan]" # or: pip install giskard-scan
Giskard Scan एजेंटिक सिस्टम्स के लिए रेड-टीमिंग और भेद्यता स्कैनिंग परत है। यह आपके एजेंट के सरल-भाषा विवरण से स्वचालित रूप से प्रतिकूल परीक्षण सूट उत्पन्न करता है, जिसमें प्रॉम्प्ट इंजेक्शन, हानिकारक सामग्री, रूढ़िवादिता, गलत सूचना और बहुत कुछ शामिल है।
Giskard Scan का उपयोग करें: