🐢 LLM एजेंटों के लिए ओपन-सोर्स मूल्यांकन एवं परीक्षण लाइब्रेरी
<p align="center">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >एजेंटिक सिस्टम्स के लिए इवैल्स, रेड टीमिंग और टेस्ट जनरेशन</h1>
<h3 align="center" weight='300' >मॉड्यूलर, हल्का, डायनामिक और async-first </h3>
<div align="center">
[](https://github.com/Giskard-AI/giskard-oss/releases)
[](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[](https://pepy.tech/project/giskard)
[](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[](https://gisk.ar/discord)
<a rel="me" href="https://fosstodon.org/@Giskard"></a>
</div>
<h3 align="center">
<a href="https://docs.giskard.ai/oss"><b>डॉक्स</b></a> •
<a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>वेबसाइट</b></a> •
<a href="https://gisk.ar/discord"><b>कम्युनिटी</b></a>
</h3>
<br />
> [!IMPORTANT]
> **Giskard v3** एक नया रीराइट है जिसे AI एजेंट्स के डायनामिक, मल्टी-टर्न टेस्टिंग के लिए डिज़ाइन किया गया है। यह रिलीज़ बेहतर दक्षता के लिए भारी डिपेंडेंसीज़ को हटा देती है और साथ ही एक अधिक शक्तिशाली AI वल्नरेबिलिटी स्कैनर तथा उन्नत RAG इवैल्यूएशन पेश करती है — दोनों अब `giskard-scan` में नेटिव रूप से उपलब्ध हैं, जिनके लिए v2 पर कोई निर्भरता नहीं है। केवल **tabular/ML मॉडल्स** के लिए लेगेसी स्कैन ही v2-only रहता है।
> **Giskard v2 अभी भी उपलब्ध है लेकिन अब सक्रिय रूप से मेंटेन नहीं किया जाता।**
> प्रगति को फॉलो करें → [v3 की घोषणा पढ़ें](https://github.com/orgs/Giskard-AI/discussions/2250) · [रोडमैप](https://github.com/Giskard-AI/giskard-oss/issues/2252)
## इंस्टॉल करें
```sh
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```
Python 3.12+ आवश्यक है।
| अतिरिक्त | जोड़ता है |
| --- | --- |
| *(कोई नहीं)* | `giskard-checks` और निर्भरताएँ |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | प्रदाता SDKs (`pyproject.toml` वैकल्पिक निर्भरताएँ देखें) |
**टेलीमेट्री:** `giskard-core` के माध्यम से वैकल्पिक समग्र एनालिटिक्स। कोई प्रॉम्प्ट या आउटपुट नहीं भेजे जाते।
`export DO_NOT_TRACK=1` या `export GISKARD_TELEMETRY_DISABLED=1` के साथ ऑप्ट आउट करें (या कार्यशील निर्देशिका में `.env` फ़ाइल में समान कुंजियाँ)। `~/.giskard/id` बनाने से बचने के लिए इन्हें इम्पोर्ट से पहले सेट करें; बाद में सेट करने पर भी आगे भेजना रुक जाता है।
विवरण: [`giskard-core` README](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).
---
Giskard **एजेंटिक सिस्टम के परीक्षण और मूल्यांकन** के लिए एक ओपन-सोर्स Python लाइब्रेरी है। v3 आर्किटेक्चर केंद्रित पैकेजों का एक मॉड्यूलर सेट है — प्रत्येक केवल वही निर्भरताएँ ले जाता है जिनकी उसे आवश्यकता होती है — जिसे किसी भी चीज़ को रैप करने के लिए शुरू से बनाया गया है: एक LLM, एक ब्लैक-बॉक्स एजेंट, या एक मल्टी-स्टेप पाइपलाइन।
| स्थिति | पैकेज | विवरण |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ स्थिर | `giskard-checks` | परीक्षण और मूल्यांकन — सिनेरियो API, अंतर्निहित जाँच, LLM-as-judge |
| ✅ स्थिर | `giskard-scan` | एजेंट भेद्यता स्कैनर + RAG/गुणवत्ता मूल्यांकन — रेड टीमिंग, प्रॉम्प्ट इंजेक्शन, जेलब्रेक और हानिकारक सामग्री (`vulnerability_scan`, [v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) का उत्तराधिकारी), साथ ही नॉलेज-बेस गुणवत्ता मूल्यांकन (`quality_scan`, [v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) का उत्तराधिकारी) |
ये तीन आधारभूत लाइब्रेरीज़ पर निर्मित हैं — `giskard-core` (साझा उपयोगिताएँ और टेलीमेट्री), `giskard-llm` (प्रदाता-अज्ञेयवादी LLM रूटिंग), और `giskard-agents` (एजेंट और वर्कफ़्लो ऑर्केस्ट्रेशन) — जो स्वचालित रूप से शामिल होते हैं और शायद ही कभी सीधे उपयोग किए जाते हैं।
## Giskard Checks — एजेंट के परीक्षण के लिए evals बनाएँ और लागू करें
```sh
pip install giskard-checks
```
**[Giskard Checks](https://docs.giskard.ai/oss/checks)** LLM-आधारित सिस्टम का परीक्षण करने वाले मूल्यांकन (evals) बनाने के लिए एक हल्की लाइब्रेरी है — सरल assertions से लेकर LLM-as-judge आकलन तक। पारंपरिक unit tests के विपरीत, evals **non-deterministic outputs** के लिए डिज़ाइन किए गए हैं, जहाँ एक ही इनपुट भिन्न वैध प्रतिक्रियाएँ उत्पन्न कर सकता है।
Giskard Checks का उपयोग इनके लिए करें:
- **Regressions पकड़ें** — सत्यापित करें कि परिवर्तनों के बाद भी आपका सिस्टम सही व्यवहार करता है
- **RAG गुणवत्ता सत्यापित करें** — जाँचें कि उत्तर प्राप्त किए गए संदर्भ में आधारित हैं या नहीं
- **सुरक्षा नियम लागू करें** — सुनिश्चित करें कि आउटपुट आपकी सामग्री नीतियों के अनुरूप हैं
- **मल्टी-टर्न एजेंट्स का मूल्यांकन करें** — केवल एकल आदान-प्रदान नहीं, बल्कि पूरी बातचीत का परीक्षण करें
अंतर्निहित evals में string matching, तुलनाएँ, regex, semantic similarity, और LLM-as-judge checks (`Groundedness`, `Conformity`, `LLMJudge`) शामिल हैं।
### अवधारणाएँ
- **Target** — परीक्षण के अंतर्गत आपका सिस्टम: कोई भी sync/async callable `(inputs) -> outputs` (वैकल्पिक रूप से `trace` के साथ)
- **Scenario** — एक eval: interactions + checks
- **Check** — trace पर assertion या LLM judge
- **Suite** — कई scenarios एक साथ चलाए जाते हैं
`giskard.agents.Generator` workflows/judges के लिए एक LLM क्लाइंट है — यह
`giskard.checks` के input generators (`LLMGenerator`) से भिन्न है जो उपयोगकर्ता संदेशों को संश्लेषित करते हैं।
### Quickstart
चालू event loop के बिना एक स्क्रिप्ट में:
```python
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
```
किसी नोटबुक सेल में या किसी async फ़ंक्शन के अंदर, इसके बजाय scenario को await करें:
```python
result = await scenario.run()
result.print_report()
```
`Groundedness` एक LLM जज है — एक प्रोवाइडर एक्स्ट्रा इंस्टॉल करें (जैसे `pip install "giskard[openai]"`) और संबंधित API key सेट करें। डिफ़ॉल्ट मॉडल: `openai/gpt-4o-mini`।
`Suites`, `LLMJudge`, मल्टी-टर्न परिदृश्यों और अधिक के लिए [पूर्ण दस्तावेज़](https://docs.giskard.ai/oss/checks) देखें।
---
## Giskard Scan — AI एजेंट्स के लिए भेद्यता स्कैनर
```sh
pip install "giskard[scan]" # or: pip install giskard-scan
```
**Giskard Scan** एजेंटिक सिस्टम्स के लिए रेड-टीमिंग और भेद्यता स्कैनिंग परत है। यह आपके एजेंट के सरल-भाषा विवरण से स्वचालित रूप से प्रतिकूल परीक्षण सूट उत्पन्न करता है, जिसमें प्रॉम्प्ट इंजेक्शन, हानिकारक सामग्री, रूढ़िवादिता, गलत सूचना और बहुत कुछ शामिल है।
Giskard Scan का उपयोग करें:
- **अपने एजेंट को रेड-टीम करें** — OWASP LLM Top-10 खतरा श्रेणियों में स्वचालित रूप से प्रतिकूल इनपुट उत्पन्न करें
- **प्रॉम्प्ट-इंजेक्शन प्रोब चलाएँ** — उपयोग के लिए तैयार इंजेक्शन पेलोड का अंतर्निहित डेटासेट
- **कस्टम जनरेटर के साथ विस्तार करें** — अपने स्वयं के `ScenarioGenerator` इंस्टेंस को `generate_suite` में पास करें, या उन्हें `vulnerability_suite_generator_registry` पर पंजीकृत करें
### क्विकस्टार्ट
```python
import asyncio
from giskard.scan import vulnerability_scan
async def my_agent(inputs: str) -> str:
# Replace with your agent / model call
return f"Echo: {inputs}"
async def main() -> None:
await vulnerability_scan(
target=my_agent,
description="A customer support chatbot for an e-commerce platform.",
languages=["en"],
)
asyncio.run(main())
```
स्कैन जनरेटर को भी एक LLM प्रदाता अतिरिक्त और API कुंजी की आवश्यकता होती है (ऊपर दिए गए Checks जजों की तरह ही)।
## Giskard v2 की तलाश है?
Giskard v2 में **Scan** (स्वचालित भेद्यता पहचान) और **RAGET** (RAG मूल्यांकन परीक्षण सेट जनरेशन) शामिल थे।
**LLM एजेंट्स** के लिए, v3 में दोनों को `giskard-scan` द्वारा प्रतिस्थापित कर दिया गया है: v2 LLM स्कैन के स्थान पर [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents) का उपयोग करें, और RAGET के स्थान पर `quality_scan` (`KnowledgeBase` के साथ) का उपयोग करें।
v3 ML मॉडलों के साथ भी काम करता है — किसी एक को लक्ष्य के रूप में लपेटें और उसका मूल्यांकन `giskard-checks` या `giskard-scan` से करें। नीचे दिए गए उदाहरण जिस चीज़ को कवर करते हैं वह है **केवल-v2 स्वचालित सारणीबद्ध स्कैन** — वह डिटेक्टर सूट जो प्रदर्शन, पूर्वाग्रह और मजबूती के मुद्दों को स्वतः पहचानने के लिए एक `giskard.Model` + `giskard.Dataset` का आंतरिक निरीक्षण करता है — साथ ही `giskard.testing` ML परीक्षण सूट और Giskard Hub। इन्हें v3 के लिए योजनाबद्ध नहीं किया गया है।
```sh
pip install "giskard[llm]>2,<3"
```
### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — प्रदर्शन, पूर्वाग्रह और सुरक्षा संबंधी समस्याओं का स्वचालित रूप से पता लगाएं
अपने मॉडल को रैप करें और स्कैन चलाएं:
```python
import giskard
import pandas as pd
# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
"""The function takes a DataFrame and must return a list of outputs (one per row)."""
return [my_llm_chain.run({"query": question}) for question in df["question"]]
giskard_model = giskard.Model(
model=model_predict,
model_type="text_generation",
name="My LLM Application",
description="A question answering assistant",
feature_names=["question"],
)
scan_results = giskard.scan(giskard_model)
display(scan_results)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="स्कैन उदाहरण" width="800">
</p>
### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — RAG अनुप्रयोगों के लिए मूल्यांकन डेटासेट उत्पन्न करें
अपने नॉलेज बेस से स्वचालित रूप से प्रश्न, संदर्भ उत्तर और संदर्भ उत्पन्न करें:
```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase
# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])
testset = generate_testset(
knowledge_base,
num_questions=60,
language="en",
agent_description="A customer support chatbot for company X",
)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="RAGET उदाहरण" width="800">
</p>
[पूर्ण v2 दस्तावेज़](https://legacy-docs.giskard.ai)
<h1 id="community">👋 समुदाय</h1>
हम AI समुदाय से योगदान का स्वागत करते हैं! शुरुआत करने के लिए यह [मार्गदर्शिका](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md) पढ़ें, और हमारे संपन्न समुदाय से [Discord](https://gisk.ar/discord) पर जुड़ें।
प्रगति का अनुसरण करें और प्रतिक्रिया साझा करें:
[v3 घोषणा](https://github.com/orgs/Giskard-AI/discussions/2250) · [रोडमैप](https://github.com/Giskard-AI/giskard-oss/issues/2252)
🌟 [हमें एक स्टार दें](https://github.com/Giskard-AI/giskard), यह परियोजना को दूसरों द्वारा खोजे जाने में मदद करता है और हमें शानदार ओपन-सोर्स टूल बनाने के लिए प्रेरित बनाए रखता है! 🌟
❤️ यदि आपको हमारा काम उपयोगी लगता है, तो कृपया GitHub पर [हमें प्रायोजित करने](https://github.com/sponsors/Giskard-AI) पर विचार करें। मासिक प्रायोजन के साथ, आप एक प्रायोजक बैज प्राप्त कर सकते हैं, इस readme में अपनी कंपनी प्रदर्शित कर सकते हैं, और अपनी बग रिपोर्टों को प्राथमिकता दिलवा सकते हैं। हम एकमुश्त प्रायोजन भी प्रदान करते हैं यदि आप चाहते हैं कि हम किसी परामर्श परियोजना में शामिल हों, कार्यशाला आयोजित करें, या आपकी कंपनी में भाषण दें।