giskard-oss — 🐢 مكتبة مفتوحة المصدر لتقييم واختبار وكلاء LLM | Kitploit

pip install giskard           # الفحوصات (+ الوكلاء، llm، النواة)
pip install "giskard[scan]"   # + فحص الثغرات / الجودة
pip install "giskard[openai]" # مزوّد SDK لمحكّمي/مولّدي LLM

الحالة	الحزمة	الوصف
✅ مستقرة	`giskard-checks`	الاختبار والتقييم — واجهة برمجة السيناريوهات، الفحوصات المدمجة، LLM كحَكَم
✅ مستقرة	`giskard-scan`	ماسح ثغرات الوكلاء + تقييم RAG/الجودة — الاختراق الأخلاقي، حقن المطالبات، كسر الحواجز والمحتوى الضار (`vulnerability_scan`، خليفة v2 Scan)، بالإضافة إلى تقييم جودة قاعدة المعرفة (`quality_scan`، خليفة v2 RAGET)

import asyncio
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # استبدل بنموذجك / وكيلك


async def main() -> None:
    scenario = (
        Scenario("test_france_capital")
        .interact(inputs="What is the capital of France?", outputs=get_answer)
        .check(
            Groundedness(
                name="answer is grounded",
                context="France is in Western Europe. Its capital is Paris.",
            )
        )
    )
    result = await scenario.run()
    result.print_report()


asyncio.run(main())

import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # استبدل باستدعاء وكيلك / نموذجك
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())

import giskard
import pandas as pd


# استبدل my_llm_chain بسلسلة LLM الفعلية أو منطق استدلال النموذج
def model_predict(df: pd.DataFrame):
    """تأخذ الدالة DataFrame ويجب أن تُرجع قائمة من المخرجات (واحد لكل صف)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)

import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# حمّل مستندات قاعدة المعرفة الخاصة بك
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)

الإضافة	تضيف
(لا شيء)	`giskard-checks` والتبعيات
`scan`	`giskard-scan`
`openai` / `anthropic` / …	مزوّدو SDK (انظر التبعيات الاختيارية في `pyproject.toml`)

giskard-oss

الأكثر شعبية

الوثائق • الموقع الإلكتروني • المجتمع

التثبيت

Giskard Checks — إنشاء وتطبيق التقييمات لاختبار الوكلاء

المفاهيم

بداية سريعة

Giskard Scan — ماسح الثغرات لوكلاء الذكاء الاصطناعي

بداية سريعة

هل تبحث عن Giskard v2؟

Scan — الكشف التلقائي عن مشاكل الأداء والتحيز والأمان

RAGET — توليد مجموعات بيانات التقييم لتطبيقات RAG

👋 المجتمع

giskard-oss

الأكثر شعبية

التقييمات، الاختراق الأخلاقي (Red Teaming) وتوليد الاختبارات للأنظمة الوكيلة

نمطي، خفيف، ديناميكي وموجّه للبرمجة غير المتزامنة (Async-first)

الوثائق • الموقع الإلكتروني • المجتمع

التثبيت

Giskard Checks — إنشاء وتطبيق التقييمات لاختبار الوكلاء

المفاهيم

بداية سريعة

Giskard Scan — ماسح الثغرات لوكلاء الذكاء الاصطناعي

بداية سريعة

هل تبحث عن Giskard v2؟

Scan — الكشف التلقائي عن مشاكل الأداء والتحيز والأمان

RAGET — توليد مجموعات بيانات التقييم لتطبيقات RAG

👋 المجتمع