🐢 مكتبة مفتوحة المصدر لتقييم واختبار وكلاء LLM
[!IMPORTANT] Giskard v3 هو إعادة كتابة جديدة كلياً مصممة للاختبار الديناميكي متعدد الأدوار لوكلاء الذكاء الاصطناعي. يتخلى هذا الإصدار عن الاعتماديات الثقيلة لتحقيق كفاءة أفضل، مع تقديم ماسح ثغرات ذكاء اصطناعي أكثر قوة وتقييم RAG محسّن — وكلاهما يُشحن الآن أصلياً في
giskard-scan، دون أي اعتماد على v2. يبقى فقط الفحص القديم لنماذج الجدولة/تعلّم الآلة حصرياً على v2. يبقى Giskard v2 متاحاً لكنه لم يعد يُصان بنشاط. تابع التقدم → اقرأ إعلان v3 · خارطة الطريق
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
يتطلب Python 3.12+.
| إضافة | يضيف |
|---|---|
| (لا شيء) | giskard-checks والاعتماديات |
scan | giskard-scan |
openai / anthropic / … | حزم SDK الخاصة بالمزوّدين (انظر الاعتماديات الاختيارية في pyproject.toml) |
القياس عن بُعد (Telemetry): تحليلات مجمّعة اختيارية عبر giskard-core. لا يتم إرسال أي مطالبات أو مخرجات.
يمكنك إلغاء الاشتراك عبر export DO_NOT_TRACK=1 أو export GISKARD_TELEMETRY_DISABLED=1 (أو نفس المفاتيح في ملف .env داخل دليل العمل). اضبطها قبل الاستيراد لتجنّب إنشاء ~/.giskard/id؛ وضبطها لاحقًا يوقف أي إرسال إضافي على أي حال.
التفاصيل: README الخاص بـ giskard-core.
Giskard هي مكتبة Python مفتوحة المصدر لاختبار وتقييم الأنظمة الوكيلية (agentic systems). معمارية v3 عبارة عن مجموعة وحدات من الحزم المتخصصة — كل منها يحمل فقط الاعتماديات التي يحتاجها — مبنية من الصفر لتغلّف أي شيء: نموذج لغوي كبير (LLM)، أو وكيل صندوق أسود، أو خط أنابيب متعدد الخطوات.
| الحالة | الحزمة | الوصف |
|---|---|---|
| ✅ مستقر | giskard-checks | الاختبار والتقييم — واجهة برمجة السيناريوهات، الفحوصات المدمجة، LLM-as-judge |
| ✅ مستقر | giskard-scan | ماسح ثغرات الوكلاء + تقييم RAG/الجودة — الفريق الأحمر (red teaming)، حقن المطالبات (prompt injection)، كسر القيود (jailbreaks) والمحتوى الضار (vulnerability_scan، خليفة v2 Scan)، بالإضافة إلى تقييم جودة قاعدة المعرفة (quality_scan، خليفة v2 RAGET) |
تستند هذه إلى ثلاث مكتبات أساسية — giskard-core (الأدوات المشتركة والقياس عن بُعد)، وgiskard-llm (توجيه LLM المستقل عن المزوّد)، وgiskard-agents (تنسيق الوكلاء وسير العمل) — والتي يتم جلبها تلقائيًا ونادرًا ما تُستخدم مباشرة.
pip install giskard-checks
Giskard Checks هي مكتبة خفيفة لإنشاء التقييمات (evals) التي تختبر الأنظمة القائمة على نماذج اللغة الكبيرة (LLM) — من التأكيدات البسيطة إلى تقييمات LLM-as-judge. على عكس اختبارات الوحدة التقليدية، صُممت التقييمات للمخرجات غير الحتمية (non-deterministic outputs) حيث يمكن أن يُنتج نفس المدخل استجابات صحيحة مختلفة.
استخدم Giskard Checks من أجل:
تشمل التقييمات المدمجة مطابقة النصوص والمقارنات والتعبيرات النمطية (regex) والتشابه الدلالي وتقييمات LLM-as-judge (Groundedness وConformity وLLMJudge).
(inputs) -> outputs (اختياريًا مع trace)giskard.agents.Generator هو عميل LLM لسير العمل/الحكّام — وليس هو نفسه
مولّدات المدخلات في giskard.checks (LLMGenerator) التي تُولّد رسائل المستخدم.
في سكربت بدون حلقة أحداث (event loop) قيد التشغيل:
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
في خلية دفتر ملاحظات أو داخل دالة غير متزامنة، استخدم await مع السيناريو بدلاً من ذلك:
result = await scenario.run()
result.print_report()
Groundedness هو حَكَم LLM — ثبّت إضافة موفّر (مثل pip install "giskard[openai]") واضبط مفتاح API المطابق. النموذج الافتراضي: openai/gpt-4o-mini.
راجع الوثائق الكاملة للاطلاع على Suites وLLMJudge وسيناريوهات متعددة الأدوار والمزيد.
pip install "giskard[scan]" # or: pip install giskard-scan
Giskard Scan هي طبقة الفحص الأمني الهجومي (red-teaming) وفحص الثغرات للأنظمة الوكيلية. تُولّد مجموعات اختبار خصومية تلقائيًا من وصف بلغة طبيعية لوكيلك، وتغطي حقن الأوامر (prompt injection)، والمحتوى الضار، والصور النمطية، والمعلومات المضللة، وغيرها.
استخدم Giskard Scan من أجل: