Promptfoo: تقييمات LLM واختبار الاختراق

promptfoo هو واجهة سطر أوامر ومكتبة لتقييم واختبار اختراق تطبيقات LLM. توقف عن أسلوب المحاولة والخطأ - ابدأ في تقديم تطبيقات ذكاء اصطناعي آمنة وموثوقة.

الموقع الإلكتروني · بدء الاستخدام · اختبار الاختراق · التوثيق · Discord

Promptfoo الآن جزء من OpenAI. يظل Promptfoo مفتوح المصدر ومرخصًا بموجب MIT. اقرأ تحديث الشركة.

بدء الاستخدام السريع

يتطلب Node.js ^20.20.0 أو >=22.22.0 لاستخدام npm و npx. دعم Node.js 20 ينتهي في 30 يوليو 2026 الساعة 00:00 UTC; قم بالترقية إلى Node.js 24 LTS قبل تحديث promptfoo في أو بعد تاريخ القطع.

npm install -g promptfoo
promptfoo init --example getting-started

متاح أيضًا عبر brew install promptfoo و pip install promptfoo. يمكنك أيضًا استخدام npx promptfoo@latest لتشغيل أي أمر بدون تثبيت.

تتطلب معظم مزودي LLM مفتاح API. قم بتعيينه كمتغير بيئة:

export OPENAI_API_KEY=sk-abc123

بمجرد دخولك إلى دليل المثال، قم بتشغيل تقييم وعرض النتائج:

cd getting-started
promptfoo eval
promptfoo view

راجع بدء الاستخدام (التقييمات) أو اختبار الاختراق (فحص الثغرات) للمزيد.

ماذا يمكنك أن تفعل باستخدام Promptfoo؟

• اختبر مطالباتك ونماذجك باستخدام التقييمات الآلية
• آمن تطبيقات LLM الخاصة بك باستخدام اختبار الاختراق وفحص الثغرات
• قارن النماذج جنبًا إلى جنب (OpenAI, Anthropic, Azure, Bedrock, Ollama و المزيد)
• أتمتة الفحوصات في CI/CD
• راجع طلبات السحب للمشكلات المتعلقة بالأمان والامتثال في LLM باستخدام فحص الكود
• شارك النتائج مع فريقك

إليك كيف يبدو أثناء العمل:

يعمل أيضًا على سطر الأوامر:

كما يمكنه إنشاء تقارير ثغرات أمنية:

لماذا Promptfoo؟

• يركز على المطور: سريع، مع ميزات مثل إعادة التحميل المباشر والتخزين المؤقت
• خاص: تقييمات LLM تعمل محليًا بنسبة 100% - مطالباتك لا تغادر جهازك أبدًا
• مرن: يعمل مع أي واجهة برمجة تطبيقات LLM أو لغة برمجة
• مُختبر في المعركة: يدعم تطبيقات LLM التي تخدم أكثر من 10 ملايين مستخدم في الإنتاج
• قائم على البيانات: اتخذ القرارات بناءً على المقاييس، وليس الشعور الداخلي
• مفتوح المصدر: مرخص بموجب MIT، مع مجتمع نشط

تعرف على المزيد

• بدء الاستخدام
• التوثيق الكامل
• دليل اختبار الاختراق
• استخدام CLI
• حزمة Node.js
• النماذج المدعومة
• دليل فحص الكود

المساهمة

نرحب بالمساهمات! اطلع على دليل المساهمة للبدء.

انضم إلى مجتمع Discord للمساعدة والنقاش.