Promptfoo: تقييمات LLM والفريق الأحمر

promptfoo هو أداة سطر أوامر ومكتبة لتقييم واختبار التطبيقات القائمة على LLM من خلال الفريق الأحمر. توقف عن استخدام التجربة والخطأ... وابدأ في إطلاق وكلاء آمنين وموثوقين

الموقع الإلكتروني · البدء · الفريق الأحمر · التوثيق · Discord

أصبح Promptfoo الآن جزءًا من OpenAI. يظل Promptfoo مفتوح المصدر ومرخصًا بموجب MIT. اقرأ تحديث الشركة.

البدء السريع

npm install -g promptfoo
promptfoo init --example getting-started

متاح أيضًا عبر brew install promptfoo و pip install promptfoo. أو استخدم npx promptfoo@latest لتشغيل أي أمر دون تثبيت.

معظم مزودي LLM يتطلبون مفتاح API. قم بتعيين مفتاحك كمتغير بيئة:

export OPENAI_API_KEY=sk-abc123

قم بتشغيل تقييم وعرض النتائج:

cd getting-started
promptfoo eval
promptfoo view

راجع البدء (التقييمات) أو الفريق الأحمر (فحص الثغرات) للمزيد!

ماذا يمكنك أن تفعل باستخدام Promptfoo؟

• اختبر مطالباتك ونماذجك باستخدام التقييمات الآلية
• أمّن تطبيقات LLM الخاصة بك باستخدام الفريق الأحمر وفحص الثغرات
• قارن النماذج جنبًا إلى جنب (OpenAI، Anthropic، Azure، Bedrock، Ollama، والمزيد)
• أتمت الفحوصات في CI/CD
• راجع طلبات السحب للمشكلات المتعلقة بأمان وامتثال LLM باستخدام فحص الكود
• شارك النتائج مع فريقك

إليك كيف يبدو أثناء العمل:

يعمل على سطر الأوامر أيضًا:

يمكنه أيضًا إنشاء تقارير ثغرات الأمان:

لماذا Promptfoo؟

• موجه للمطورين: سريع، مع ميزات مثل إعادة التحميل المباشر والتخزين المؤقت
• خاص: تقييمات LLM تعمل محليًا بنسبة 100% - مطالباتك لا تغادر جهازك أبدًا
• مرن: يعمل مع أي واجهة برمجة تطبيقات LLM أو لغة برمجة
• مُختبر ميدانيًا: يشغّل تطبيقات LLM التي تخدم أكثر من 10 ملايين مستخدم في الإنتاج
• قائم على البيانات: اتخذ قرارات بناءً على المقاييس، وليس الحدس
• مفتوح المصدر: مرخص بموجب MIT، مع مجتمع نشط

تعلم المزيد

• البدء
• التوثيق الكامل
• دليل الفريق الأحمر
• استخدام سطر الأوامر
• حزمة Node.js
• النماذج المدعومة
• دليل فحص الكود

المساهمة

نرحب بمساهماتكم! راجع دليل المساهمة للبدء.

انضم إلى مجتمع Discord للحصول على المساعدة والمناقشة.