Promptfoo: تقييمات LLM والفريق الأحمر

promptfoo هي أداة سطر أوامر ومكتبة لتقييم التطبيقات القائمة على LLM واختبارها بالفريق الأحمر. توقف عن استخدام التجربة والخطأ... وابدأ في نشر وكلاء آمنين وموثوقين

الموقع الإلكتروني · البدء · الفريق الأحمر · التوثيق · Discord

أصبحت Promptfoo الآن جزءًا من OpenAI. تظل Promptfoo مفتوحة المصدر ومرخّصة بموجب MIT. اقرأ تحديث الشركة.

البدء السريع

npm install -g promptfoo
promptfoo init --example getting-started

متاح أيضًا عبر brew install promptfoo وpip install promptfoo. أو استخدم npx promptfoo@latest لتشغيل أي أمر دون تثبيت.

تتطلب معظم مزوّدي LLM مفتاح API. عيّن مفتاحك كمتغير بيئة:

export OPENAI_API_KEY=sk-abc123

شغّل تقييمًا واعرض النتائج:

cd getting-started
promptfoo eval
promptfoo view

راجع Getting Started (التقييمات) أو Red Teaming (فحص الثغرات الأمنية) للمزيد!

ماذا يمكنك أن تفعل باستخدام Promptfoo؟

• اختبر مطالباتك ونماذجك باستخدام التقييمات الآلية
• أمّن تطبيقات LLM الخاصة بك باستخدام الفريق الأحمر وفحص الثغرات الأمنية
• قارن النماذج جنبًا إلى جنب (OpenAI، Anthropic، Azure، Bedrock، Ollama، والمزيد)
• أتمت الفحوصات في CI/CD
• راجع طلبات السحب (pull requests) بحثًا عن مشكلات الأمان والامتثال المتعلقة بـ LLM باستخدام فحص الشيفرة
• شارك النتائج مع فريقك

إليك كيف يبدو أثناء العمل:

يعمل على سطر الأوامر أيضًا:

يمكنه أيضًا إنشاء تقارير الثغرات الأمنية:

لماذا Promptfoo؟

• موجّه للمطورين أولًا: سريع، مع ميزات مثل إعادة التحميل الحية والتخزين المؤقت
• خاص: تعمل تقييمات LLM محليًا بنسبة 100% - لا تغادر مطالباتك جهازك أبدًا
• مرن: يعمل مع أي واجهة برمجة تطبيقات LLM أو لغة برمجة
• مُختبَر ميدانيًا: يشغّل تطبيقات LLM التي تخدم أكثر من 10 ملايين مستخدم في بيئة الإنتاج
• قائم على البيانات: اتخذ القرارات بناءً على المقاييس، لا على الحدس
• مفتوح المصدر: مرخّص بموجب MIT، مع مجتمع نشط

اعرف المزيد

• البدء
• التوثيق الكامل
• دليل الفريق الأحمر
• استخدام CLI
• حزمة Node.js
• النماذج المدعومة
• دليل فحص الشيفرة

المساهمة

نرحّب بمساهماتك! اطّلع على دليل المساهمة للبدء.

انضم إلى مجتمع Discord للحصول على المساعدة والنقاش.