Promptfoo: LLM मूल्यांकन और रेड टीमिंग

promptfoo एक CLI और लाइब्रेरी है LLM ऐप्स का मूल्यांकन और रेड-टीमिंग करने के लिए। परीक्षण-और-त्रुटि दृष्टिकोण को रोकें - सुरक्षित, विश्वसनीय AI ऐप्स शिप करना शुरू करें।

वेबसाइट · शुरू करना · रेड टीमिंग · दस्तावेज़ीकरण · डिस्कॉर्ड

Promptfoo अब OpenAI का हिस्सा है। Promptfoo ओपन सोर्स और MIT लाइसेंस प्राप्त है। कंपनी अपडेट पढ़ें।

त्वरित शुरुआत

npm और npx उपयोग के लिए Node.js ^20.20.0 या >=22.22.0 आवश्यक है। Node.js 20 समर्थन 30 जुलाई 2026, 00:00 UTC को समाप्त होता है; कटऑफ पर या उसके बाद promptfoo को अपडेट करने से पहले Node.js 24 LTS में अपग्रेड करें।

npm install -g promptfoo
promptfoo init --example getting-started

brew install promptfoo और pip install promptfoo के माध्यम से भी उपलब्ध है। आप बिना इंस्टॉल किए कोई भी कमांड चलाने के लिए npx promptfoo@latest का भी उपयोग कर सकते हैं।

अधिकांश LLM प्रदाताओं को एक API कुंजी की आवश्यकता होती है। अपनी API कुंजी को एक पर्यावरण चर के रूप में सेट करें:

export OPENAI_API_KEY=sk-abc123

एक बार जब आप उदाहरण निर्देशिका में हों, तो एक मूल्यांकन चलाएं और परिणाम देखें:

cd getting-started
promptfoo eval
promptfoo view

अधिक जानकारी के लिए शुरू करना (मूल्यांकन) या रेड टीमिंग (भेद्यता स्कैनिंग) देखें।

आप Promptfoo के साथ क्या कर सकते हैं?

• अपने प्रॉम्प्ट और मॉडल का परीक्षण करें स्वचालित मूल्यांकन के साथ
• अपने LLM ऐप्स को सुरक्षित करें रेड टीमिंग और भेद्यता स्कैनिंग के साथ
• मॉडल की तुलना करें साथ-साथ (OpenAI, Anthropic, Azure, Bedrock, Ollama, और अधिक)
• जांच को स्वचालित करें CI/CD में
• पुल अनुरोधों की समीक्षा करें कोड स्कैनिंग के साथ LLM से संबंधित सुरक्षा और अनुपालन मुद्दों के लिए
• परिणाम साझा करें अपनी टीम के साथ

यहां बताया गया है कि यह क्रियान्वयन में कैसा दिखता है:

यह कमांड लाइन पर भी काम करता है:

यह सुरक्षा भेद्यता रिपोर्ट भी उत्पन्न कर सकता है:

Promptfoo क्यों?

• डेवलपर-प्रथम: तेज, लाइव रीलोड और कैशिंग जैसी सुविधाओं के साथ
• निजी: LLM मूल्यांकन 100% स्थानीय रूप से चलते हैं - आपके प्रॉम्प्ट कभी आपकी मशीन नहीं छोड़ते
• लचीला: किसी भी LLM API या प्रोग्रामिंग भाषा के साथ काम करता है
• युद्ध-परीक्षण: उत्पादन में 10M+ उपयोगकर्ताओं की सेवा करने वाले LLM ऐप्स को शक्ति प्रदान करता है
• डेटा-संचालित: मेट्रिक्स के आधार पर निर्णय लें, अंतर्ज्ञान के नहीं
• ओपन सोर्स: MIT लाइसेंस प्राप्त, एक सक्रिय समुदाय के साथ

और जानें

• शुरू करना
• पूर्ण दस्तावेज़ीकरण
• रेड टीमिंग गाइड
• CLI उपयोग
• Node.js पैकेज
• समर्थित मॉडल
• कोड स्कैनिंग गाइड

योगदान देना

हम योगदान का स्वागत करते हैं! शुरू करने के लिए हमारी योगदान गाइड देखें।

सहायता और चर्चा के लिए हमारे डिस्कॉर्ड समुदाय में शामिल हों।