Promptfoo: LLM मूल्यांकन और रेड टीमिंग

promptfoo LLM-आधारित ऐप्स के मूल्यांकन और रेड-टीमिंग के लिए एक CLI और लाइब्रेरी है। परीक्षण-और-त्रुटि का उपयोग करना बंद करें... सुरक्षित, विश्वसनीय एजेंट शिप करना शुरू करें

वेबसाइट · शुरुआत करें · रेड टीमिंग · दस्तावेज़ीकरण · Discord

Promptfoo अब OpenAI का हिस्सा है। Promptfoo ओपन सोर्स और MIT लाइसेंस के अंतर्गत बना हुआ है। कंपनी अपडेट पढ़ें।

त्वरित शुरुआत

npm install -g promptfoo
promptfoo init --example getting-started

brew install promptfoo और pip install promptfoo के माध्यम से भी उपलब्ध है। या किसी भी कमांड को बिना इंस्टॉल किए चलाने के लिए npx promptfoo@latest का उपयोग करें।

अधिकांश LLM प्रदाताओं के लिए API key आवश्यक है। अपनी key को एक environment variable के रूप में सेट करें:

export OPENAI_API_KEY=sk-abc123

एक eval चलाएँ और परिणाम देखें:

cd getting-started
promptfoo eval
promptfoo view

अधिक जानकारी के लिए Getting Started (evals) या Red Teaming (vulnerability scanning) देखें!

Promptfoo के साथ आप क्या कर सकते हैं?

• स्वचालित मूल्यांकन के साथ अपने prompts और मॉडल का परीक्षण करें
• red teaming और vulnerability scanning के साथ अपने LLM ऐप्स को सुरक्षित करें
• मॉडलों की तुलना करें साथ-साथ (OpenAI, Anthropic, Azure, Bedrock, Ollama, और अधिक)
• CI/CD में जाँचों को स्वचालित करें
• code scanning के साथ LLM-संबंधित सुरक्षा और अनुपालन समस्याओं के लिए pull requests की समीक्षा करें
• अपनी टीम के साथ परिणाम साझा करें

यह क्रिया में ऐसा दिखता है:

यह कमांड लाइन पर भी काम करता है:

यह सुरक्षा भेद्यता रिपोर्ट भी उत्पन्न कर सकता है:

Promptfoo क्यों?

• Developer-first: तेज़, live reload और caching जैसी सुविधाओं के साथ
• निजी: LLM evals 100% स्थानीय रूप से चलते हैं - आपके prompts कभी आपकी मशीन नहीं छोड़ते
• लचीला: किसी भी LLM API या प्रोग्रामिंग भाषा के साथ काम करता है
• Battle-tested: उत्पादन में 10M+ उपयोगकर्ताओं को सेवा देने वाले LLM ऐप्स को शक्ति प्रदान करता है
• Data-driven: अंतर्ज्ञान के बजाय मेट्रिक्स के आधार पर निर्णय लें
• ओपन सोर्स: MIT लाइसेंस प्राप्त, एक सक्रिय समुदाय के साथ

और जानें

• Getting Started
• पूर्ण दस्तावेज़ीकरण
• Red Teaming गाइड
• CLI उपयोग
• Node.js पैकेज
• समर्थित मॉडल
• Code Scanning गाइड

योगदान

हम योगदान का स्वागत करते हैं! शुरू करने के लिए हमारी contributing guide देखें।

सहायता और चर्चा के लिए हमारे Discord समुदाय से जुड़ें।