Promptfoo: оценка LLM и red teaming

promptfoo — это CLI и библиотека для оценки и red teaming приложений на основе LLM. Хватит действовать методом проб и ошибок... начните выпускать безопасных и надёжных агентов

Сайт · Начало работы · Red Teaming · Документация · Discord

Promptfoo теперь является частью OpenAI. Promptfoo остаётся открытым исходным кодом и распространяется по лицензии MIT. Читайте обновление компании.

Быстрый старт

npm install -g promptfoo
promptfoo init --example getting-started

Также доступно через brew install promptfoo и pip install promptfoo. Или используйте npx promptfoo@latest, чтобы запустить любую команду без установки.

Большинство провайдеров LLM требуют API-ключ. Задайте свой как переменную окружения:

export OPENAI_API_KEY=sk-abc123

Запустите eval и просмотрите результаты:

cd getting-started
promptfoo eval
promptfoo view

См. Начало работы (evals) или Red Teaming (сканирование уязвимостей), чтобы узнать больше!

Что можно делать с Promptfoo?

• Тестируйте свои промпты и модели с помощью автоматизированных оценок
• Защищайте свои LLM-приложения с помощью red teaming и сканирования уязвимостей
• Сравнивайте модели бок о бок (OpenAI, Anthropic, Azure, Bedrock, Ollama и другие)
• Автоматизируйте проверки в CI/CD
• Проверяйте pull request'ы на предмет проблем безопасности и соответствия требованиям, связанных с LLM, с помощью сканирования кода
• Делитесь результатами с вашей командой

Вот как это выглядит в действии:

Это также работает в командной строке:

Он также может генерировать отчёты об уязвимостях безопасности:

Почему Promptfoo?

• Ориентирован на разработчиков: быстрый, с такими возможностями, как live reload и кэширование
• Приватный: оценки LLM выполняются на 100% локально — ваши промпты никогда не покидают вашу машину
• Гибкий: работает с любым LLM API или языком программирования
• Проверен на практике: обеспечивает работу LLM-приложений, обслуживающих более 10 млн пользователей в продакшене
• Основан на данных: принимайте решения на основе метрик, а не интуиции
• Открытый исходный код: лицензия MIT, активное сообщество

Узнать больше

• Начало работы
• Полная документация
• Руководство по Red Teaming
• Использование CLI
• Пакет Node.js
• Поддерживаемые модели
• Руководство по сканированию кода

Участие в разработке

Мы приветствуем вклад! Ознакомьтесь с нашим руководством по участию, чтобы начать.

Присоединяйтесь к нашему сообществу в Discord для получения помощи и обсуждений.