Promptfoo: оценка LLM и red teaming

promptfoo — это CLI и библиотека для оценки и red teaming приложений на основе LLM. Хватит действовать методом проб и ошибок... начните выпускать безопасных и надёжных агентов

Сайт · Начало работы · Red Teaming · Документация · Discord

Promptfoo теперь является частью OpenAI. Promptfoo остаётся открытым исходным кодом под лицензией MIT. Читайте обновление компании.

Быстрый старт

npm install -g promptfoo
promptfoo init --example getting-started

Также доступно через brew install promptfoo и pip install promptfoo. Или используйте npx promptfoo@latest, чтобы запустить любую команду без установки.

Большинство провайдеров LLM требуют API-ключ. Задайте свой как переменную окружения:

export OPENAI_API_KEY=sk-abc123

Запустите оценку и просмотрите результаты:

cd getting-started
promptfoo eval
promptfoo view

См. Начало работы (оценки) или Red Teaming (сканирование уязвимостей), чтобы узнать больше!

Что можно делать с Promptfoo?

• Тестировать свои промпты и модели с помощью автоматизированных оценок
• Защищать свои LLM-приложения с помощью red teaming и сканирования уязвимостей
• Сравнивать модели бок о бок (OpenAI, Anthropic, Azure, Bedrock, Ollama и другие)
• Автоматизировать проверки в CI/CD
• Проверять pull request'ы на предмет проблем безопасности и соответствия требованиям, связанных с LLM, с помощью сканирования кода
• Делиться результатами с командой

Вот как это выглядит в действии:

Это также работает в командной строке:

Он также может генерировать отчёты об уязвимостях безопасности:

Почему Promptfoo?

• Ориентация на разработчика: Быстрый, с такими возможностями, как live reload и кэширование
• Приватность: Оценки LLM выполняются на 100% локально — ваши промпты никогда не покидают вашу машину
• Гибкость: Работает с любым API LLM или языком программирования
• Проверено на практике: Обеспечивает работу LLM-приложений, обслуживающих более 10 млн пользователей в продакшене
• На основе данных: Принимайте решения на основе метрик, а не интуиции
• Открытый исходный код: Лицензия MIT, активное сообщество

Узнать больше

• Начало работы
• Полная документация
• Руководство по Red Teaming
• Использование CLI
• Пакет Node.js
• Поддерживаемые модели
• Руководство по сканированию кода

Участие в разработке

Мы приветствуем вклад! Ознакомьтесь с нашим руководством по участию, чтобы начать.

Присоединяйтесь к нашему сообществу в Discord для помощи и обсуждений.