Promptfoo: оценка LLM и red teaming

promptfoo — это CLI и библиотека для оценки и red teaming LLM-приложений. Прекратите метод проб и ошибок — начинайте создавать безопасные и надёжные AI-приложения.

Веб-сайт · Начало работы · Red Teaming · Документация · Discord

Promptfoo теперь часть OpenAI. Promptfoo остаётся open source и лицензирован по MIT. Читайте обновление компании.

Быстрый старт

Требуется Node.js ^20.20.0 или >=22.22.0 для использования npm и npx. Поддержка Node.js 20 заканчивается 30 июля 2026 года в 00:00 UTC; обновитесь до Node.js 24 LTS перед обновлением promptfoo после этой даты.

npm install -g promptfoo
promptfoo init --example getting-started

Также доступен через brew install promptfoo и pip install promptfoo. Вы также можете использовать npx promptfoo@latest для запуска любой команды без установки.

Большинство LLM-провайдеров требуют API-ключ. Установите его как переменную окружения:

export OPENAI_API_KEY=sk-abc123

После того как вы окажетесь в каталоге примера, запустите оценку и просмотрите результаты:

cd getting-started
promptfoo eval
promptfoo view

Смотрите разделы Начало работы (оценка) или Red Teaming (сканирование уязвимостей) для получения дополнительной информации.

Что можно делать с Promptfoo?

• Тестировать свои промпты и модели с помощью автоматизированных оценок
• Защищать свои LLM-приложения с помощью red teaming и сканирования уязвимостей
• Сравнивать модели бок о бок (OpenAI, Anthropic, Azure, Bedrock, Ollama и другие)
• Автоматизировать проверки в CI/CD
• Просматривать pull request'ы на предмет проблем безопасности и соответствия, связанных с LLM, с помощью сканирования кода
• Делиться результатами с командой

Вот как это выглядит в действии:

Также работает в командной строке:

Кроме того, может генерировать отчёты об уязвимостях безопасности:

Почему Promptfoo?

• Ориентирован на разработчиков: Быстрый, с функциями вроде live reload и кэширования
• Конфиденциальность: Оценка LLM выполняется полностью локально — ваши промпты никогда не покидают вашу машину
• Гибкость: Работает с любым LLM API или языком программирования
• Проверен в бою: Питает LLM-приложения, обслуживающие 10M+ пользователей в production
• Основан на данных: Принимайте решения на основе метрик, а не интуиции
• Open source: Лицензия MIT, активное сообщество

Узнать больше

• Начало работы
• Полная документация
• Руководство по Red Teaming
• Использование CLI
• Пакет Node.js
• Поддерживаемые модели
• Руководство по сканированию кода

Участие в разработке

Мы приветствуем любой вклад! Ознакомьтесь с руководством по участию, чтобы начать.

Присоединяйтесь к нашему сообществу в Discord для помощи и обсуждений.