Promptfoo: LLM 평가 및 레드 팀

promptfoo는 LLM 앱을 평가하고 레드 팀을 수행하기 위한 CLI 및 라이브러리입니다. 시행착오 방식을 멈추고 안전하고 신뢰할 수 있는 AI 앱을 배포하세요.

웹사이트 · 시작하기 · 레드 팀 · 문서 · Discord

Promptfoo는 이제 OpenAI의 일부입니다. Promptfoo는 여전히 오픈 소스이며 MIT 라이선스입니다. 회사 업데이트를 읽어보세요.

빠른 시작

Node.js ^20.20.0 또는 >=22.22.0이 필요합니다 (npm 및 npx 사용 시). Node.js 20 지원은 2026년 7월 30일 00:00 UTC에 종료됩니다; 해당 시점 이후 promptfoo를 업데이트하기 전에 Node.js 24 LTS로 업그레이드하세요.

npm install -g promptfoo
promptfoo init --example getting-started

brew install promptfoo 및 pip install promptfoo로도 사용할 수 있습니다. npx promptfoo@latest를 사용하여 설치 없이 모든 명령어를 실행할 수도 있습니다.

대부분의 LLM 제공자는 API 키가 필요합니다. 환경 변수로 설정하세요:

export OPENAI_API_KEY=sk-abc123

예제 디렉토리로 이동한 후, 평가를 실행하고 결과를 확인하세요:

cd getting-started
promptfoo eval
promptfoo view

자세한 내용은 시작하기 (평가) 또는 레드 팀 (취약점 스캔)을 참조하세요.

Promptfoo로 무엇을 할 수 있나요?

• 프롬프트와 모델 테스트: 자동 평가 사용
• LLM 앱 보안: 레드 팀 및 취약점 스캔 사용
• 모델 비교: 나란히 비교 (OpenAI, Anthropic, Azure, Bedrock, Ollama 등 더보기)
• CI/CD에서 자동화 검사: CI/CD에서
• 풀 리퀘스트 검토: 코드 스캔으로 LLM 관련 보안 및 규정 준수 이슈 검토
• 결과 공유: 팀과 공유

실제 작동 모습은 다음과 같습니다:

명령줄에서도 작동합니다:

또한 보안 취약점 보고서를 생성할 수 있습니다:

Promptfoo를 선택해야 하는 이유?

• 개발자 중심: 빠르며, 라이브 리로드 및 캐싱과 같은 기능 제공
• 프라이빗: LLM 평가는 100% 로컬에서 실행되며 프롬프트가 머신을 떠나지 않음
• 유연함: 모든 LLM API 또는 프로그래밍 언어와 호환
• 실전 검증: 프로덕션에서 1,000만 명 이상의 사용자를 지원하는 LLM 앱 구동
• 데이터 기반: 직감이 아닌 메트릭 기반 의사 결정
• 오픈 소스: MIT 라이선스, 활발한 커뮤니티

더 알아보기

• 시작하기
• 전체 문서
• 레드 팀 가이드
• CLI 사용법
• Node.js 패키지
• 지원 모델
• 코드 스캔 가이드

기여하기

기여를 환영합니다! 기여 가이드를 확인하여 시작하세요.

도움과 토론을 위해 Discord 커뮤니티에 가입하세요.