Promptfoo: LLM 평가 및 레드팀

promptfoo는 LLM 기반 앱을 평가하고 레드팀 테스트하기 위한 CLI 및 라이브러리입니다. 시행착오는 그만두고... 안전하고 신뢰할 수 있는 에이전트를 배포하세요

웹사이트 · 시작하기 · 레드팀 · 문서 · Discord

Promptfoo는 이제 OpenAI의 일부입니다. Promptfoo는 오픈 소스이자 MIT 라이선스로 유지됩니다. 회사 업데이트를 읽어보세요.

빠른 시작

npm install -g promptfoo
promptfoo init --example getting-started

brew install promptfoo 및 pip install promptfoo로도 사용할 수 있습니다. 또는 npx promptfoo@latest를 사용하면 설치 없이 모든 명령을 실행할 수 있습니다.

대부분의 LLM 제공업체는 API 키가 필요합니다. 환경 변수로 설정하세요:

export OPENAI_API_KEY=sk-abc123

평가를 실행하고 결과를 확인하세요:

cd getting-started
promptfoo eval
promptfoo view

더 알아보려면 시작하기(평가) 또는 레드팀(취약점 스캐닝)를 참고하세요!

Promptfoo로 무엇을 할 수 있나요?

• 자동화된 평가로 프롬프트와 모델을 테스트하세요
• 레드팀 및 취약점 스캐닝으로 LLM 앱을 보호하세요
• 모델을 나란히 비교하세요 (OpenAI, Anthropic, Azure, Bedrock, Ollama 및 더 많은 제공업체)
• CI/CD에서 검사를 자동화하세요
• 코드 스캐닝으로 LLM 관련 보안 및 규정 준수 문제에 대해 풀 리퀘스트를 검토하세요
• 팀과 결과를 공유하세요

실제 작동 모습은 다음과 같습니다:

명령줄에서도 작동합니다:

보안 취약점 보고서도 생성할 수 있습니다:

왜 Promptfoo인가요?

• 개발자 우선: 라이브 리로드와 캐싱 같은 기능으로 빠릅니다
• 프라이버시: LLM 평가는 100% 로컬에서 실행됩니다 - 프롬프트는 절대 여러분의 컴퓨터를 떠나지 않습니다
• 유연성: 모든 LLM API 또는 프로그래밍 언어와 작동합니다
• 검증됨: 프로덕션에서 1,000만 명 이상의 사용자에게 서비스를 제공하는 LLM 앱을 지원합니다
• 데이터 기반: 직감이 아닌 지표를 기반으로 결정을 내리세요
• 오픈 소스: MIT 라이선스, 활발한 커뮤니티와 함께

더 알아보기

• 시작하기
• 전체 문서
• 레드팀 가이드
• CLI 사용법
• Node.js 패키지
• 지원되는 모델
• 코드 스캐닝 가이드

기여하기

기여를 환영합니다! 시작하려면 기여 가이드를 확인하세요.

도움과 토론을 위해 Discord 커뮤니티에 참여하세요.