Promptfoo: LLM 평가 및 레드 팀 구성

promptfoo는 LLM 기반 앱을 평가하고 레드 팀을 구성하기 위한 CLI 및 라이브러리입니다. 시행착오는 그만두고... 안전하고 신뢰할 수 있는 에이전트를 배포하세요

웹사이트 · 시작하기 · 레드 팀 구성 · 문서 · Discord

Promptfoo는 이제 OpenAI의 일부가 되었습니다. Promptfoo는 오픈 소스로 유지되며 MIT 라이선스를 따릅니다. 회사 소식을 읽어보세요.

빠른 시작

npm install -g promptfoo
promptfoo init --example getting-started

brew install promptfoo와 pip install promptfoo를 통해서도 사용할 수 있습니다. 또는 npx promptfoo@latest를 사용하여 설치 없이 모든 명령을 실행할 수 있습니다.

대부분의 LLM 제공자는 API 키를 필요로 합니다. 환경 변수로 설정하세요:

export OPENAI_API_KEY=sk-abc123

평가를 실행하고 결과를 확인합니다:

cd getting-started
promptfoo eval
promptfoo view

자세한 내용은 시작하기(평가) 또는 레드 팀(취약점 스캐닝)를 참고하세요!

Promptfoo로 무엇을 할 수 있나요?

• 자동화된 평가로 프롬프트와 모델 테스트
• 레드 팀 및 취약점 스캐닝으로 LLM 앱 보안 강화
• 모델 비교 나란히 비교 (OpenAI, Anthropic, Azure, Bedrock, Ollama 및 더 많은 제공자)
• CI/CD에서 검사 자동화
• 코드 스캐닝으로 LLM 관련 보안 및 규정 준수 문제에 대한 풀 리퀘스트 검토
• 팀과 결과 공유

실제 동작 모습은 다음과 같습니다:

명령줄에서도 작동합니다:

보안 취약점 보고서도 생성할 수 있습니다:

Promptfoo를 선택하는 이유

• 개발자 우선: 라이브 리로드와 캐싱 같은 기능으로 빠르게 동작
• 프라이버시: LLM 평가가 100% 로컬에서 실행되므로 프롬프트가 절대 외부로 나가지 않음
• 유연성: 모든 LLM API 또는 프로그래밍 언어와 호환
• 검증된 안정성: 프로덕션에서 1,000만 명 이상의 사용자에게 서비스하는 LLM 앱을 지원
• 데이터 기반: 직감이 아닌 지표를 기반으로 의사 결정
• 오픈 소스: MIT 라이선스, 활발한 커뮤니티

더 알아보기

• 시작하기
• 전체 문서
• 레드 팀 가이드
• CLI 사용법
• Node.js 패키지
• 지원 모델
• 코드 스캐닝 가이드

기여하기

기여를 환영합니다! 시작하려면 기여 가이드를 확인하세요.

도움과 토론을 위해 Discord 커뮤니티에 참여하세요.