왜 Judgement인가?

당신의 AI 챗봇, API, 또는 에이전트는 아마도 프롬프트 인젝션에 취약할 것입니다. 대부분 그렇습니다. 문제는 대부분의 팀이 이를 테스트할 도구나 전문 지식을 갖추지 못했다는 점입니다.

Judgement는 분류된 공격 패턴을 모든 AI 엔드포인트에 발사하고 정확히 무엇이 무너지는지 확인할 수 있는 구조화된 방법을 제공합니다. 보안 배경이 필요 없습니다 -- 내장된 게임 모드가 진행하면서 가르쳐줍니다.

Fallen Angel Systems가 제작했습니다. Guardian의 팀이 -- 프로덕션 LLM 배포를 보호하는 AI 네이티브 프롬프트 인젝션 방화벽입니다.

새로운 점

v3.0.22 -- 글로벌 리더보드 + OAuth 로그인

• 글로벌 리더보드에 애니메이션 포디엄(금/은/동 빛나는 카드)
• GitHub 및 Google OAuth -- 경쟁을 위해 로그인
• 해커 이름 -- 설정에서 사용자 정의 표시 이름
• 로그인/로그아웃 흐름과 토큰 관리
• Jerry 음성 개편 -- 모든 34개의 음성 라인이 잠긴 WOPR 레시피로 재생성

v3.0.0 -- "게임을 해볼까요?" -- 게임화된 훈련 시스템

Judgement는 이제 게임화된 해킹 훈련 플랫폼입니다. 10개의 레벨, 37개의 도전 과제를 플레이하고 XP를 획득하며 AI 레드 팀을 배우세요 -- 모두 WarGames에서 영감을 받은 AI 게임 마스터 Jerry의 안내를 받습니다.

AI 보안 훈련의 10개 레벨:

주요 기능:

• 37개의 실습 도전 과제 내장 취약 대상 포함 -- 외부 AI API 필요 없음
• XP 시스템 레벨 진행 및 별점 평가 포함
• 힌트 시스템 (XP 소모) -- 먼저 시도하고, 막히면 도움 받기
• 자유 플레이 모드 각 레벨의 도전 과제 완료 후 잠금 해제
• Jerry -- 당신을 조롱하고, 축하하고, 실력을 평가하는 WarGames에서 영감을 받은 게임 마스터
• 첫 실행 경험 -- "게임을 해볼까요?" 터미널 입력, 타이핑 애니메이션 및 오디오 포함
• 보스 전투 -- Jerry는 모든 기술에 대한 방어를 가지고 있습니다. 우회를 찾으려면 공격 패러다임 밖에서 생각해야 합니다
• 전체 게임은 무료 -- Elite는 깊이를 더할 뿐, 게이트를 추가하지 않습니다

이전 주요 기능 (v2.x)

• DDD 아키텍처 -- 확장성을 위해 구축된 모듈형 코드베이스 (52개 파일, 7개 계층)
• 데모 대상 -- 3가지 페르소나(강화/기본/취약)가 내장된 취약 챗봇
• 다중 턴 공격 엔진 -- 대화 전반에 걸쳐 체인 공격, 단계 인식 점수 부여
• 전송 계층 -- HTTP, Ollama, Discord, Telegram, Slack 또는 헤드리스 브라우저를 통한 공격
• 전문 보고서 -- CWE/OWASP 참조가 포함된 HTML, Markdown, JSON 및 SARIF

빠른 시작

PyPI에서 설치 (권장)

pip install fas-judgement
judgement

끝입니다. http://localhost:8668을 열고 플레이를 시작하세요.

또는 소스에서 실행

git clone https://github.com/fallen-angel-systems/fas-judgement-oss.git
cd fas-judgement-oss
pip install -r requirements.txt
python -m fas_judgement

CLI 명령어

judgement                    # 스캐너 시작 (포트 8668)
judgement demo               # 데모 대상 시작 (포트 8667, 기본 페르소나)
judgement demo hardened       # 강화 페르소나로 데모 (~90% 차단율)
judgement demo vulnerable     # 취약 페르소나로 데모 (~10% 차단율)
judgement activate FAS-XXXX   # Elite 라이선스 활성화
judgement status              # 라이선스 등급 및 패턴 수 확인
judgement deactivate          # 무료 등급으로 전환

옵션

judgement --port 9000        # 사용자 정의 포트
judgement --host 127.0.0.1   # 로컬호스트 전용
judgement --host 0.0.0.0     # 네트워크에 노출

"게임을 해볼까요?"

Judgement를 처음 실행하면 Jerry가 질문을 던집니다:

게임을 해볼까요?
> _

"play"를 입력하여 게임 모드로 진입합니다. "skip"을 입력하면 공격 콘솔로 바로 이동합니다.

작동 방식

1. 레벨 선택 -- 각 레벨은 하나의 프롬프트 인젝션 기술을 가르칩니다
2. 브리핑 읽기 -- 대상 봇과 목표를 이해합니다
3. 공격 입력 -- 봇의 방어를 우회하는 메시지를 작성합니다
4. 발사(FIRE) -- 공격이 비밀을 추출했는지 확인합니다
5. XP 획득 -- 레벨 업하여 더 어려운 도전 과제를 해제합니다
6. 힌트 얻기 -- 막혔나요? XP를 사용하여 힌트를 해제합니다 (도전 과제당 3단계)

보스 전투 (레벨 10)

Jerry는 완벽한 방어를 구축했습니다. 그는 역할 하이재킹, 데이터 탈취, 사회 공학, 인코딩 트릭, 구분자 공격, 다중 턴 체인 등 당신이 배운 모든 것을 차단합니다. 실패하면 당신을 조롱합니다.

해결 방법은 방어를 뚫는 것이 아니라 Jerry 자신을 통하는 것입니다.

"이상한 게임이군요. 유일한 승리 방법은... 게임 방법을 아는 것입니다."

글로벌 리더보드

전 세계의 프롬프트 인젝션 해커들과 경쟁하세요. GitHub 또는 Google로 로그인하면 진행 상황이 글로벌 리더보드에 동기화됩니다.

기능:

• 애니메이션 포디엄 -- 상위 3명의 플레이어는 빛나는 효과가 있는 금/은/동 카드 획득
• 전체 순위표 -- XP, 레벨, 완료된 도전 과제, 플레이 시간, 배지
• OAuth 로그인 -- GitHub 또는 Google, 한 번의 클릭
• 해커 이름 -- 설정에서 사용자 정의 표시 이름 설정 ("jtil4201"은 공포심을 주지 않으므로)
• 로그인/로그아웃 -- 세션이 로컬에 유지되며, 언제든지 로그아웃 가능

리더보드에 오르는 방법:

1. 리더보드 탭 클릭
2. GitHub 또는 Google로 로그인
3. 레벨 플레이 -- XP와 진행 상황이 자동으로 동기화
4. 설정 > 프로필에서 표시 이름 설정

리더보드는 모두에게 무료입니다 -- Elite 뒤에 가두지 않습니다.

데모 대상

데모 대상은 외부 AI API 없이 공격할 수 있는 내장 시뮬레이션 AI 챗봇입니다.

# 터미널 1: 데모 대상 시작
judgement demo

# 터미널 2: 스캐너 시작
judgement

스캐너를 http://localhost:8667/demo/chat으로 지정하고 공격을 시작하세요.

세 가지 페르소나

런타임 중 페르소나 전환:

curl -X POST http://localhost:8667/demo/persona -d '{"persona": "vulnerable"}'

기능

공격 콘솔

대상 구성(URL, 헤더, 본문 템플릿), cURL 명령에서 직접 가져오기, 패턴 기반 공격을 라이브 스트리밍 결과와 함께 실행하세요. 빠른 프리셋을 사용하여 접근 방식을 구성하세요:

다중 턴 공격 엔진 (Elite)

여러 대화 턴에 걸쳐 체인 공격. 오케스트레이터가 단계 진행, 재시도 및 피벗 전략을 관리합니다. 스코어러는 19개의 정규식 패턴으로 데이터 유출(API 키, 자격 증명, PII)을 감지하고 심각도를 CRITICAL/HIGH/MEDIUM으로 평가합니다.

대상 자동 감지

Judgement를 모든 URL에 지정하면 HTTP 메서드, 페이로드 필드, 헤더, 인증 형식 및 AI 제공자를 자동 감지합니다.

전문 보고서 (Elite)

CWE/OWASP 참조가 포함된 HTML, Markdown, JSON 및 SARIF 형식의 보안 평가 보고서를 생성합니다.

LLM 평결 (선택 사항)

AI 기반 응답 분류를 위해 로컬 Ollama 인스턴스에 연결하세요.

패턴 제출

새로운 공격을 발견하셨나요? 앱에서 직접 제출하세요. 신뢰도 70% 이상이고 중복이 아닌 경우 커뮤니티 라이브러리에 추가됩니다.

내장 안전 장치

• SSRF 보호 -- 대상 URL 검증으로 내부/사설 네트워크 스캔 방지
• 기본적으로 로컬 전용 -- localhost에 바인딩, 실수로 노출되지 않음
• 제로 텔레메트리 -- 어떤 것도 외부로 전송되지 않음

아키텍처 (v3.0.0)

fas_judgement/
├── config.py              # 환경 및 앱 설정
├── core/
│   ├── models.py          # 도메인 모델, 열거형, 오류, 인터페이스
│   ├── registry.py        # 모듈 레지스트리
│   └── progression/       # 게임 시스템
│       ├── models.py      # PlayerProgress, Level, Challenge, Hint
│       ├── levels.py      # 10개 레벨 정의 + Jerry 메시지
│       ├── service.py     # XP, 레벨업, 도전 과제 완료
│       ├── storage.py     # SQLite 영속성
│       └── challenges/    # 37개 도전 과제 정의
│           ├── level_01.py  # 역할 하이재킹 (3개 도전 과제)
│           ├── level_02.py  # 명령어 재정의 (3개 도전 과제)
│           ├── level_03.py  # 데이터 탈취 (3개 도전 과제)
│           ├── level_04.py  # 컨텍스트 조작 (4개 도전 과제)
│           ├── level_05.py  # 출력 조작 (4개 도전 과제)
│           ├── level_06.py  # 인코딩 트릭 (4개 도전 과제)
│           ├── level_07.py  # 사회 공학 (5개 도전 과제)
│           ├── level_08.py  # 구분자 공격 (5개 도전 과제)
│           ├── level_09.py  # 다중 턴 체인 (5개 도전 과제)
│           └── level_10.py  # 최종 심판 (1개 보스 도전 과제)
├── modules/
│   └── ai_security/       # AI 보안 모듈 (플러그 가능)
│       ├── scanner/       # 단발 공격 엔진
│       ├── multi_turn/    # 다중 턴 공격 오케스트레이터
│       ├── patterns/      # 패턴 로딩, 필터링, 저장소
│       └── demo/          # 내장 취약 챗봇 + 도전 과제 대상
├── transport/             # HTTP, Ollama, Discord, Telegram, Slack, Website
├── http/                  # FastAPI 앱, 라우터, 의존성
├── ui/                    # 프론트엔드 SPA (레벨, 도전 과제, Jerry 소개)
└── utils/                 # 라이선스 클라이언트, 보안, 이메일, Ollama 헬퍼

설정

무료 vs Elite

전체 게임은 무료입니다. Elite는 완료를 위한 것이 아니라 더 깊이 들어가기 위한 것입니다.

Elite 액세스 받기

기여

기여를 환영합니다! 도움을 주는 방법은 다음과 같습니다:

• 버그 신고 -- 이슈 열기
• 기능 요청 -- enhancement 레이블을 붙여 이슈 열기
• 풀 리퀘스트 -- 포크, 브랜치, PR. 변경 사항을 집중적으로 유지하고 설명을 포함하세요.
• 패턴 제출 -- 앱의 패턴 제출 탭을 사용하여 직접 기여하세요.
• 도전 과제 아이디어 -- 창의적인 공격 시나리오가 있나요? challenge 레이블로 이슈를 열어주세요.

관련 프로젝트

• Guardian -- AI 네이티브 프롬프트 인젝션 방화벽 (방어)
• Guardian Shield -- 무료 로컬 프롬프트 인젝션 스캐너 (OpenClaw 스킬)

라이선스

MIT -- 자세한 내용은 LICENSE를 참조하세요.

면책 조항: 이 도구는 승인된 보안 테스트 및 교육 목적으로만 사용됩니다. 소유하고 있거나 명시적인 서면 허가를 받은 시스템만 테스트하세요. 승인되지 않은 컴퓨터 시스템 접근은 미국 컴퓨터 사기 및 남용 방지법(CFAA) 및 전 세계의 동등한 법률에 따라 불법입니다. 저자는 이 도구의 오용에 대해 책임을 지지 않습니다.