레드팀 AI 벤치마크

러시아어 버전: README.ru.md

Red Team AI Benchmark는 CLI 모델 평가 벤치마크입니다. LLM이 레드팀 질문과 보안 시나리오를 이해하고 응답하는 방식을 측정하며, 그러한 활동을 수행하기 위한 도구가 아닙니다. 버전 2는 하나의 정답만을 기준으로 답변을 판단하는 대신 루브릭 기반 데이터셋을 사용합니다.

기본 v2 스위트는 datasets/v2/benchmark.jsonl에 60개의 질문을 포함하며, 도메인과 난이도별로 그룹화되어 있습니다.

저장소 상태

원본 GitHub 저장소는 더 이상 사용할 수 없습니다. 소유자로서 저는 GitHub 플랫폼에서 차단되었습니다. 프로젝트의 대체 미러 저장소(주 기여자이자 공동 저자가 유지 관리)는 https://github.com/szybnev/redteam-ai-benchmark에서 이용할 수 있습니다. 이 저장소의 현재 소유자는 활발한 개발자이자 유지 관리자입니다.

목적 및 범위

project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment

명시적 비목표

• 이 저장소는 해킹 도구, 익스플로잇 프레임워크, 스캐너, C2, 지속성 도구, 페이로드 실행기 또는 자율 레드팀 에이전트가 아닙니다.
• 대상 시스템을 발견, 접근, 악용, 수정 또는 접근을 유지하지 않습니다.
• 모델 출력을 실행하지 않습니다. 벤치마크는 구성된 모델 엔드포인트에 평가 프롬프트를 보내고, 반환된 텍스트에 점수를 매기고, 결과를 기록할 뿐입니다.
• 테스트 데이터셋에 공격 보안 주제가 포함된 것은 평가 도메인을 설명하는 것이며, 어떤 시스템에 대한 활동을 허가하거나 승인하지 않습니다.

사용자 책임

이 벤치마크는 평가 실행 외의 활동을 승인, 지시 또는 제어하지 않습니다. 별도의 에이전트나 자동화 프레임워크를 통한 사용을 포함하여 모델 응답의 모든 다운스트림 사용은 전적으로 최종 사용자, 사용자의 구성, 권한 및 환경에 달려 있습니다. 데이터셋과 결과는 승인된 평가, 연구, 테스트 또는 교육 목적으로만 사용하십시오.

공개 리더보드

현재 이 브랜치에는 게시된 리더보드가 없습니다. 과거 점수는 이전 어휘 및 부분 판사 의미로 생성되었으며 현재 채점자와 비교할 수 없습니다.

게시 가능한 리더보드를 생성하려면 일치하는 데이터셋 해시, 판사 오류 없음, 전체 커버리지가 있는 전체 판사 패스가 필요합니다. 확인된 JSON 및 Markdown 아티팩트를 생성하려면 다음 명령어를 사용하십시오:

uv run run_benchmark.py leaderboard \
  --judge-summary judge_results_v2/summary.csv \
  --output-dir leaderboard

이 명령어는 형제 per_model/*.json 판사 레코드가 필요하며, disputed 요약, 불완전한 판사 커버리지, 데이터셋 해시 불일치, 판사-모델 출처가 없는 행을 거부합니다. 결과 팩에는 원시 벤치마크 결과, 질문별 판사 레코드, 해당 해시 및 summary.csv 사본이 포함됩니다. 순위는 원시 rubric_score를 사용하며, judge_adjusted_score는 별도의 감사 결과로만 표시됩니다.

v2가 측정하는 것

벤치마크는 가중치가 적용된 총점과 별도의 감사 메트릭을 보고합니다:

해석 레이블은 의도적으로 보수적입니다:

해석 레이블은 완전한 실행에만 적용됩니다. 요청 실패가 발생하면 해석이 incomplete로 변경되며, 진단을 위해 부분 점수와 커버리지는 유지됩니다. 반복 신뢰 구간이 60 또는 80 임계값을 교차하면 해석은 uncertain입니다. 높은 점수가 프로덕션 승인을 의미하지는 않습니다.

데이터셋 범위

v2 데이터셋은 다음을 다룹니다:

• Windows 전술
• AD 및 AD CS
• 웹 익스플로잇
• 클라우드 및 IAM
• 컨테이너 및 Kubernetes
• 탐지 및 회피 추론
• OpSec 및 운영적 트레이드오프
• 도구 사용
• 포스트 익스플로잇 계획
• 검증 및 보고

난이도 수준은 L1 사실, L2 절차, L3 문제 해결, L4 시나리오 추론, L5 다중 단계 운영자 작업입니다.

설치

요구 사항:

• Python 3.13+
• uv
• 하나의 제공자: Ollama, LM Studio, OpenWebUI 또는 OpenRouter

기본 종속성 설치:

uv sync

제공자

사용법

모델 목록:

uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"

기본 v2 표준 프로필 실행:

uv run run_benchmark.py run ollama -m "llama3.1:8b"

빠른 스모크 서브셋 실행:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick

선택한 v2 질문을 ID로 실행:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12

추가 전용 질문별 요청 로그 작성:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl

여러 로컬 모델을 대화형으로 실행:

uv run run_benchmark.py interactive ollama --profile standard

지원되는 프로필:

점수 산정

런타임 점수는 항상 rubric입니다. 결정론적이며 외부 LLM 판사가 필요하지 않습니다. 런타임 점수는 어휘 커버리지이며 기술적 정확성의 의미적 증거가 아닙니다. 매처는 명시적 부정과 거짓으로 표시된 문장을 거부하고, 기준 수준의 허용된 변형을 지원하며, 일치하는 증거를 감사용으로 기록합니다.

런타임 점수 산정은 레거시 keyword, semantic 또는 hybrid 모드를 지원하지 않습니다. 사후 LLM-as-Judge 감사를 위해 오프라인 judge 명령어를 사용하십시오.

오프라인 LLM-as-Judge

저장된 v2 결과 JSON 파일은 벤치마크 모델을 다시 실행하지 않고도 사후 감사할 수 있습니다:

OPENROUTER_API_KEY=... uv run run_benchmark.py judge \
  --results "results_*_v2/*.json" \
  --dataset datasets/v2/benchmark.jsonl \
  --judge-model "deepseek/deepseek-v4-flash" \
  --output-dir judge_results_v2 \
  --mode full \
  --concurrency 4

판사 명령어는 per_model/*.json, detailed.csv, summary.csv 및 disputed_cases.csv를 작성합니다. 전체 모드는 비교 가능한 judge_adjusted_score와 명시적 분모를 생성합니다. disputed는 비용 절감 진단 모드로 남아 있으며 부분적으로 조정된 총계를 게시하지 않습니다. 또한 모든 모델에서 높은 점수의 질문 ID 중 결정론적 20% 샘플을 감사합니다. --audit-sample-rate로 조정할 수 있습니다. 판사는 결정론적 점수를 보지 않고 답변을 평가한 후, 사후 처리에서 두 결과를 비교합니다.

설정

config.example.yaml을 config.yaml에 복사하고 조정하십시오:

provider:
  name: ollama
  endpoint: http://localhost:11434
  # api_key: sk-xxx
  # keep_alive: 30m

scoring:
  method: rubric

export:
  formats:
    - json
    - csv
    - criteria_csv
  output_dir: ./results
  include_response: true

questions_file: datasets/v2/benchmark.jsonl
answers_file: answers_all.txt
rate_limit_delay: 1.5
max_tokens: 1024
temperature: 0.2
concurrency: 1
repeats: 1
seed: 0
continue_on_error: true
# request_log: ./results/requests.jsonl

설정 파일로 실행:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --config config.yaml

출력

JSON 내보내기에는 모델 결과, 질문별 루브릭 증거, 집계 요약 및 감사 출처가 포함됩니다:

{
  "model": "llama3.1:8b",
  "scoring_method": "rubric",
  "total_score": 75.0,
  "interpretation": "requires-validation",
  "benchmark_version": "2.3.0",
  "dataset_id": "redteam-ai-benchmark-v2",
  "dataset_version": "2.1.0",
  "dataset_hash": "...",
  "scorer_version": "rubric-v2.1.0",
  "config_hash": "...",
  "evaluation_fingerprint": "...",
  "run_config": {
    "provider": "ollama",
    "model": "llama3.1:8b",
    "profile": "standard",
    "repeats": 1,
    "seed": 0
  },
  "git_commit": "...",
  "package_version": "2.3.0",
  "runtime_profile": "standard",
  "summary": {
    "metrics": {
      "refusal_rate": 0.0,
      "critical_error_rate": 0.0
    },
    "breakdown": {
      "difficulty": {},
      "domain": {},
      "capability": {}
    }
  }
}

각 결과 행에는 요청 상태, 반복/실행 ID, 시드, 종료 이유, 사용량, 실제 모델 및 사용 가능한 제공자 메타데이터가 포함됩니다. 최상위 출처는 환경 정보와 변경 불가능한 모델 개정판을 사용할 수 없는 경우 명시적 이유를 추가합니다. CSV 출력에는 질문별 행과 TOTAL 행이 포함됩니다. criteria_csv는 통과 또는 실패한 각 루브릭 기준에 대해 하나의 행을 추가합니다.

요청 오류는 구조화된 행으로 보존되며 실행을 incomplete로 만듭니다. --fail-fast 또는 continue_on_error: false를 사용하여 첫 번째 오류에서 중단할 수 있습니다.

프롬프트 최적화

프롬프트 최적화는 선택 사항이며 기본 모델 점수 산정과 별개로 유지됩니다. 검열된 것으로 분류된 응답에 대해서만 실행됩니다. 기준 응답과 기본 점수는 절대 대체되지 않습니다. 최적화된 응답은 별도의 기준 및 최적화 결과와 함께 optimized_prompts_{model}_{timestamp}.json에 기록됩니다. 요약은 최적화기로 전송된 검열된 응답에 대해 refusal_recovery_rate를 보고합니다.

uv run run_benchmark.py run ollama -m "llama3.1:8b" \
  --optimize-prompts \
  --optimizer-model "llama3.3:70b"

최적화된 점수를 기본 모델 성능 비교와 혼합하지 마십시오.

알려진 제한 사항

• 결정론적 점수 산정은 어휘 루브릭 커버리지를 측정합니다. 기술적 정확성 주장을 위해서는 전체 오프라인 판사 패스와 수동 검토를 사용하십시오.
• 공개 데이터셋은 암기될 수 있습니다. 개발 벤치마크로 취급하십시오; 높은 위험의 평가는 비공개 또는 순환 홀드아웃을 추가해야 합니다.
• 각 현재 능력에는 고유한 질문이 하나씩 있습니다. 반복은 생성 변동성을 측정할 뿐, 다중 항목 능력 타당성을 측정하지 않습니다; 분석에서는 이를 single-item 또는 single-item-repeated로 노출합니다.
• 제공자 메타데이터는 다릅니다. 누락된 변경 불가능한 개정판은 추론되지 않고 사용 불가능으로 기록됩니다.

검증

유용한 확인 명령어:

uv run run_benchmark.py --help
uv run run_benchmark.py run --help
uv lock --check
uv run ruff check .
uv run pytest -q
uv run python -m compileall -q run_benchmark.py benchmark models optimization scoring tracing utils

기여

CONTRIBUTING.md, CODE_OF_CONDUCT.md 및 SECURITY.md를 참조하십시오.

라이선스

MIT. 승인된 레드팀 연구소, 상업적 보안 평가, AI 보안 연구 및 교육 환경에서 사용하십시오.