红队 AI 基准测试

俄语版本： README.ru.md

红队 AI 基准测试是一个 CLI 模型评估基准测试。它衡量 LLM 如何理解和回应红队问题及安全场景；它并非用于执行这些活动的工具。版本 2 使用基于评分标准的数据集，而不是仅依据单一黄金答案来评判回答。

默认的 v2 套件在 datasets/v2/benchmark.jsonl 中包含 60 个问题，按领域和难度分组。

仓库状态

原始 GitHub 仓库已不可用，因为其所有者被 GitHub 封禁。原作者的备用仓库位于 gitlab.com/toxy4ny/redteam-ai-benchmark。当前仓库所有者是活跃的开发者和维护者。

目的与范围

project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment

明确的非目标

本仓库不是黑客工具、漏洞利用框架、扫描器、C2、持久化工具、payload 运行器或自主红队代理。
它不会发现、访问、利用、修改或维持对目标系统的访问。
它不会执行模型输出。该基准测试仅向已配置的模型端点发送评估提示、对返回的文本进行评分并写入结果。
测试数据集中出现攻击性安全主题仅描述评估领域；它不授予许可，也不为针对任何系统的活动提供授权。

用户责任

该基准测试不授权、指导或控制评估运行之外的任何活动。对模型响应的任何下游使用（包括通过单独的代理或自动化框架进行的使用）完全取决于最终用户、其配置、权限和环境。仅将数据集和结果用于经授权的评估、研究、测试或教育。

已发布的排行榜

此分支中未发布当前排行榜。历史分数是使用较旧的词法评分和部分评判语义生成的，无法与当前评分器进行比较。

可发布的排行榜需要一次完整的评判运行，且数据集哈希匹配、评判错误为零、覆盖完整。使用以下命令生成其经过校验的 JSON 和 Markdown 产物：

uv run run_benchmark.py leaderboard \
  --judge-summary judge_results_v2/summary.csv \
  --output-dir leaderboard

该命令需要同级的 per_model/*.json 评判记录，并会拒绝 disputed 摘要、不完整的评判覆盖、数据集哈希不匹配以及缺少评判模型来源信息的行。生成的包包含原始基准测试结果、逐题评判记录及其哈希，以及 summary.csv 的副本。排名使用原始 rubric_score；judge_adjusted_score 仅作为单独的审计结果展示。

v2 衡量什么

该基准测试报告总加权分数和单独的审计指标：

指标	含义	总体 / 分母
`refusal_rate`	拒绝或审查回答的百分比	已完成的模型响应
`lexical_coverage`	技术标准模式的覆盖率	已完成的响应；拒绝和致命匹配计为零
`critical_error_rate`	匹配未被拒绝的致命错误规则的答案	已完成的模型响应
`lexical_completeness`	完整性标准模式的覆盖率	已完成的响应；拒绝和致命匹配计为零
`lexical_specificity`	特异性标准模式的覆盖率	已完成的响应；拒绝和致命匹配计为零
`latency_ms_avg`	平均响应延迟	已测量延迟的已完成响应
`metric_coverage`	对每个词汇聚合有贡献的观测数	已完成的模型响应
`run_coverage`	已完成、失败和跳过的模型请求	预期的题目重复观测数
`repeat_statistics`	每次重复的分数、标准差和 95% 自助法置信区间	按重复分组的已完成观测

解释标签刻意保持保守：

最终分数	解释
`< 60%`	`not-suitable`
`60-79.9%`	`requires-validation`
`>= 80%`	`strong-candidate`

解释标签仅适用于完整运行。任何请求失败都会将解释更改为 incomplete，同时保留部分分数和覆盖率以供诊断。当重复置信区间跨越 60 或 80 阈值时，解释为 uncertain。高分并不代表生产批准。

数据集覆盖范围

v2 数据集涵盖：

Windows 战术技巧
AD 和 AD CS
Web 漏洞利用
云和 IAM
容器和 Kubernetes
检测与规避推理
OpSec 与操作权衡
工具使用
后利用规划
验证与报告

难度级别为 L1 事实性、L2 流程、L3 故障排除、L4 场景推理 和 L5 多步骤操作员任务。

安装

要求：

Python 3.13+
uv
一个提供商：Ollama、LM Studio、OpenWebUI 或 OpenRouter

安装基础依赖：

uv sync

提供商

提供商	默认端点	备注
`ollama`	`http://localhost:11434`	原生 Ollama API；反向代理可选 Bearer 认证
`lmstudio`	`http://localhost:1234`	OpenAI 兼容的 LM Studio API
`openwebui`	`http://localhost:3000`	OpenAI 兼容的 OpenWebUI API
`openrouter`	`https://openrouter.ai/api/v1`	需要 API 密钥

用法

列出模型：

uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"

运行默认的 v2 标准配置文件：

uv run run_benchmark.py run ollama -m "llama3.1:8b"

运行一个快速冒烟测试子集：

uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick

按 ID 运行选定的 v2 问题：

uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12

编写一个仅追加的按问题请求日志：

uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl

以交互方式运行多个本地模型：

uv run run_benchmark.py interactive ollama --profile standard

支持的配置文件：

配置	用途
`quick`	16 道题的 L1/L2 API 与流水线冒烟测试子集；不是排名代理
`standard`	完整的 60 题 v2 基准测试

评分

运行时评分始终为 rubric。它是确定性的，且不需要外部 LLM 评判器。运行时得分是词汇覆盖率，而非技术正确性的语义证明。匹配器会拒绝显式否定和标记为假的陈述，支持标准级别的可接受变体，并记录匹配到的证据以供审计。

运行时评分不支持旧版的 keyword、semantic 或 hybrid 模式。请使用离线 judge 命令进行事后的 LLM-as-Judge 审计。

离线 LLM-as-Judge

已保存的 v2 结果 JSON 文件可以在不重新运行基准模型的情况下进行事后审计：

OPENROUTER_API_KEY=... uv run run_benchmark.py judge \
  --results "results_*_v2/*.json" \
  --dataset datasets/v2/benchmark.jsonl \
  --judge-model "deepseek/deepseek-v4-flash" \
  --output-dir judge_results_v2 \
  --mode full \
  --concurrency 4

judge 命令会写入 per_model/*.json、detailed.csv、summary.csv 和 disputed_cases.csv。完整模式会生成可比较的 judge_adjusted_score 和明确的分母。disputed 仍是一种节省成本的诊断模式，不会发布部分调整后的总分。它还会对每个模型中高分数问题 ID 的确定性 20% 样本进行审计；可通过 --audit-sample-rate 调整该比例。评判器在看不到确定性分数的情况下评估答案，随后由后处理比较两者的结果。

配置

将 config.example.yaml 复制为 config.yaml 并进行调整：

provider:
  name: ollama
  endpoint: http://localhost:11434
  # api_key: sk-xxx
  # keep_alive: 30m

scoring:
  method: rubric

export:
  formats:
    - json
    - csv
    - criteria_csv
  output_dir: ./results
  include_response: true

questions_file: datasets/v2/benchmark.jsonl
answers_file: answers_all.txt
rate_limit_delay: 1.5
max_tokens: 1024
temperature: 0.2
concurrency: 1
repeats: 1
seed: 0
continue_on_error: true
# request_log: ./results/requests.jsonl

使用配置运行：

uv run run_benchmark.py run ollama -m "llama3.1:8b" --config config.yaml

输出

JSON 导出包含模型结果、逐题评分标准证据、汇总摘要以及审计溯源信息：

{
  "model": "llama3.1:8b",
  "scoring_method": "rubric",
  "total_score": 75.0,
  "interpretation": "requires-validation",
  "benchmark_version": "2.3.0",
  "dataset_id": "redteam-ai-benchmark-v2",
  "dataset_version": "2.1.0",
  "dataset_hash": "...",
  "scorer_version": "rubric-v2.1.0",
  "config_hash": "...",
  "evaluation_fingerprint": "...",
  "run_config": {
    "provider": "ollama",
    "model": "llama3.1:8b",
    "profile": "standard",
    "repeats": 1,
    "seed": 0
  },
  "git_commit": "...",
  "package_version": "2.3.0",
  "runtime_profile": "standard",
  "summary": {
    "metrics": {
      "refusal_rate": 0.0,
      "critical_error_rate": 0.0
    },
    "breakdown": {
      "difficulty": {},
      "domain": {},
      "capability": {}
    }
  }
}

每条结果行包含请求状态、重复/运行标识、种子、结束原因、用量、实际模型以及可用的提供商元数据。顶层溯源信息会补充环境信息，并在无法获取不可变模型修订版本时给出明确原因。CSV 输出包含每道题目的行以及一行 TOTAL。criteria_csv 会为每个通过或未通过的评分标准各添加一行。

请求错误会以结构化行的形式保留，并使该次运行标记为 incomplete。使用 --fail-fast 或 continue_on_error: false 可在遇到首个错误时中止。

提示词优化

提示词优化仍为可选功能，且与基础模型评分相互独立。它仅对分类为受审查的响应运行。基线响应和主评分绝不会被替换；优化后的响应会写入 optimized_prompts_{model}_{timestamp}.json，并分别包含基线和优化结果。其摘要会报告发送给优化器的受审查响应的 refusal_recovery_rate。

uv run run_benchmark.py run ollama -m "llama3.1:8b" \
  --optimize-prompts \
  --optimizer-model "llama3.3:70b"

不要将优化后的分数与基础模型能力比较混在一起。

已知限制

确定性评分衡量的是词汇层面的评分标准覆盖度。对于技术准确性方面的结论，请使用完整的离线评审流程和人工复核。
公开数据集可能被记忆。请将其视为开发基准；高风险评估应增加私有或轮换的留出集。
当前每项能力都只有一个唯一问题。重复测量的是生成方差，而非多项能力有效性；细分结果会将其标记为 single-item 或 single-item-repeated。
各提供方的元数据存在差异。缺失的不可变修订版本会被记录为不可用，而非推断得出。

验证

有用的检查：

uv run run_benchmark.py --help
uv run run_benchmark.py run --help
uv lock --check
uv run ruff check .
uv run pytest -q
uv run python -m compileall -q run_benchmark.py benchmark models optimization scoring tracing utils

贡献

参见 CONTRIBUTING.md、CODE_OF_CONDUCT.md 和 SECURITY.md。

许可证

MIT。可用于经授权的红队实验室、商业安全评估、AI 安全研究和教育环境。

redteam-ai-benchmark

最受欢迎