cve-bench — 実世界のセキュリティ脆弱性を修正するAIエージェントを評価するためのベンチマーク。 | Kitploit

CVE-Bench

実世界のセキュリティ脆弱性の修正においてLLMエージェントを評価するためのベンチマークです。エージェントはサンドボックス化されたDockerコンテナ内で実行され、メンテナのセキュリティテストスイートに基づいてスコアリングされます。

要件

Python 3.12+
Docker
環境変数に OPENAI_API_KEY、ANTHROPIC_API_KEY、POOLSIDE_API_KEY のいずれかを設定（または .env ファイルを使用）

依存関係のインストール:

pip install poetry
poetry install

タスク構造

各タスクはの下に配置され、以下を含みます:

tasks/{CVE-ID}/

tasks/CVE-2026-33175/
├── meta.json           # GHSA ID, CWE, CVSS, repo URL, vulnerable and fixed SHAs
├── setup.sh            # Clones repo, checks out the vulnerable SHA, installs dependencies
├── run_tests.sh        # Injects test_security.py into the repo and runs pytest
├── test_security.py    # Security tests (xfail on vulnerable code, pass on the fix)
├── advisory.md         # Full GHSA advisory (richest prompt)
├── diagnose.md         # Behavioural description only — no file or function names
├── locate.md           # File and function only — no description of the flaw
└── Dockerfile          # Optional; only present when the task needs extra system deps

{
  "ghsa_id": "GHSA-xxxx-xxxx-xxxx",
  "cwe": ["CWE-287"],
  "cvss": 9.1,
  "repo": {
    "url": "https://github.com/org/project",
    "vulnerable_sha": "abc123^",
    "fixed_sha": "abc123"
  }
}

フェーズ	チェック内容
vulnerable	セキュリティテストが脆弱なSHAで失敗（またはxfail）すること
fixed	セキュリティテストが修正済みSHAで成功すること
regression	非セキュリティテストが修正済みSHAで成功すること

フラグ	説明	デフォルト
`--model`	1つ以上の `provider:model-id` 文字列	設定済みの全モデル
`--prompt-type`	`advisory`、`diagnose`、`locate`、または任意の組み合わせ	3つすべて
`--task`	1つ以上のタスクID	すべてのタスク
`--clean`	開始前に選択したスコープの既存結果を削除	オフ

{
  "cve_id": "CVE-2026-33175",
  "model_id": "openai:gpt-5.5",
  "prompt_type": "advisory",
  "timestamp": "2026-05-01T12:00:00",
  "model_duration_s": 142.3,
  "test_duration_s": 8.1,
  "turns": [
    {
      "tool_calls_and_results": [...],
      "input_tokens": 12400,
      "output_tokens": 310
    }
  ],
  "tests": [
    {
      "kind": "security",
      "name": "test_email_verified",
      "outcome": "passed"
    }
  ]
}

src/harness/
├── run.py                  # Entry point; parses args, wires components, calls BenchmarkRunner
├── client/
│   ├── factory.py          # Parses provider:model-id, returns the correct LLMClient
│   ├── _client.py          # Abstract LLMClient, ToolCall and LLMTurn dataclasses
│   ├── anthropic.py        # Anthropic SDK integration
│   └── oai.py              # OpenAI SDK integration (also used for Poolside)
├── agent/
│   ├── core.py             # Agentic loop: calls client, dispatches tool calls, threads messages
│   └── runner.py           # Wraps Agent, tracks timing and turn list
├── bench/
│   ├── runner.py           # Orchestrates setup → agent → security tests → regression tests
│   ├── result.py           # BenchmarkResult and TestResult dataclasses, JSON serialisation
│   └── repository.py       # Writes result files to disk
└── task/
    ├── tools.py             # Tool implementations: ListFiles, ReadFile, SearchInFiles,
    │                        #   EditFile, CreateFile, DeleteFile, RunPytest
    └── prompt_loader.py     # Reads advisory.md / diagnose.md / locate.md

ツール	説明
`list_files`	リポジトリ内のファイルとディレクトリを一覧表示
`read_file`	ファイルの内容を読み取る（オプションで行範囲を指定）
`search_in_files`	コードベース全体を正規表現で検索（オプションでファイルグロブを指定）
`edit_file`	既存ファイルの指定行範囲を置換
`create_file`	新しいファイルを作成
`delete_file`	ファイルを削除
`run_pytest`	プロジェクトのテストスイートを実行し、JSONレポートを返す

@misc{gattipinheiro2026cvebench,
  author       = {Gatti Pinheiro, Giovanni},
  title        = {{CVE-Bench}: Benchmarking {LLM} Agents on Real-World Security Vulnerability Fixes},
  year         = {2026},
  howpublished = {\url{https://giovannigatti.github.io/cve-bench}},
  note         = {Code available at \url{https://github.com/GiovanniGatti/cve-bench}}
}

cve-bench

人気

Dockerイメージのビルド

タスクの検証

ベンチマークの実行

結果形式

チャートの生成

ハーネスのアーキテクチャ

タスクの追加

開示

引用

ライセンス

プロバイダー	形式	APIキーの環境変数
OpenAI	`openai:gpt-5.5`	`OPENAI_API_KEY`
Anthropic	`anthropic:claude-haiku-4-5-20251001`	`ANTHROPIC_API_KEY`
Poolside	`poolside:laguna-m.1`	`POOLSIDE_API_KEY`