SASTのためのグラウンドトゥルース。 機械可読なグラウンドトゥルースと決定論的なSARIFスコアラーを備えたオープンベンチマークであり、静的解析ツールがベンチマークコード内の真の脆弱性をどれだけ正確に特定できるか、また安全なコードをどれだけ頻繁に誤検知するかを測定するためのものです。
benchproctor.com · blog · Apache-2.0
リリース状況
リリース2026.11.16が現行リリースです。 これはキュレーションされたリリースです:
- 21のフレームワークターゲットにまたがる11言語の2,142件のスタンドアロンケース、脆弱がちょうど1,071件、安全が1,071件;
- 5言語の60件のマルチサービスアプリケーション、860件のラベル付きフローを保持。
リリースはこのキュレーション形式で再開されます。各リリースは小さく新鮮な抽出であり、難易度は易と中のみで、フレームワークと弱点クラスの固定リストに基づいています。抽出元のより大きなコーパスは公開されていません。このリリースに含まれないものを参照してください。
リリース2026.07.22は撤回されました。 監査により、その構築元となったファミリーにラベルとリアリズムの欠陥が見つかりました。これに対するスコアを報告しないでください。訂正とグラウンドトゥルースの論争を参照してください。
SASTツールは、その測定されたパフォーマンスと同じだけしか信頼できず、そのパフォーマンスを測定するにはグラウンドトゥルースが必要です。BenchProctorはvulnerableまたはsafeとラベル付けされたケースを提供するため、互換性のあるSARIF 2.1.0出力をスコアリングし、その真陽性率、偽陽性率、およびYouden's Jを計算できます。
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
スコアラーは、各検出結果のCWEをSARIFのruleId、結果またはルールのpropertiesまたはtags(例えばexternal/cwe/cwe-089)、あるいはCWEのtaxaから復元します。これにより、設定なしで多くの一般的なSARIFエンコーディングをサポートします。使用しているツールがCWEを出力しない場合は、--match-mode filenameを追加してください(脆弱なファイル上の検出結果はすべてカウントされます。これは過剰なフラグ付けを報酬とするため、デフォルトを推奨します)。同じscore_sarif.pyがすべてのスタンドアロンバンドルに同梱されています。アプリケーションには独自のスコアラーがあります。Applicationsを参照してください。
既存の公開SASTベンチマークの多くは、以下の構造的制限のうち1つ以上を抱えています。
sqli/Test01729_true_positive.javaに置かれている場合、スキャナーはコードを解析するのではなくパスを照合するだけで高いスコアを得られます。BenchProctorは、設計により正確なケースの暗記とラベルの漏洩を低減し、11言語をカバーし、フローがプロセス境界を越えるマルチサービスアプリケーションを追加しています。
| リリース | 2026.11.16 |
| スタンドアロンケース | 2,142: 脆弱1,071件、安全1,071件 |
| 言語 | 11: Java、Python、Go、Rust、TypeScript、JavaScript、PHP、Ruby、Bash、C、C++ |
| フレームワークターゲット | 21(下の表を参照) |
| 弱点クラス | 22、22個の異なるCWE IDにマッピング |
| サンプリング | 各フレームワークとクラスのペアごとに脆弱3件+安全3件: 357ペア |
| アプリケーション | 4つのサービスグラフにわたる60個の2サービスアプリケーション(TypeScript、JavaScript、Python、Java、C++) |
| アプリケーションフロー | 860個のラベル付きフロー: 脆弱234件、安全626件 |
| 難易度 | easyおよびmedium |
すべてのフレームワークとクラスのペアは正確にバランスが取られています。Youden's Jの下では、すべてをフラグ付けするツールは真陽性率と偽陽性率がともに100%であるためスコアは0になります。一部のケースは、その言語やフレームワークで必要な共有ランタイムファイルまたはコンパニオンファイルを使用しています。これらのファイルは個別にはスコアリングされません。
これは厳選されたリリースであり、意図的に範囲を狭くしています。以下は含まれていません。
このリリースのスコアは、広く知られたクラスに対する下限チェックとして読むべきであり、完全な評価として読むべきではありません。
| 言語 | フレームワーク対象 | 対象数 | 対象あたりのクラス数 | ケース数 |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| 合計 | 21 | 合計で22 | 2,142 |
フレームワーク対象は、その言語で発生するクラスを備えている。CおよびC++にはメモリ安全性のクラスが含まれるが、マネージド言語には含まれない。
| クラス | CWE | クラス | CWE |
|---|---|---|---|
| SQLインジェクション | CWE-89 | サーバーサイドリクエストフォージェリ | CWE-918 |
| OSコマンドインジェクション | CWE-78 | コードインジェクション | CWE-94 |
| パストラバーサル | CWE-22 | 信頼できないデータのデシリアライズ | CWE-502 |
| クロスサイトスクリプティング | CWE-79 | XML外部エンティティ | CWE-611 |
| LDAPインジェクション | CWE-90 | オープンリダイレクト | CWE-601 |
| XPathインジェクション | CWE-643 | 整数オーバーフロー | CWE-190 |
| 弱い暗号 | CWE-327 | NULLポインタ参照外し | CWE-476 |
| 弱いハッシュ | CWE-328 | スタックベースのバッファオーバーフロー | CWE-121 |
| 弱い乱数 | CWE-330 | ヒープベースのバッファオーバーフロー | CWE-122 |
| secure属性のないCookie | CWE-614 | バッファの過剰読み取り | CWE-126 |
| 信頼境界の違反 | CWE-501 | 解放後使用 | CWE-416 |
アプリケーションとは、HTTPを介して互いに呼び出す2つのサービスからなる小規模なプロジェクトであり、それぞれが独自のコンテナファイルを持つ。1つの主要なフローがエントリサービスから始まり、バックエンドサービス内のシンクで終わる。その周囲には、脆弱なものと安全なもののさらなる単一ファイルフロー、および単純な安全モジュールが配置され、そのすべてにラベルが付与されているため、ツールは重要なフローとそれを取り囲むコードとを区別しなければならない。各アプリケーションは docker-compose.yml も備えている。
| サービスグラフ | アプリケーション数 | フロー数 | 脆弱 | 安全 |
|---|---|---|---|---|
| Express (TypeScript) から Flask | 16 | 229 | 62 | 167 |
| NestJS から Spring | 16 | 229 | 62 | 167 |
| Express (JavaScript) から Django | 16 | 229 | 62 | 167 |
| Express (TypeScript) から cpp-httplib | 12 | 173 | 48 | 125 |
| 合計 | 60 | 860 | 234 | 626 |
アプリケーションは6つのクラス(SQLインジェクション、クロスサイトスクリプティング、OSコマンドインジェクション、サーバーサイドリクエストフォージェリ、パストラバーサル、デシリアライゼーション)と2つの2段階チェーン(クロスサイトスクリプティングに至る未認証の入口、およびサーバーサイドリクエストフォージェリに至る未検証のURL)を中心に構築されています。C++のグラフは8つのうち6つを備えています。デシリアライゼーションのアプリケーションと未検証URLのチェーンは含まれていません。アプリケーションの半数ではチェーンが完了し、残りの半数では経路上の制御が機能します。
unzip Benchmarks/applications/benchproctor-applications-2026.11.16.zip -d benchproctor-apps
your-tool scan ./benchproctor-apps/nestjs-spring/applications --format sarif -o results.sarif
python ./benchproctor-apps/score_apps.py \
--flows ./benchproctor-apps/nestjs-spring/expectedresults-2026.11.16.csv \
--chains ./benchproctor-apps/nestjs-spring/expectedresults-chains-2026.11.16.csv \
--tool-sarif results.sarif
score_apps.py は3つの数値を並べて報告し、決して平均化しません。各フローが正しく判定されたか(Youden's J)、正しく判定されたフローに対して正しい CWE が特定されたか、そしてツールがサービスグラフのどれだけを再構築できたかです。
各スタンドアロンケースは、CSV の解答キーに正解ラベル(vulnerable または safe)を持っています。ツールの実行後、スコアリングは混同行列と1回の減算を計算します:
detected ignored
vulnerable TP FN
safe FP TN
TPR = TP / (TP + FN) detection rate
FPR = FP / (FP + TN) false-alarm rate
J = TPR - FPR Youden's J (the score)
| スコア | 意味 |
|---|---|
| +100% | 完璧:すべてを検出し、誤検知ゼロ |
| 0% | 測定可能な識別力なし:TPR が FPR と等しい。すべてを検出するものと何も検出しないものの両方がここに該当する |
| -100% | 反転:安全なコードを検出し、実際のバグを見逃す |
スコアは2つの形式で報告されます。カテゴリ平均のヘッドラインスコアは各クラスを均等に重み付けするため、大きなクラスが支配することはありません。フラット集計スコアはすべてのケースを均等に重み付けします。各側に3つのケースがあるため、単一のフレームワークとクラスのペアは3分の1刻みで変動します。そのため、ペア単位ではなく、フレームワーク間で言語別またはクラス別にスコアを読んでください。互換性のある SARIF 2.1.0 を出力するツールであればスコアリング可能です。両方のスコアラーは依存関係のない単一の標準ライブラリ Python ファイルです。
リリース前に、このリリースのすべてのソースファイルが、その言語のネイティブツールチェーンを通されました。サンプリングは一切行っていません: