Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
BenchProctor — 静的アプリケーションセキュリティテスト(SAST)のオープンベンチマークコーパス:2,938,418件のバランスの取れたケース、11言語、21のフレームワークターゲット、242の出力カテゴリ、231の異なるCWE ID。SARIF 2.1.0出力をTPR、FPR、Youden's Jでスコアリングします。 | Kitploit
ツール/GitHubGitHub/theauditortool/benchproctor
静的分析ウェブ脆弱性スキャナー脆弱性分析コード分析学習と教育
GitHubtheauditortool/benchproctor

BenchProctor

静的アプリケーションセキュリティテスト(SAST)のオープンベンチマークコーパス:2,938,418件のバランスの取れたケース、11言語、21のフレームワークターゲット、242の出力カテゴリ、231の異なるCWE ID。SARIF 2.1.0出力をTPR、FPR、Youden's Jでスコアリングします。

リポジトリを見る
1331日前未レビュー
共有
ウェブサイト

BenchProctor

SASTのためのグラウンドトゥルース。 機械可読なグラウンドトゥルースと決定論的なSARIFスコアラーを備えたオープンベンチマークであり、静的解析ツールがベンチマークコード内の真の脆弱性をどれだけ正確に特定できるか、また安全なコードをどれだけ頻繁に誤検知するかを測定するためのものです。

benchproctor.com · blog · Apache-2.0

リリース状況

リリース2026.11.16が現行リリースです。 これはキュレーションされたリリースです:

  • 21のフレームワークターゲットにまたがる11言語の2,142件のスタンドアロンケース、脆弱がちょうど1,071件、安全が1,071件;
  • 5言語の60件のマルチサービスアプリケーション、860件のラベル付きフローを保持。

リリースはこのキュレーション形式で再開されます。各リリースは小さく新鮮な抽出であり、難易度は易と中のみで、フレームワークと弱点クラスの固定リストに基づいています。抽出元のより大きなコーパスは公開されていません。このリリースに含まれないものを参照してください。

リリース2026.07.22は撤回されました。 監査により、その構築元となったファミリーにラベルとリアリズムの欠陥が見つかりました。これに対するスコアを報告しないでください。訂正とグラウンドトゥルースの論争を参照してください。

SASTツールは、その測定されたパフォーマンスと同じだけしか信頼できず、そのパフォーマンスを測定するにはグラウンドトゥルースが必要です。BenchProctorはvulnerableまたはsafeとラベル付けされたケースを提供するため、互換性のあるSARIF 2.1.0出力をスコアリングし、その真陽性率、偽陽性率、およびYouden's Jを計算できます。

クイックスタート

# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java

# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif

# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
  ./benchproctor-java/spring/expectedresults-2026.11.16.csv

# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J

スコアラーは、各検出結果のCWEをSARIFのruleId、結果またはルールのpropertiesまたはtags(例えばexternal/cwe/cwe-089)、あるいはCWEのtaxaから復元します。これにより、設定なしで多くの一般的なSARIFエンコーディングをサポートします。使用しているツールがCWEを出力しない場合は、--match-mode filenameを追加してください(脆弱なファイル上の検出結果はすべてカウントされます。これは過剰なフラグ付けを報酬とするため、デフォルトを推奨します)。同じscore_sarif.pyがすべてのスタンドアロンバンドルに同梱されています。アプリケーションには独自のスコアラーがあります。Applicationsを参照してください。

なぜ別のベンチマークなのか

既存の公開SASTベンチマークの多くは、以下の構造的制限のうち1つ以上を抱えています。

  • 固定され不変のケース。 人手で書かれた静的なケースセットは、時間の経過とともにベンチマーク固有のチューニングを促し、未見のコードへの汎化を示す指標としての結果の価値を低下させる可能性があります。
  • ファイル名にエンコードされたラベル。 テストがsqli/Test01729_true_positive.javaに置かれている場合、スキャナーはコードを解析するのではなくパスを照合するだけで高いスコアを得られます。
  • 限定的な構造的カバレッジ。 多くのスイートは単一言語と単一ファイルの検出結果に焦点を当てており、サービス境界を越えるフローをテストしていません。

BenchProctorは、設計により正確なケースの暗記とラベルの漏洩を低減し、11言語をカバーし、フローがプロセス境界を越えるマルチサービスアプリケーションを追加しています。

このリリースに含まれるもの

リリース2026.11.16
スタンドアロンケース2,142: 脆弱1,071件、安全1,071件
言語11: Java、Python、Go、Rust、TypeScript、JavaScript、PHP、Ruby、Bash、C、C++
フレームワークターゲット21(下の表を参照)
弱点クラス22、22個の異なるCWE IDにマッピング
サンプリング各フレームワークとクラスのペアごとに脆弱3件+安全3件: 357ペア
アプリケーション4つのサービスグラフにわたる60個の2サービスアプリケーション(TypeScript、JavaScript、Python、Java、C++)
アプリケーションフロー860個のラベル付きフロー: 脆弱234件、安全626件
難易度easyおよびmedium

すべてのフレームワークとクラスのペアは正確にバランスが取られています。Youden's Jの下では、すべてをフラグ付けするツールは真陽性率と偽陽性率がともに100%であるためスコアは0になります。一部のケースは、その言語やフレームワークで必要な共有ランタイムファイルまたはコンパニオンファイルを使用しています。これらのファイルは個別にはスコアリングされません。

このリリースに含まれないもの

これは厳選されたリリースであり、意図的に範囲を狭くしています。以下は含まれていません。

  • 効果のないセーフガードを中心に構築されたケース。 このリリースでは、脆弱なケースにはセーフガードがなく、安全なケースには機能するセーフガードがあります。あらゆるセーフガードの存在を安全性の証明とみなすツールは、ここではペナルティを受けません。
  • 最も深い伝播パターン。 フローは直接伝播と中程度の深さの伝播のみを使用しています。
  • このページのリストにないフレームワーク、弱点クラス、アプリケーション形状。

このリリースのスコアは、広く知られたクラスに対する下限チェックとして読むべきであり、完全な評価として読むべきではありません。

どのように構築されているか

  • 組み合わせによる生成であり、手書きではない。 各クラスは、4つの軸の該当する構成要素を用いてセキュリティに関連する挙動をモデル化する。すなわち、信頼できない入力がどこから入るか(source)、それがどのように伝播するか(propagator)、何がそれを無害化するか(sanitizer または safeguard)、そしてそれが到達する危険な操作(sink)である。脆弱なケースはセーフガードを省略し、その安全な対応ケースは有効なセーフガードを適用する。出力されるすべてのケースは、実際の言語およびフレームワークのAPIを用いて、有効かつ解析可能な経路に制約されている。
  • 設計上、合成データである。 このコーパスは、スコアリングに関連するセキュリティ特性を意図的に分離している。個々のケースは実際のAPIを使用するが、完全な本番機能を表すことは意図していない。
  • 構造上、リークを防いでいる。 出力されるファイルには、コメント、CWEタグ、カテゴリ名、ラベルを示す識別子が一切含まれない。ファイルIDはシャッフルされるため、ファイル名がケースのクラスやラベルを符号化することはない。CSVの正解キーが、公開される唯一のラベル情報源である。
  • シードのローテーション。 各リリースは独自のシードで生成される。新しいリリースは同じ言語、フレームワーク、クラス、サンプリング、難易度を維持しつつ、異なる組み合わせと識別子を出力する。これにより、特定ファイルやファイル名の記憶の有用性が制限され、リリース間のスコア比較可能性を支えるよう設計されている。リリースをまたいだ構造的な汎化は引き続き可能であり、想定されている。

言語とフレームワーク

言語フレームワーク対象対象数対象あたりのクラス数ケース数
JavaSpring, Jakarta EE218216
PythonFlask, Django, FastAPI318324
GoGin, net/http215180
RustActix-web, Axum215180
TypeScriptNestJS, Express218216
JavaScriptExpress, Koa218216
PHPLaravel, Symfony218216
RubyRails, Sinatra217204
C++cpp-httplib, standalone219228
Cstandalone11696
Bashstandalone11166
合計21合計で222,142

フレームワーク対象は、その言語で発生するクラスを備えている。CおよびC++にはメモリ安全性のクラスが含まれるが、マネージド言語には含まれない。

脆弱性クラス

クラスCWEクラスCWE
SQLインジェクションCWE-89サーバーサイドリクエストフォージェリCWE-918
OSコマンドインジェクションCWE-78コードインジェクションCWE-94
パストラバーサルCWE-22信頼できないデータのデシリアライズCWE-502
クロスサイトスクリプティングCWE-79XML外部エンティティCWE-611
LDAPインジェクションCWE-90オープンリダイレクトCWE-601
XPathインジェクションCWE-643整数オーバーフローCWE-190
弱い暗号CWE-327NULLポインタ参照外しCWE-476
弱いハッシュCWE-328スタックベースのバッファオーバーフローCWE-121
弱い乱数CWE-330ヒープベースのバッファオーバーフローCWE-122
secure属性のないCookieCWE-614バッファの過剰読み取りCWE-126
信頼境界の違反CWE-501解放後使用CWE-416

アプリケーション

アプリケーションとは、HTTPを介して互いに呼び出す2つのサービスからなる小規模なプロジェクトであり、それぞれが独自のコンテナファイルを持つ。1つの主要なフローがエントリサービスから始まり、バックエンドサービス内のシンクで終わる。その周囲には、脆弱なものと安全なもののさらなる単一ファイルフロー、および単純な安全モジュールが配置され、そのすべてにラベルが付与されているため、ツールは重要なフローとそれを取り囲むコードとを区別しなければならない。各アプリケーションは docker-compose.yml も備えている。

サービスグラフアプリケーション数フロー数脆弱安全
Express (TypeScript) から Flask1622962167
NestJS から Spring1622962167
Express (JavaScript) から Django1622962167
Express (TypeScript) から cpp-httplib1217348125
合計60860234626

アプリケーションは6つのクラス(SQLインジェクション、クロスサイトスクリプティング、OSコマンドインジェクション、サーバーサイドリクエストフォージェリ、パストラバーサル、デシリアライゼーション)と2つの2段階チェーン(クロスサイトスクリプティングに至る未認証の入口、およびサーバーサイドリクエストフォージェリに至る未検証のURL)を中心に構築されています。C++のグラフは8つのうち6つを備えています。デシリアライゼーションのアプリケーションと未検証URLのチェーンは含まれていません。アプリケーションの半数ではチェーンが完了し、残りの半数では経路上の制御が機能します。

unzip Benchmarks/applications/benchproctor-applications-2026.11.16.zip -d benchproctor-apps
your-tool scan ./benchproctor-apps/nestjs-spring/applications --format sarif -o results.sarif
python ./benchproctor-apps/score_apps.py \
  --flows  ./benchproctor-apps/nestjs-spring/expectedresults-2026.11.16.csv \
  --chains ./benchproctor-apps/nestjs-spring/expectedresults-chains-2026.11.16.csv \
  --tool-sarif results.sarif

score_apps.py は3つの数値を並べて報告し、決して平均化しません。各フローが正しく判定されたか(Youden's J)、正しく判定されたフローに対して正しい CWE が特定されたか、そしてツールがサービスグラフのどれだけを再構築できたかです。

スコアリング

各スタンドアロンケースは、CSV の解答キーに正解ラベル(vulnerable または safe)を持っています。ツールの実行後、スコアリングは混同行列と1回の減算を計算します:

                detected   ignored
 vulnerable        TP         FN
 safe              FP         TN

 TPR  = TP / (TP + FN)     detection rate
 FPR  = FP / (FP + TN)     false-alarm rate
 J    = TPR - FPR          Youden's J  (the score)
スコア意味
+100%完璧:すべてを検出し、誤検知ゼロ
0%測定可能な識別力なし:TPR が FPR と等しい。すべてを検出するものと何も検出しないものの両方がここに該当する
-100%反転:安全なコードを検出し、実際のバグを見逃す

スコアは2つの形式で報告されます。カテゴリ平均のヘッドラインスコアは各クラスを均等に重み付けするため、大きなクラスが支配することはありません。フラット集計スコアはすべてのケースを均等に重み付けします。各側に3つのケースがあるため、単一のフレームワークとクラスのペアは3分の1刻みで変動します。そのため、ペア単位ではなく、フレームワーク間で言語別またはクラス別にスコアを読んでください。互換性のある SARIF 2.1.0 を出力するツールであればスコアリング可能です。両方のスコアラーは依存関係のない単一の標準ライブラリ Python ファイルです。

ラベルの検証方法

リリース前に、このリリースのすべてのソースファイルが、その言語のネイティブツールチェーンを通されました。サンプリングは一切行っていません:

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    491
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    462
  • 3

    opencti

    opencti-platform/opencti

    オープンサイバー脅威インテリジェンスプラットフォーム

    345
  • 4

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    340
  • 5

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    306
  • 6

    estorides

    grisuno/estorides

    99以上の無料OSINTソースを並列で集約し、エンティティをナレッジグラフに解決し、LLM支援の分析とともにSTIX 2.1、MISP、またはGraphMLでエクスポートします。

    292

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →