Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
zairo — コード差分をコンテキスト付きでスキャンして影響グラフを構築し、LLMを使用して脆弱性を発見します。マルチリポジトリスキャンとSARIF出力によるCIゲーティングをサポートします。 | Kitploit
ツール/GitHubGitHub/iamavu/zairo
静的分析脆弱性分析コード分析動的コード分析 (DAST)DevSecOpsAIセキュリティ
GitHubiamavu/zairo

zairo

コード差分をコンテキスト付きでスキャンして影響グラフを構築し、LLMを使用して脆弱性を発見します。マルチリポジトリスキャンとSARIF出力によるCIゲーティングをサポートします。

リポジトリを見る
14891ヶ月前未レビュー
共有

zairo の測定

zairo のユニットテストは、正しいプロンプトを構築し、回答を正しく処理することを検証します。しかし、それらのプロンプトを受け取ったモデルが、変更によって導入された脆弱性を発見できるか、あるいは存在しない脆弱性を指摘してしまうかは判定できません。このディレクトリはそのためのものです。ラベル付きの変更セットと、実際のモデルで各変更を複数回スキャンして結果を採点するランナーを提供します。

pip install -e .                      # from the repo root
export GEMINI_API_KEY=...             # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json

各ケースは、変更されたシンボルごと、繰り返しごとに、おおよそ1リクエストのコストがかかります。ここにある16のケースはそれぞれ1〜4個のシンボルを変更するため、3回繰り返す実行では約100リクエストになります。各実行はモデルに新規に問い合わせます。キャッシュもウォームアップ用のメモもありません。

ケース

cases/内の各ディレクトリは1つの変更を表します。before/とafter/にはそれぞれの側の(小さな)リポジトリ全体が格納され、case.jsonがそれをラベル付けします:

{
  "description": "What the change does, and why it's vulnerable or not.",
  "vulnerable": true,
  "symbol": "search_users",
  "cwe": "CWE-89",
  "source": "synthetic"
}

脆弱なケースでは、変更された symbol がその脆弱性の所在を示し、cwe と、さらに also_cwe にそれを説明する他の CWE があればそれらも示します。なりすまし可能なヘッダーは CWE-290 ですが、CWE-287 や CWE-306 も誤りではありません。クリーンなケースにはこれらがなく、議論の余地なくクリーンであるべきです。high では安全だが妥当な medium の検出結果を含む変更は、誤検知ではなくノイズを測ることになります。ランナーは before、次に after を新しいリポジトリにコミットし、PR スキャンと同様に HEAD~1..HEAD をスキャンします。

脆弱なケースが 9 件(SQL インジェクション、パストラバーサル、削除されたテナントチェック、安全でない YAML 読み込み、コマンドインジェクション、オープンリダイレクト、SSRF、無効化された TLS 検証、なりすまし可能なヘッダーを介した認証バイパス)と、クリーンなケースが 7 件あります。クリーンなケースのいくつかは、リスクがあるように見えるよう作られています。修正中の SQL インジェクション、許可リストからフォーマットされる ORDER BY、固定の引数リストを持つ subprocess 呼び出しなどです。

これらのファイルは意図的に脆弱なサンプルコードです。パッケージ化されたり実行されたりすることはありませんが、このリポジトリを対象にしたスキャナーはそれらを検出します。

スコア

検出結果がゲートとなるのは、--fail-on がそれによって PR をブロックする場合です。つまり introduced_by_change: true とマークされ、--fail-on(デフォルトは high)以上である場合です。各実行には判定が与えられます。

  • 脆弱なケースでは、バグを捕捉した(ケースの symbol に対するゲート対象の検出結果)、ゲート未満で発見した(その変更が導入した、より低い重大度の検出結果)、または見逃したのいずれかです。
  • クリーンなケースでは、変更をフラグ付けした(ゲート対象の検出結果が何であれ)、または通過したのいずれかです。

実行がスコア付けされないのは、どちらとも言えない場合のみです。重要なシンボルを評価できなかった、またはクリーンなケースがフラグ付けされなかったものの一部のシンボルが失敗した場合です。ゲート対象の検出結果は、他に何が失敗していてもカウントされます。なぜならゲートはそれによって依然として PR をブロックしたはずだからです。ランナーはシンボルが失敗した最も一般的な理由を出力し、--out はそれらを実行ごとに保持します。--max-tokens のすべてを思考に費やす推論モデルは決して回答しないため、それが示された理由であれば(たとえば 16384 に)引き上げてください。

  • recall: 脆弱なケースでのスコア付けされた実行のうち、それを捕捉した割合。別のシンボルに対する検出結果はカウントされません。
  • found: 任意の重大度でそれを発見した割合。ゲート未満で発見されたバグも依然として報告されます。ただブロックしないだけです。たとえばオープンリダイレクトは一般に medium と評価されます。
  • false alarms: クリーンなケースでのスコア付けされた実行のうち、フラグ付けされた割合。つまり理由なくブロックされた PR です。
  • precision: ゲート対象の検出結果があった実行のうち、それが脆弱なケースで的を射ていた割合。
  • stable: すべてのスコア付けされた実行がゲートがブロックするかどうかで一致したケースの割合。 モデルの回答はばらつきます。3 回に 1 回しか捕捉されないケースは CI におけるコイントスです。
  • CWE matched: 的を射た実行のうち、ケースの CWE も示した割合。これは二次的なものです。隣接する CWE の下での正しいバグでも、正しい PR を依然としてブロックします。
  • elsewhere: バグを捕捉した実行における、他のシンボルに対するゲート対象の検出結果。通常は同じバグが再度報告されたもので、たとえば関数を含むファイル上での報告です。1 つのバグ、複数のアラート。脆弱なシンボル自体に対する 2 つの検出結果はカウントされません。それはモデルが 1 つのバグを到達経路(同じクエリへの name と sort)によって分割したものです。

--out はすべての実行の検出結果(シンボル、タイトル、重大度、CWE、行、変更がそれを導入したかどうか、およびゲート対象かどうか)、失敗したシンボルとその理由、トークン数、コスト、タイミングを書き出すため、2 つのモデルやプロンプト変更の前後など、2 つの実行をケースごとに比較できます。

制限

16 件の小さな合成ケースは検出品質のスモークテストであり、ベンチマークではありません。それぞれが単一の意図されたバグを持つ単一の変更であり、実際のサービスよりはるかに単純なコードで、脆弱なものはレビュアーが捕捉したいと願う種類のバグです。実際の脆弱性を導入するコミット(たとえば CVE 修正の逆)が追加すべき最良のケースです。それが触れたファイルを変更前と変更後で新しいディレクトリに置き、ラベルを付けてください。変更自体が要点となるよう、十分小さく保ってください。

tests/test_evals.py はモデルなしで全ケースを検証します。ビルドできること、 zairo が変更するすべてのファイルをパースできること、そして脆弱なケースの symbol がその変更で触れたシンボルの中に含まれることです。そうでなければ、 どのスキャンもそれを検出したと採点されることはありません。

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

まだ人気データがありません。

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →