zairo のユニットテストは、正しいプロンプトを構築し、回答を正しく処理することを検証します。しかし、それらのプロンプトを受け取ったモデルが、変更によって導入された脆弱性を発見できるか、あるいは存在しない脆弱性を指摘してしまうかは判定できません。このディレクトリはそのためのものです。ラベル付きの変更セットと、実際のモデルで各変更を複数回スキャンして結果を採点するランナーを提供します。
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
各ケースは、変更されたシンボルごと、繰り返しごとに、おおよそ1リクエストのコストがかかります。ここにある16のケースはそれぞれ1〜4個のシンボルを変更するため、3回繰り返す実行では約100リクエストになります。各実行はモデルに新規に問い合わせます。キャッシュもウォームアップ用のメモもありません。
cases/内の各ディレクトリは1つの変更を表します。before/とafter/にはそれぞれの側の(小さな)リポジトリ全体が格納され、case.jsonがそれをラベル付けします:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
脆弱なケースでは、変更された symbol がその脆弱性の所在を示し、cwe と、さらに also_cwe にそれを説明する他の CWE があればそれらも示します。なりすまし可能なヘッダーは CWE-290 ですが、CWE-287 や CWE-306 も誤りではありません。クリーンなケースにはこれらがなく、議論の余地なくクリーンであるべきです。high では安全だが妥当な medium の検出結果を含む変更は、誤検知ではなくノイズを測ることになります。ランナーは before、次に after を新しいリポジトリにコミットし、PR スキャンと同様に HEAD~1..HEAD をスキャンします。
脆弱なケースが 9 件(SQL インジェクション、パストラバーサル、削除されたテナントチェック、安全でない YAML 読み込み、コマンドインジェクション、オープンリダイレクト、SSRF、無効化された TLS 検証、なりすまし可能なヘッダーを介した認証バイパス)と、クリーンなケースが 7 件あります。クリーンなケースのいくつかは、リスクがあるように見えるよう作られています。修正中の SQL インジェクション、許可リストからフォーマットされる ORDER BY、固定の引数リストを持つ subprocess 呼び出しなどです。
これらのファイルは意図的に脆弱なサンプルコードです。パッケージ化されたり実行されたりすることはありませんが、このリポジトリを対象にしたスキャナーはそれらを検出します。
検出結果がゲートとなるのは、--fail-on がそれによって PR をブロックする場合です。つまり introduced_by_change: true とマークされ、--fail-on(デフォルトは high)以上である場合です。各実行には判定が与えられます。
symbol に対するゲート対象の検出結果)、ゲート未満で発見した(その変更が導入した、より低い重大度の検出結果)、または見逃したのいずれかです。実行がスコア付けされないのは、どちらとも言えない場合のみです。重要なシンボルを評価できなかった、またはクリーンなケースがフラグ付けされなかったものの一部のシンボルが失敗した場合です。ゲート対象の検出結果は、他に何が失敗していてもカウントされます。なぜならゲートはそれによって依然として PR をブロックしたはずだからです。ランナーはシンボルが失敗した最も一般的な理由を出力し、--out はそれらを実行ごとに保持します。--max-tokens のすべてを思考に費やす推論モデルは決して回答しないため、それが示された理由であれば(たとえば 16384 に)引き上げてください。
name と sort)によって分割したものです。--out はすべての実行の検出結果(シンボル、タイトル、重大度、CWE、行、変更がそれを導入したかどうか、およびゲート対象かどうか)、失敗したシンボルとその理由、トークン数、コスト、タイミングを書き出すため、2 つのモデルやプロンプト変更の前後など、2 つの実行をケースごとに比較できます。
16 件の小さな合成ケースは検出品質のスモークテストであり、ベンチマークではありません。それぞれが単一の意図されたバグを持つ単一の変更であり、実際のサービスよりはるかに単純なコードで、脆弱なものはレビュアーが捕捉したいと願う種類のバグです。実際の脆弱性を導入するコミット(たとえば CVE 修正の逆)が追加すべき最良のケースです。それが触れたファイルを変更前と変更後で新しいディレクトリに置き、ラベルを付けてください。変更自体が要点となるよう、十分小さく保ってください。
tests/test_evals.py はモデルなしで全ケースを検証します。ビルドできること、
zairo が変更するすべてのファイルをパースできること、そして脆弱なケースの
symbol がその変更で触れたシンボルの中に含まれることです。そうでなければ、
どのスキャンもそれを検出したと採点されることはありません。