zairo 的单元测试检查它是否构建了正确的提示词并正确处理了回答。它们无法告诉你,给定这些提示词后,模型是否能发现某次变更引入的漏洞,或者是否会误报一个并不存在的漏洞。这正是本目录的用途:一组带有标注的变更,以及一个运行器,它用真实模型对每个变更进行多次扫描并对结果评分。
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
每个用例大约要为每个变更符号、每次重复消耗一次请求。这里的 16 个用例每个变更 1 到 4 个符号,因此重复 3 次的一轮运行大约会产生 100 次请求。每次运行都会重新向模型提问:没有缓存,也没有预热笔记。
cases/ 中的每个目录代表一次变更:before/ 和 after/ 分别保存变更前后完整的(小型)仓库,而 case.json 为其添加标签:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
一个易受攻击的用例会指明变更后的 symbol 所对应的漏洞及其 cwe,并在 also_cwe 中列出其他同样能描述该漏洞的 CWE:可被欺骗的头部属于 CWE-290,但 CWE-287 和 CWE-306 也不算错。一个干净用例则不含这些,并且应当无可争议地保持干净。一个在 high 级别下安全、但存在合理的 medium 级别发现的变更,衡量的是噪声,而非误报。运行器会将 before 和 after 提交到一个全新的仓库中,并扫描 HEAD~1..HEAD,就像 PR 扫描那样。
共有 9 个易受攻击的用例(SQL 注入、路径遍历、被移除的租户检查、不安全的 YAML 加载、命令注入、开放重定向、SSRF、禁用的 TLS 验证,以及通过可欺骗头部实现的认证绕过)和 7 个干净用例。其中几个干净用例被刻意设计得看起来有风险:一个正在被修复的 SQL 注入、一个从允许列表格式化而来的 ORDER BY、一个带有固定参数列表的 subprocess 调用。
这些文件是故意包含漏洞的示例代码。它们从不会被打包或运行,但指向此仓库的扫描器会发现它们。
当 --fail-on 会因此阻止 PR 时,一个发现即构成门禁(gating):标记为 introduced_by_change: true,且达到或高于 --fail-on(默认为 high)。每次运行都会得到一个判定:
symbol 上产生门禁发现),在门禁之下发现了它(该变更在此处引入的发现,严重级别较低),或者漏掉了它。只有当运行对两种情况都不表态时,才会被留作未评分:关键符号无法评估,或者干净用例未被标记但某些符号失败。门禁发现无论其他什么失败都计入,因为门禁仍会因此阻止 PR。运行器会打印符号失败最常见的原因,--out 会按运行保留它们。一个将全部 --max-tokens 用于思考的推理模型永远不会作答,因此如果给出的原因正是这个,就调高它(比如调到 16384)。
name 和 sort 进入同一个查询)。--out 会写入每次运行的所有发现(符号、标题、严重级别、CWE、行号、该变更是否引入它以及它是否构成门禁)、失败的符号及原因、token 计数、成本和耗时,以便逐用例比较两次运行,例如两个模型,或提示词变更前后的对比。
十六个小型合成用例只是检测质量的冒烟测试,而非基准测试。每个用例都是单一变更、带有单一预期缺陷,代码远比真实服务简单,而易受攻击的那些正是审查者希望能捕获的那类缺陷。真实引入漏洞的提交(例如 CVE 修复的反向操作)是最值得添加的用例。将它触及的文件(变更前后)放入一个新目录,并加以标注。保持它们足够小,让变更本身成为重点。
tests/test_evals.py 在不使用模型的情况下检查每个用例:它能否构建、
zairo 能否解析它更改的每个文件,以及一个易受攻击用例的
symbol 是否在更改所触及的符号之中。否则,任何扫描都无法
被评分为捕获到它。