
Evaluación comparativa de 265 cambios de código reales que introducen vulnerabilidades en nueve proyectos de C, C++ y Rust, con tareas de revisión emparejadas, sandbox de Docker, juez y arnés de evaluación.
¿Puede la revisión de código agéntica detectar vulnerabilidades antes de que se fusionen?
SecPRBench plantea si un revisor de código con IA puede detectar una vulnerabilidad el día en que se introdujo. Cada caso es el cambio real en el repositorio upstream que introdujo una vulnerabilidad en uno de nueve proyectos ampliamente desplegados en C, C++ y Rust, desde FFmpeg y OpenSSL hasta V8 y Firefox. El revisor recibe el diff, el mensaje de commit y una instantánea del código fuente. No recibe ningún aviso, ni un historial de Git utilizable, ni ninguna pista, y debe identificar el fallo y explicar su causa raíz. Una tarea complementaria emparejada muestra el cambio reparado en la revisión de corrección upstream.
La mayoría de los benchmarks de revisión de seguridad derivan el cambio revisado de su corrección posterior. SecPRBench, en cambio, rastrea cada vulnerabilidad hasta el commit que la introdujo y valida el caso, principalmente mediante la reproducción de una prueba de concepto. Este repositorio contiene los datos del benchmark, el sandbox de revisión Docker, el juez basado primero en criterios y los resultados congelados reportados en el artículo.
| El revisor recibe | El revisor nunca ve |
|---|---|
| El diff del cambio bajo revisión | El informe de vulnerabilidad, el aviso o el texto del CVE |
| El mensaje de commit y cualquier texto del PR upstream | La corrección posterior |
| Una instantánea del código fuente en esa revisión, con el historial de Git bloqueado | La causa raíz de referencia y la prueba de concepto |
| Sus propias herramientas, dentro de un sandbox Docker que solo puede acceder a la API del modelo | El ID del bug, las etiquetas privadas o cuál es su tarea emparejada |
Un juez LLM basado primero en criterios (Claude Opus 5.5, esfuerzo alto, sin herramientas ni web) acredita un hallazgo solo cuando explica la causa raíz de referencia y ese fallo está presente en la instantánea revisada. La exhaustividad (recall) es la proporción de los 265 cambios introductorios en los que el juez acredita al revisor; las ejecuciones fallidas y ausentes permanecen en el denominador. En una auditoría de 50 registros realizada por los autores, el juez coincidió en 46 registros (92%). Véase scoring.
Revisión directa sobre los 265 cambios introductorios. Los tres modelos GPT se ejecutan en la
CLI de Codex con un esfuerzo de razonamiento xhigh, y los demás modelos se ejecutan en Claude Code.
Los cuatro primeros están estadísticamente empatados.
| # | Modelo | Agent CLI | Encontrados | Recall |
|---|---|---|---|---|
| 1 | Grok 4.6 | Claude Code | 207 | 78.1% |
| 2 | GPT-6 sol (xhigh) | Codex CLI | 202 | 76.2% |
| 3 | GLM 5.3 | Claude Code | 198 | 74.7% |
| 4 | Claude Opus 5.5 (high) | Claude Code | 196 | 74.0% |
| 5 | Claude Sonnet 5 | Claude Code | 157 | 59.2% |
| 6 | GPT-5.6 sol (xhigh) | Codex CLI | 148 | 55.8% |
| 7 | GPT-6 luna (xhigh) | Codex CLI | 147 | 55.5% |
| 8 | MiniMax M3 | Claude Code | 86 | 32.5% |
| Cualquiera de los ocho | 242 | 91.3% |
Los harnesses centrados en seguridad cambian el panorama en direcciones opuestas:
| Configuración | Encontrados | Recall | En comparación con la revisión directa del mismo modelo |
|---|---|---|---|
| Claude Opus 5.5 en el harness Defending Code de Anthropic | 212 | 80.0% | +7.7 puntos en las 260 tareas que completó, a un coste mayor |
| GPT-5.6 sol en Codex Security de OpenAI | 126 | 47.5% | −8.3 puntos, principalmente por abstenerse |
Se requiere Python 3.10 o superior; los ejemplos usan Python 3.11. La instalación de dependencias utiliza la red. Las comprobaciones en sí no necesitan Docker, credenciales ni llamadas a modelos.
python3.11 tools/check_release.py --root .
python3.11 tools/bundle_verification.py --check
python3.11 -m venv .venv
.venv/bin/pip install -e '.[test]'
.venv/bin/python -m pytest -q -m 'not integration and not docker and not live'
.venv/bin/secprbench --help
El validador de la versión comprueba los hashes del roster, de las tareas y de la evidencia, los índices, los recuentos emparejados y los resultados congelados.
Esto requiere Docker y tus propias credenciales de proveedor, configuradas en
configs/backends/ tal como se describe en el recorrido de evaluación.
Los backends incluidos son Claude Opus 5.5 y Sonnet 5, GPT-5.6 sol mediante
Codex, Grok 4.6, GLM 5.3 y MiniMax M3.
# Clone the upstream source (no model calls)
.venv/bin/secprbench prepare --project curl
# Build the review images and test the sandbox
.venv/bin/secprbench build-images \
--claude-binary "$HOME/.local/share/claude/versions/2.1.283"
.venv/bin/secprbench check --harness direct_review --backend opus55
# Review two curl tasks, judge the findings, and write a report
.venv/bin/secprbench run \
--roster data/roster.json --data-root data \
--harness direct_review --backend opus55 \
--projects curl --limit 2 --concurrency 1 \
--output .work/example-run
.venv/bin/secprbench judge --run-dir .work/example-run
.venv/bin/secprbench report --run-dir .work/example-run --out .work/example-report
Omite --projects y --limit para ejecutar la lista completa.
El ejemplo de contrato se ejecuta sin un modelo ni Docker y muestra el formato de predicción público. Para iniciar un arnés real:
.venv/bin/secprbench harness scaffold my_scanner --output .work/harnesses
Un harness recibe únicamente /workspace, /task/input.json y /task/brief.md,
y escribe sus hallazgos en /out/findings.json. Consulte el
contrato del harness.