Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
secprbench — Evaluación comparativa de 265 cambios de código reales que introducen vulnerabilidades en nueve proyectos de C, C++ y Rust, con tareas de revisión emparejadas, sandbox de Docker, juez y arnés de evaluación. | Kitploit
Herramientas/GitHubGitHub/secprbench/secprbench
Análisis EstáticoAnálisis Dinámico (Sandboxing)Análisis de VulnerabilidadesAnálisis de CódigoPapers e InvestigaciónAprendizaje y EducaciónRecursos CuradosSeguridad de IALabs y Práctica
GitHubsecprbench/secprbench

secprbench

767hace 12 díasAún no revisado

Evaluación comparativa de 265 cambios de código reales que introducen vulnerabilidades en nueve proyectos de C, C++ y Rust, con tareas de revisión emparejadas, sandbox de Docker, juez y arnés de evaluación.

Ver Repositorio
Compartir
Logotipo de SecPRBench

SecPRBench

¿Puede la revisión de código agéntica detectar vulnerabilidades antes de que se fusionen?

Paper Leaderboard Case explorer

Release v0.2.0 Python 3.10+ Docker review sandbox


SecPRBench plantea si un revisor de código con IA puede detectar una vulnerabilidad el día en que se introdujo. Cada caso es el cambio real en el repositorio upstream que introdujo una vulnerabilidad en uno de nueve proyectos ampliamente desplegados en C, C++ y Rust, desde FFmpeg y OpenSSL hasta V8 y Firefox. El revisor recibe el diff, el mensaje de commit y una instantánea del código fuente. No recibe ningún aviso, ni un historial de Git utilizable, ni ninguna pista, y debe identificar el fallo y explicar su causa raíz. Una tarea complementaria emparejada muestra el cambio reparado en la revisión de corrección upstream.

La mayoría de los benchmarks de revisión de seguridad derivan el cambio revisado de su corrección posterior. SecPRBench, en cambio, rastrea cada vulnerabilidad hasta el commit que la introdujo y valida el caso, principalmente mediante la reproducción de una prueba de concepto. Este repositorio contiene los datos del benchmark, el sandbox de revisión Docker, el juez basado primero en criterios y los resultados congelados reportados en el artículo.

Novedades

  • [2026-10] 🌐 El sitio web de resultados ya está disponible, con la clasificación completa, un explorador de casos con líneas de referencia anotadas y 5.290 trayectorias de revisión guardadas.
  • [2026-10] 📄 El artículo está en arXiv. En ocho modelos de frontera, la exhaustividad (recall) oscila entre el 32,5% y el 78,1%, y cuatro modelos están estadísticamente empatados en la cima.
  • [2026-10] 🚀 SecPRBench v0.2.0 es público: 265 casos / 530 tareas emparejadas, el arnés de evaluación y los resultados congelados del artículo (changelog).

La tarea

El revisor recibeEl revisor nunca ve
El diff del cambio bajo revisiónEl informe de vulnerabilidad, el aviso o el texto del CVE
El mensaje de commit y cualquier texto del PR upstreamLa corrección posterior
Una instantánea del código fuente en esa revisión, con el historial de Git bloqueadoLa causa raíz de referencia y la prueba de concepto
Sus propias herramientas, dentro de un sandbox Docker que solo puede acceder a la API del modeloEl ID del bug, las etiquetas privadas o cuál es su tarea emparejada

Un juez LLM basado primero en criterios (Claude Opus 5.5, esfuerzo alto, sin herramientas ni web) acredita un hallazgo solo cuando explica la causa raíz de referencia y ese fallo está presente en la instantánea revisada. La exhaustividad (recall) es la proporción de los 265 cambios introductorios en los que el juez acredita al revisor; las ejecuciones fallidas y ausentes permanecen en el denominador. En una auditoría de 50 registros realizada por los autores, el juez coincidió en 46 registros (92%). Véase scoring.

Clasificación

Revisión directa sobre los 265 cambios introductorios. Los tres modelos GPT se ejecutan en la CLI de Codex con un esfuerzo de razonamiento xhigh, y los demás modelos se ejecutan en Claude Code. Los cuatro primeros están estadísticamente empatados.

#ModeloAgent CLIEncontradosRecall
1Grok 4.6Claude Code20778.1%
2GPT-6 sol (xhigh)Codex CLI20276.2%
3GLM 5.3Claude Code19874.7%
4Claude Opus 5.5 (high)Claude Code19674.0%
5Claude Sonnet 5Claude Code15759.2%
6GPT-5.6 sol (xhigh)Codex CLI14855.8%
7GPT-6 luna (xhigh)Codex CLI14755.5%
8MiniMax M3Claude Code8632.5%
Cualquiera de los ocho24291.3%

Los harnesses centrados en seguridad cambian el panorama en direcciones opuestas:

ConfiguraciónEncontradosRecallEn comparación con la revisión directa del mismo modelo
Claude Opus 5.5 en el harness Defending Code de Anthropic21280.0%+7.7 puntos en las 260 tareas que completó, a un coste mayor
GPT-5.6 sol en Codex Security de OpenAI12647.5%−8.3 puntos, principalmente por abstenerse

Inicio rápido

1. Ejecutar las comprobaciones sin conexión

Se requiere Python 3.10 o superior; los ejemplos usan Python 3.11. La instalación de dependencias utiliza la red. Las comprobaciones en sí no necesitan Docker, credenciales ni llamadas a modelos.

python3.11 tools/check_release.py --root .
python3.11 tools/bundle_verification.py --check
python3.11 -m venv .venv
.venv/bin/pip install -e '.[test]'
.venv/bin/python -m pytest -q -m 'not integration and not docker and not live'
.venv/bin/secprbench --help

El validador de la versión comprueba los hashes del roster, de las tareas y de la evidencia, los índices, los recuentos emparejados y los resultados congelados.

2. Revisar algunas tareas con un modelo

Esto requiere Docker y tus propias credenciales de proveedor, configuradas en configs/backends/ tal como se describe en el recorrido de evaluación. Los backends incluidos son Claude Opus 5.5 y Sonnet 5, GPT-5.6 sol mediante Codex, Grok 4.6, GLM 5.3 y MiniMax M3.

# Clone the upstream source (no model calls)
.venv/bin/secprbench prepare --project curl

# Build the review images and test the sandbox
.venv/bin/secprbench build-images \
  --claude-binary "$HOME/.local/share/claude/versions/2.1.283"
.venv/bin/secprbench check --harness direct_review --backend opus55

# Review two curl tasks, judge the findings, and write a report
.venv/bin/secprbench run \
  --roster data/roster.json --data-root data \
  --harness direct_review --backend opus55 \
  --projects curl --limit 2 --concurrency 1 \
  --output .work/example-run
.venv/bin/secprbench judge --run-dir .work/example-run
.venv/bin/secprbench report --run-dir .work/example-run --out .work/example-report

Omite --projects y --limit para ejecutar la lista completa.

3. Evalúa tu propio escáner

El ejemplo de contrato se ejecuta sin un modelo ni Docker y muestra el formato de predicción público. Para iniciar un arnés real:

.venv/bin/secprbench harness scaffold my_scanner --output .work/harnesses

Un harness recibe únicamente /workspace, /task/input.json y /task/brief.md, y escribe sus hallazgos en /out/findings.json. Consulte el contrato del harness.

Estructura del repositorio

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    696
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    499
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    396
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    340
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    258
  • 6

    antifox

    antifox-ai/antifox

    Plataforma de pruebas de penetración autónoma con múltiples agentes de IA que ejecuta reconocimiento, descubrimiento de superficie de ataque, validación de explotación y entrega de informes respaldados por evidencia.

    257

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →