Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
FuzzingBrain-Bench — Un benchmark para el descubrimiento de errores impulsado por LLM: 77 desafíos en 43 proyectos de código abierto (C/C++/Java). | Kitploit
Herramientas/GitHubGitHub/fuzzingbrain/fuzzingbrain-bench
Análisis Dinámico (Sandboxing)Análisis de VulnerabilidadesFuzzingAprendizaje y EducaciónSeguridad de IALabs y Práctica
GitHubfuzzingbrain/fuzzingbrain-bench

FuzzingBrain-Bench

Un benchmark para el descubrimiento de errores impulsado por LLM: 77 desafíos en 43 proyectos de código abierto (C/C++/Java).

Compartir
Ver RepositorioSitio web
93101hace 16 díasAún no revisado

FuzzingBrain Bench

Un benchmark para la reproducción de vulnerabilidades impulsada por LLM en 77 bugs zero-day reales en 43 proyectos de código abierto (C / C++ / Java).

Cada desafío entrega al agente únicamente el fuzz harness (el objetivo) y el código fuente del proyecto en la revisión vulnerable — sin parche, sin commit de corrección, sin línea objetivo. El agente debe descubrir una entrada que vuelva a disparar un fallo bajo el sanitizer. Cada calificación es determinista (sin LLM-as-judge) y ocurre en la imagen y sin conexión: el candidato se ejecuta a través del harness oficial instrumentado con sanitizer integrado en el contenedor del desafío, y la ejecución se puntúa según los crashes distintos que el agente haya disparado. Nada sale de la máquina y no es necesario que ningún servicio esté activo.

DesafíosProyectosLenguajesCalificador
77 de extremo a extremo43C · C++ · Javadeterminista — en la imagen, sin conexión

Nada en las imágenes ni en este repositorio revela qué es un bug — los desafíos se nombran con un alias neutro (<project>-NN, p. ej. avro-03), y la clave de respuestas (PoC, fallo esperado, build corregido) no está en ninguno de los dos: permanece con el mantenedor. Explora los 77: tools/sealed/CHALLENGES.md.


Inicio rápido

1. Configuración

git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench

python3 -m venv .venv && source .venv/bin/activate   # recommended (and required on
                                                     # Debian/Ubuntu, PEP 668)
pip install -e .                              # needs Python ≥ 3.10 and Docker

# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF

fb-bench list                                 # the 77 challenges (by alias)
fb-bench models                               # supported models + which keys are loaded

(./.env se lee automáticamente; un simple export ANTHROPIC_API_KEY=... también funciona.)

Vuelve a ejecutar source .venv/bin/activate en cada nueva shell. O prescinde del venv con pip install --break-system-packages -e . (no recomendado).

fb-bench run descarga la imagen pública del desafío, ejecuta el bucle del agente en el host (llamando a la API de tu modelo) y califica cada candidato dentro de esa imagen — sin red, nada a lo que acceder. Solo se requiere Docker + la clave de tu modelo, y una ejecución puntúa los crashes distintos que encontró el agente — la identidad de un crash es su tipo de fallo del sanitizer más sus marcos de pila superiores, por lo que el mismo fallo repetido veinte veces cuenta una sola vez.

El --arm api predeterminado no necesita nada más allá de lo anterior. Los backends --arm codex y --arm claudecode necesitan CLIs de proveedor adicionales — opcionales, instalados por separado (nunca forman parte de pip install -e .); consulta §4.

2. Ejecutar un desafío con un modelo

# Claude family  (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5

# GPT family
fb-bench run avro-03 --model gpt-5.5

# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview

# DeepSeek family  (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash

Modelos: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 · gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash · deepseek-v4-pro · deepseek-v4-flash (cualquier id del catálogo funciona mediante --model; consulta fb-bench models).

3. Ejecutar muchos — el mismo comando, uno o muchos

fb-bench run acepta un bug o muchos, un modelo o muchos. Una sola ejecución es solo una matriz de tamaño uno, por lo que no existe un comando "sweep" separado:

# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100

# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4

# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe

# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only

<bugs> es un alias, una lista separada por comas o all; --model es un id, una lista separada por comas, default-lineup o all. Los resultados se guardan en output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, traj.md destilado); al final se imprime una tabla de clasificación. --output acepta un nombre simple (anidado bajo output/) o una ruta (usada tal cual). Cada ejecución obtiene su propia carpeta: omite --output y se guardará en output/run_<timestamp>; nombra una carpeta que ya existe y una nueva ejecución se bifurcará en <name>_<timestamp> en lugar de reanudar en ella — así dos ejecuciones nunca comparten resultados (--report-only es el único lector, que abre una carpeta en su lugar).

4. Modos de agente — mismo run, elige el backend con --arm

Los tres backends de agente comparten una única entrada. --arm selecciona cuál de ellos impulsa el desafío; todo lo demás (<bugs>, --jobs, --samples, --output, la carpeta por ejecución, la tabla de clasificación) es idéntico entre los arms.

fb-bench run avro-03 --model gpt-5.5            # --arm api (default): provider model
fb-bench run avro-03 --arm codex               # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub   # Claude Code CLI
fb-bench run all     --arm codex --jobs 4      # whole corpus, batched
  • --arm codex ejecuta codex exec de OpenAI sobre el servidor MCP del banco de pruebas. --model establece el modelo de codex (por defecto gpt-5.5), fijado mediante su config.toml.
  • --arm claudecode ejecuta la CLI de Claude Code. --model selecciona el modelo de claude (sonnet/opus/haiku).

Ambos brazos de proveedor aceptan --auth {api,sub}: api = la clave de API del proveedor (OPENAI_API_KEY / ANTHROPIC_API_KEY, pago por uso, sin limitación), sub = un inicio de sesión de suscripción (codex: un plan de ChatGPT Plus/Pro/Business/Edu/Enterprise; claudecode: OAuth de claude.ai). El valor predeterminado es auto — se prefiere api cuando la clave de API está presente; de lo contrario, se recurre a sub.

Opcional — instalar la CLI del proveedor para el brazo que utilices

Estos son extras opcionales y no se instalan con pip install -e .. El --arm api predeterminado nunca los necesita. Instala solo la CLI cuyo brazo planees ejecutar (ambas requieren Node):

# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
#   --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
#   --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
#   ChatGPT account can't use the codex models):
codex login                                  # sign in with your ChatGPT plan

# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
#   --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
#   --auth sub: one-time claude.ai OAuth login
claude

La tarea es siempre a ciegas

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    772
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    505
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    420
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    260
  • 6

    antifox

    antifox-ai/antifox

    Plataforma de pruebas de penetración autónoma con múltiples agentes de IA que ejecuta reconocimiento, descubrimiento de superficie de ataque, validación de explotación y entrega de informes respaldados por evidencia.

    251

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →