Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
Herramientas/GitHubGitHub/harry24k/cybiasbench
Análisis de VulnerabilidadesExplotación de Aplicaciones WebPruebas de PenetraciónAprendizaje AutomáticoPapers e InvestigaciónAprendizaje y EducaciónRecursos CuradosSeguridad de IALabs y Práctica
GitHubharry24k/cybiasbench

CyBiasBench

5hace 25 díasAún no revisado

Evaluación del sesgo en agentes LLM para escenarios de ciberataque

Ver Repositorio
Compartir

CyBiasBench

Un benchmark para el sesgo conductual en agentes de seguridad ofensiva basados en LLM. Cada registro resume la sesión de un agente contra una aplicación objetivo intencionalmente vulnerable, capturando no solo si los ataques tuvieron éxito sino cómo el agente eligió, secuenció y se mantuvo fiel a las familias de ataque.

Estado: publicación pública que acompaña al artículo de NeurIPS 2026 Evaluations & Datasets Track. Artículo: https://arxiv.org/abs/2605.07830. Panel de resultados interactivo: https://trustworthyai.co.kr/CyBiasBench/. Conjunto de datos en Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.

Qué incluye

  • 5 agentes — claude, codex, gemini, kimi, glm
  • 3 aplicaciones objetivo vulnerables — juice-shop, mlflow, vuln-shop
  • Dos configuraciones:
    • Observación de sesgo (elección libre): 4 condiciones de prompt × 3 repeticiones = 180 sesiones. Las condiciones combinan la guía del prompt (guided / unguided) con la estructura de salida (structured / unstructured).
    • Inyección de sesgo (familia solicitada): 10 familias de ataque × 3 repeticiones = 450 sesiones. A cada sesión se le pide centrarse en una familia específica (SQLi, CMDi, SSRF, IDOR, …).
  • 11 columnas por fila en la configuración de observación de sesgo (recuentos, ASR de sesión, entropía, familia más seleccionada, Selection CR1, tokens totales). 13 columnas por fila en la configuración de inyección de sesgo (cumplimiento, ASR de la familia solicitada, mismos recuentos).
  • Tablas complementarias de formato largo con desgloses por (sesión, familia de ataque).
  • Trazas a nivel de petición saneadas (esquema de la Tabla 5 del artículo): 19.116 filas (observación) + 258.019 filas (inyección) de peticiones HTTP con etiquetas de familia de ataque, identificadores de reglas del clasificador, mapeos CAPEC / CWE y indicadores de éxito, además del orden de peticiones por sesión. Los cuerpos, cabeceras, marcas de tiempo absolutas y la temporización detallada se han eliminado.

El artículo analiza 10 familias de ataque (sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) elegidas mediante análisis de CAPEC + CWE + OWASP WSTG como las familias más directamente comprobables contra las tres aplicaciones objetivo. El clasificador a nivel de traza hereda una undécima etiqueta (deserialization) de la familia de reglas 944 de OWASP CRS; nunca es un objetivo solicitado y representa <0,1% de las filas de traza. Consulte schema/glossary.md §"Attack-family scope" para más detalles.

Publicación total: 630 registros agregados + 277.135 filas de traza ≈ 48 MB.

Interpretación y límites

Estas mediciones describen cinco instantáneas de agentes desplegados sobre tres objetivos web, no clasificaciones estables de modelos. La asignación refleja el modelo, el prompt del sistema, la CLI, las herramientas y la interacción con el objetivo. La disponibilidad de vulnerabilidades, la descubribilidad, la dificultad de ejecución y los costes de las peticiones también afectan a las proporciones por familia; el diseño no identifica preferencias intrínsecas ni separa estos factores de forma causal.

El análisis de arranque de sesión con las etiquetas automáticas originales no encuentra mejora en el ASR medio agregado de sesión bajo direccionamiento. No establece una disminución fiable para cada agente. Unidades alternativas de recuento de peticiones preservan la separación entre agentes, mientras cambian su magnitud. El valor de decisión a mayor escala, la superioridad frente a heurísticas de diversidad simples y la generalización a objetivos no vistos siguen siendo cuestiones abiertas. Consulte HOW_TO_REPRODUCE.md para los análisis reproducibles.

Inicio rápido

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

O cargar CSV / Parquet directamente:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

El mismo lanzamiento también está disponible en Hugging Face. Con datasets instalado (pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

Cada una de las seis tablas es una configuración separada. El split test contiene la tabla completa; no denota una partición reservada.

Reproducción: consulte HOW_TO_REPRODUCE.md para la guía de reproducción de dos niveles (R1 reanálisis a partir de las trazas publicadas; R3 reexperimentación completa mediante benchmark/).

Estructura

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    377
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    324
  • 5

    estorides

    grisuno/estorides

    Agrega más de 99 fuentes OSINT gratuitas en paralelo, resuelve entidades en un grafo de conocimiento y exporta STIX 2.1, MISP o GraphML con análisis asistido por LLM.

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    252

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →