Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
CODE-DETECTION — Paquete de replicación que estudia cómo los auditores de vulnerabilidades de LLM se someten a la evidencia del análisis estático, con un front end de C/C++ basado en tree-sitter, condiciones de evidencia controladas y código de análisis estadístico. | Kitploit
Herramientas/GitHubGitHub/lzh0082-cloud/code-detection
Análisis EstáticoAnálisis de VulnerabilidadesAnálisis de CódigoAprendizaje AutomáticoPapers e InvestigaciónAprendizaje y EducaciónSeguridad de IA
GitHub
lzh0082-cloud/code-detection

CODE-DETECTION

Paquete de replicación que estudia cómo los auditores de vulnerabilidades de LLM se someten a la evidencia del análisis estático, con un front end de C/C++ basado en tree-sitter, condiciones de evidencia controladas y código de análisis estadístico.

Ver Repositorio
29hace 1 mesAún no revisado
Compartir

Confiar en la herramienta: deferencia asimétrica de los auditores de vulnerabilidades LLM ante la evidencia de análisis estático

Paquete de replicación del artículo del mismo título de ZhiHong Liu.

A los auditores de vulnerabilidades LLM se les proporcionó evidencia de análisis estático sobre funciones C/C++ vulnerables y parcheadas de PrimeVul. La evidencia era verdadera o fabricada, mientras que el código y el modelo permanecían fijos. Las falsas garantías (se afirma que existe una comprobación ausente) redujeron la detección de vulnerabilidades reales. Las falsas alarmas (se afirma que falta una comprobación añadida) nunca redujeron la precisión, y los modelos las impugnaron con mucha más frecuencia. Una replicación registrada en siete modelos nuevos confirmó la asimetría. Verificar cada afirmación en una llamada separada y mostrar las afirmaciones refutadas (verify-show) redujo la deferencia en una prueba registrada.

Este repositorio contiene el analizador, el código del experimento y del análisis, los registros, las anotaciones y los informes resumen. Los registros completos de ejecución (cada nota de evidencia y respuesta del modelo) y la caché de respuestas del LLM están archivados por separado (véase Resultados completos).

Contenido

RutaContenido
sgv/cfront.pyFront end intraprocedimental de C/C++ (tree-sitter): operaciones sensibles, guardas dominantes, obligaciones de prueba
sgv/evidence.pyEl estudio controlado: condiciones de evidencia C0–C5, estrategias de presentación, configuraciones de modelos, ejecutor
sgv/vuln.pyPrompt de auditoría, análisis de veredictos y carga de PrimeVul (también el estudio preliminar de vulnerabilidades)
sgv/contrasts.pyPrecisiones por versión y contrastes emparejados (C4 vs C2, C5 vs C2, …)
sgv/direction.pyMedida de deferencia sensible a la dirección (H3)
sgv/deference.pyDeferencia y la señal léxica de "disputa"
sgv/mitigation.pyComparación de estrategias de presentación con pruebas de McNemar emparejadas y corrección de Holm
sgv/pooled.pyAnálisis agrupado post-hoc de H2 y descriptivos del conjunto de datos
sgv/annotate.pyHojas de anotación y concordancia (kappa de Cohen) para la codificación conductual
sgv/figures.py, sgv/diagrams.pyTodas las figuras del artículo, calculadas a partir de los registros de ejecución
sgv/stats.pyIntervalos de Wilson, prueba exacta de McNemar, bootstrap emparejado
sgv/llm.pyCliente compatible con OpenAI con una caché de respuestas SQLite
sgv/analysis.py, claims.py, verifier.py, methods.py, run.py, trace.py, labeling.py, …Estudio preliminar sobre Python (CRUXEval, REval): extracción de afirmaciones y verificación fundamentada en la estructura
preregistration/Registro de H3 y los hashes del código de análisis fijados antes de las ejecuciones
annotation/Guía de anotación, hojas de ambos anotadores LLM, la comprobación de 20 elementos del autor
results/*.mdInformes resumen del estudio, conjuntos held-out, de desarrollo, de prueba y de H3
tests/Pruebas unitarias (python -m unittest discover -s tests -t .)

Configuración

Python 3.12 o posterior (desarrollado con 3.14).

pip install -r requirements.txt

Datos

PrimeVul no se redistribuye aquí. Descargue los splits emparejados desde el repositorio de PrimeVul y colóquelos como

data/primevul/primevul_train_paired.jsonl
data/primevul/primevul_valid_paired.jsonl
data/primevul/primevul_test_paired.jsonl

La selección de pares es determinista dado el archivo, --pairs, --max-lines y --seed. Los datos para el estudio preliminar se descargan mediante python -m sgv.data --dest data/cruxeval.jsonl y python -m sgv.reval --dest data/reval.

Resultados completos

El directorio de resultados completos, con evidence.jsonl (las notas mostradas bajo cada condición) y records.jsonl (cada respuesta del modelo y veredicto) para cada ejecución, junto con llm_cache.sqlite (todas las respuestas de la API), está archivado en Zenodo. Descomprímelo en la raíz del repositorio para que cree results/. Con la caché en su lugar, cada ejecución a continuación se reproduce desde la caché sin ninguna llamada a la API, y cada análisis reproduce las cifras del artículo.

Reproducción de los análisis (no se necesita acceso a la API)

python -m sgv.contrasts results/evidence_full_a                    # RQ1/RQ2 on the study set
python -m sgv.deference results/evidence_full_a                    # RQ3: deference and dispute cue
python -m sgv.mitigation results/evidence_full_a results/mitig_quote results/mitig_alarms \
       results/mitig_reframe results/mitig_provenance --model flash  # RQ4 on the study set
python -m sgv.direction results/h3_* --pooled                      # H3 (registered)
python -m sgv.pooled                                               # post-hoc pooled H2
python -m sgv.annotate score annotation/sheet_claude.csv annotation/sheet_deepseek.csv
python -m sgv.figures --out figures                                # data figures
python -m sgv.diagrams --out figures                               # schematic figures

Ejecución de los experimentos

Los modelos se invocan a través de APIs compatibles con OpenAI (DeepSeek y Alibaba Cloud Bailian/DashScope). Los nombres de los modelos, las instantáneas fijadas y la configuración de las solicitudes están en MODELS en sgv/evidence.py. Las claves de API se leen del entorno (SGV_API_KEY para DeepSeek, SGV_QWEN_KEY para DashScope) o de ~/.sgv_deepseek_key / ~/.sgv_qwen_key. Nunca se escriben en el repositorio.

# Build and inspect the evidence of every condition without calling a model
python -m sgv.evidence --pairs 0 --dry-run --out results/evidence_dry

# One run: conditions, presentation strategy and models are arguments
python -m sgv.evidence --data data/primevul/primevul_test_paired.jsonl --pairs 0 \
       --models flash --conditions C2,C4,C5 --presentation plain --out results/my_run

Opciones principales: --conditions (C0–C5), --presentation (plain, quote, alarms, reframe, provenance, verify, verify-show, commit, commit-verify), --heldout (pares disjuntos del conjunto de estudio), --max-lines, --seed. Los conjuntos de datos del artículo son

ConjuntoDivisión de origenSelección
Estudioprimevul_test_pairedCWEs estructurales, ≤150 líneas, todos los pares elegibles
Retenidoprimevul_test_paired--heldout --max-lines 300 (todas las CWEs, disjunto del conjunto de estudio)
Desarrolloprimevul_valid_pairedtodos los pares elegibles
Prueba (registrado)primevul_train_paired--pairs 300 --seed 7

run_h3.ps1 ejecuta la replicación H3 registrada (siete modelos, C2/C4/C5, presentación simple).

Notas sobre la anotación

La codificación conductual fue anotada por dos LLMs (Claude y deepseek-v4-pro). El autor verificó 20 elementos manualmente. El artículo reporta esto.

Licencia

Código: MIT (ver LICENSE). PrimeVul y los conjuntos de datos del estudio preliminar conservan sus propias licencias.

Citación

@misc{liu2026trusting,
  title  = {Trusting the Tool: Asymmetric Deference of {LLM} Vulnerability Auditors to Static-Analysis Evidence},
  author = {Liu, ZhiHong},
  year   = {2026},
  note   = {Preprint}
}
Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    540
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    476
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    373
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    322
  • 5

    estorides

    grisuno/estorides

    Agrega más de 99 fuentes OSINT gratuitas en paralelo, resuelve entidades en un grafo de conocimiento y exporta STIX 2.1, MISP o GraphML con análisis asistido por LLM.

    278
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    251

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →