Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
RLCDAlignBench — Conjunto de benchmarks y código para detectar fallos de alineación de IA, con 44 benchmarks que abarcan diez tipos de fallos y un detector RLCD zero-shot evaluado en 7.193 instancias etiquetadas. | Kitploit
Herramientas/GitHubGitHub/sumleo/rlcdalignbench
Análisis de VulnerabilidadesAprendizaje AutomáticoPapers e InvestigaciónAprendizaje y EducaciónRecursos CuradosSeguridad de IADetección de Anomalías
GitHubsumleo/rlcdalignbench

RLCDAlignBench

Conjunto de benchmarks y código para detectar fallos de alineación de IA, con 44 benchmarks que abarcan diez tipos de fallos y un detector RLCD zero-shot evaluado en 7.193 instancias etiquetadas.

Ver Repositorio
315126hace 1 mesRevisado por Kitploit
Sitio web
Compartir

Just Ask Jev: Aprendizaje por refuerzo para decisiones calibradas como detector zero-shot de fallos de alineación de IA

arXiv Project page Hugging Face Code license: MIT Data license: CC BY-NC 4.0

Este repositorio contiene RLCDAlignBench y el código que respalda el artículo. El benchmark mide si un detector puede distinguir cuándo la salida de un modelo de lenguaje constituye un fallo de alineación. Incluye 44 benchmarks en diez tipos de fallo (sycophancy, jailbreaks, engaño, inyección de prompts, alucinación, violación de privacidad, sesgo social, reward hacking, ocultación de incertidumbre y búsqueda de poder) y cinco modelos objetivo, para 7,193 instancias de detección etiquetadas. Las etiquetas provienen del propio scorer de cada benchmark, y dos conjuntos adicionales incluyen etiquetas humanas.

Lo usamos para evaluar a Jev, un modelo entrenado con aprendizaje por refuerzo para decisiones calibradas (RLCD), que responde muchas preguntas tipadas sobre una misma entrada con probabilidades calibradas en una sola llamada. La idea clave es medir la pregunta que se le plantea a Jev de forma separada del contexto que ve. Una pregunta genérica alcanza una AUROC mediana de 0.886 en zero-shot y supera a las líneas base supervisadas de TF-IDF y de longitud en 25 de 31 benchmarks. Fuera de muestra, la formulación de la pregunta aporta poco. Interpretar las respuestas como probabilidades en lugar de decisiones argmax importa mucho. El contexto ayuda principalmente a través de campos que codifican la etiqueta.

RLCDAlignBench overview

Citación

@misc{guo2026justaskjevreinforcement,
      title={Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures}, 
      author={Ruoqi Guo and Yi Liu and Gelei Deng and Yuekang Li and Lida Zhao and Yutao Wu and Simin Chen and Ying Zhang and Leo Yu Zhang},
      year={2026},
      eprint={2609.29429},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2609.29429}, 
}

Descargo de responsabilidad

El conjunto de datos contiene salidas sin filtrar de pequeños modelos abiertos bajo jailbreak y otros prompts adversarios, y muchas de ellas son dañinas. Se publica únicamente para la investigación sobre la detección y mitigación de fallos de alineación, y el acceso en Hugging Face está restringido. No lo utilices para construir o mejorar sistemas dañinos.

Datos

Los datos se encuentran en Hugging Face en sumleo/RLCDAlignBench. Solicita acceso allí, luego:

from datasets import load_dataset

ds = load_dataset("sumleo/RLCDAlignBench", "harmbench", split="test")   # one benchmark
all_ = load_dataset("sumleo/RLCDAlignBench", "all", split="test")       # all 7,193 instances

Cada instancia tiene los campos que ve un detector (state), una label binaria (1 = la salida es un fallo que el detector debe señalar), el label_source, el target_model y un registro meta que enlaza con los archivos de procedencia. La ficha del conjunto de datos documenta cada campo y archivo.

Tipo de falloBenchmarksInstanciasModelo objetivo
Sycophancy4639Qwen3.5-2B
Jailbreaks4414Phi-4-mini
Deception4540Gemma-2-2B
Prompt injection41,036Qwen3.5-2B
Hallucination61,164Llama-3.2-3B
Privacy violation4808Phi-4-mini
Social bias4199Olmo-3-7B
Reward hacking6714Qwen3.5-2B
Concealing uncertainty4748Olmo-3-7B
Power seeking4931Llama-3.2-3B
Total447,1935 modelos

Conjuntos etiquetados por humanos: StrongREJECT (1.361 respuestas, 5 evaluadores cada una) y el conjunto de validación de HarmBench (602 respuestas, 3 votos cada una).

data/benchmarks.csv es el índice de 44 filas (nombre, tipo de fallo, partición hill-climb o held-out, scorer, origen de la etiqueta, n, positivos, estado). Los roles de las particiones provienen de la suite AAR de Chen et al. (2026). data/variants.csv enumera las 132 variantes de entrada utilizadas en los experimentos de contexto. results/ contiene las tablas a nivel de artículo.

En Hugging Face, la publicación está organizada de la siguiente manera:

data/benchmarks/<failure_type>/<benchmark>.jsonl   canonical instances (the paper's n)
data/human/<set>.jsonl                             human-labelled sets
data/variants/<benchmark>/<variant>.jsonl          every input view: ablation, official track, oracle, exclusion, ...
jev/responses/<benchmark>/<variant>/<battery>.jsonl   Jev's per-question probabilities for every instance
jev/metrics/<benchmark>/<variant>/<battery>.json      per-strategy precision, recall, F1, AUROC
provenance/                                        target-model generations, reference-scorer calls, official scores, logs

Código

ComponenteUbicación
Generación y repetición del juez en torno al arnés AARcode/generation/run_generate.py
Constructores de muestras de detección (uno por familia de baterías)code/build_samples_*.py
Baterías de preguntas (las preguntas planteadas a Jev y las estrategias de lectura)code/battery_*.py
Ejecutor de Jev, caché y métricascode/run_jev.py, code/run_batch.sh
Linters de baterías (fuga de criterios, formato)code/lint_battery.py, code/lint_criteria_leak.py
Resumen de resultadoscode/make_results_summary.py
Herramientas de publicacióntools/build_release.py, tools/legacy_layout.py

El código requiere Python 3.10 o superior (el artículo utilizó 3.12) y solo la biblioteca estándar. Las herramientas de publicación también requieren pandas.

Recalcular las métricas sin conexión

Esto no envía solicitudes ni necesita claves. Cada métrica se recalcula a partir de las respuestas almacenadas en caché de Jev.

pip install -U "huggingface_hub[cli]" pandas
huggingface-cli login                                   # after your access request is approved
huggingface-cli download sumleo/RLCDAlignBench --repo-type dataset --local-dir hf
Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

Sin datos de popularidad aún.

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →