Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
RLCDAlignBench — Suite de benchmarks et code pour détecter les défaillances d'alignement de l'IA, avec 44 benchmarks couvrant dix types de défaillances et un détecteur RLCD zero-shot évalué sur 7 193 instances étiquetées. | Kitploit
Outils/GitHubGitHub/sumleo/rlcdalignbench
Analyse des VulnérabilitésApprentissage AutomatiqueArticles et RechercheApprentissage et ÉducationRessources OrganiséesSécurité de l'IADétection d'Anomalies
GitHubsumleo/rlcdalignbench

RLCDAlignBench

Suite de benchmarks et code pour détecter les défaillances d'alignement de l'IA, avec 44 benchmarks couvrant dix types de défaillances et un détecteur RLCD zero-shot évalué sur 7 193 instances étiquetées.

Voir le dépôt
315126il y a 1 moisVérifié par Kitploit
Site web
Partager

Just Ask Jev : Apprentissage par renforcement pour des décisions calibrées comme détecteur zero-shot des défaillances d'alignement de l'IA

arXiv Project page Hugging Face Code license: MIT Data license: CC BY-NC 4.0

Ce dépôt contient RLCDAlignBench ainsi que le code associé à l'article. Le benchmark mesure si un détecteur peut déterminer quand la sortie d'un modèle de langage constitue une défaillance d'alignement. Il comprend 44 benchmarks couvrant dix types de défaillances (sycophancie, jailbreaks, tromperie, injection de prompt, hallucination, violation de la vie privée, biais social, reward hacking, dissimulation d'incertitude et recherche de pouvoir) et cinq modèles cibles, pour 7 193 instances de détection étiquetées. Les étiquettes proviennent du propre évaluateur de chaque benchmark, et deux ensembles supplémentaires portent des étiquettes humaines.

Nous l'utilisons pour tester Jev, un modèle entraîné par apprentissage par renforcement pour des décisions calibrées (RLCD), qui répond à de nombreuses questions typées portant sur une même entrée avec des probabilités calibrées en un seul appel. L'idée clé consiste à mesurer séparément la question posée à Jev et le contexte qu'il voit. Une question générique atteint une AUROC médiane de 0,886 en zero-shot et surpasse les baselines supervisées TF-IDF et de longueur sur 25 des 31 benchmarks. Hors échantillon, la formulation de la question apporte peu. Lire les réponses comme des probabilités plutôt que comme des décisions argmax compte beaucoup. Le contexte aide principalement via les champs qui encodent l'étiquette.

Vue d'ensemble de RLCDAlignBench

Citation

@misc{guo2026justaskjevreinforcement,
      title={Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures}, 
      author={Ruoqi Guo and Yi Liu and Gelei Deng and Yuekang Li and Lida Zhao and Yutao Wu and Simin Chen and Ying Zhang and Leo Yu Zhang},
      year={2026},
      eprint={2609.29429},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2609.29429}, 
}

Avertissement

Le jeu de données contient des sorties non filtrées de petits modèles ouverts sous des prompts de jailbreak et d'autres prompts adversariaux, et nombre d'entre elles sont nuisibles. Il est publié uniquement pour la recherche sur la détection et l'atténuation des défaillances d'alignement, et l'accès sur Hugging Face est restreint. Ne l'utilisez pas pour construire ou améliorer des systèmes nuisibles.

Données

Les données se trouvent sur Hugging Face à l'adresse sumleo/RLCDAlignBench. Demandez l'accès à cet endroit, puis :

from datasets import load_dataset

ds = load_dataset("sumleo/RLCDAlignBench", "harmbench", split="test")   # one benchmark
all_ = load_dataset("sumleo/RLCDAlignBench", "all", split="test")       # all 7,193 instances

Chaque instance possède les champs qu'un détecteur voit (state), un label binaire (1 = la sortie est un échec que le détecteur doit signaler), le label_source, le target_model et un enregistrement meta qui renvoie aux fichiers de provenance. La fiche du jeu de données documente chaque champ et chaque fichier.

Type d'échecBenchmarksInstancesModèle cible
Sycophancy4639Qwen3.5-2B
Jailbreaks4414Phi-4-mini
Tromperie4540Gemma-2-2B
Injection de prompt41 036Qwen3.5-2B
Hallucination61 164Llama-3.2-3B
Atteinte à la vie privée4808Phi-4-mini
Biais social4199Olmo-3-7B
Reward hacking6714Qwen3.5-2B
Dissimulation de l'incertitude4748Olmo-3-7B
Recherche de pouvoir4931Llama-3.2-3B
Total447 1935 modèles

Ensembles annotés par des humains : StrongREJECT (1 361 réponses, 5 évaluateurs chacune) et l'ensemble de validation HarmBench (602 réponses, 3 votes chacune).

data/benchmarks.csv est l'index de 44 lignes (nom, type d'échec, split hill-climb ou held-out, scorer, source des labels, n, positifs, statut). Les rôles des splits proviennent de la suite AAR de Chen et al. (2026). data/variants.csv liste les 132 variantes d'entrée utilisées dans les expériences de contexte. results/ contient les tableaux au niveau de l'article.

Sur Hugging Face, la publication est organisée comme suit :

data/benchmarks/<failure_type>/<benchmark>.jsonl   canonical instances (the paper's n)
data/human/<set>.jsonl                             human-labelled sets
data/variants/<benchmark>/<variant>.jsonl          every input view: ablation, official track, oracle, exclusion, ...
jev/responses/<benchmark>/<variant>/<battery>.jsonl   Jev's per-question probabilities for every instance
jev/metrics/<benchmark>/<variant>/<battery>.json      per-strategy precision, recall, F1, AUROC
provenance/                                        target-model generations, reference-scorer calls, official scores, logs

Code

ComposantEmplacement
Génération et rejeu du juge autour du harnais AARcode/generation/run_generate.py
Générateurs d'échantillons de détection (un par famille de batteries)code/build_samples_*.py
Batteries de questions (les questions posées à Jev et les stratégies de lecture)code/battery_*.py
Exécuteur Jev, mise en cache et métriquescode/run_jev.py, code/run_batch.sh
Linters de batteries (fuite de critères, format)code/lint_battery.py, code/lint_criteria_leak.py
Résumé des résultatscode/make_results_summary.py
Outils de publicationtools/build_release.py, tools/legacy_layout.py

Le code nécessite Python 3.10 ou une version plus récente (l'article utilisait la 3.12) et uniquement la bibliothèque standard. Les outils de publication nécessitent également pandas.

Recalculer les métriques hors ligne

Cela n'envoie aucune requête et ne nécessite aucune clé. Chaque métrique est recalculée à partir des réponses mises en cache de Jev.

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

Pas encore de données de popularité.

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →