Skip to content
KitploitKITPLOIT
FerramentasExploitsBlog
Log in
Enviar
FerramentasExploitsBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

FeedsContatoPrivacidade© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
RLCDAlignBench — Conjunto de benchmarks e código para detectar falhas de alinhamento de IA, com 44 benchmarks abrangendo dez tipos de falha e um detector RLCD zero-shot avaliado em 7.193 instâncias rotuladas. | Kitploit
Ferramentas/GitHubGitHub/sumleo/rlcdalignbench
Análise de VulnerabilidadesAprendizado de MáquinaPapers e PesquisaAprendizado e EducaçãoRecursos CuradosSegurança de IADetecção de Anomalias
GitHubsumleo/rlcdalignbench

RLCDAlignBench

Conjunto de benchmarks e código para detectar falhas de alinhamento de IA, com 44 benchmarks abrangendo dez tipos de falha e um detector RLCD zero-shot avaliado em 7.193 instâncias rotuladas.

Ver Repositório
315126há 1 mêsRevisado pelo Kitploit
Site
Compartilhar

Just Ask Jev: Aprendizado por Reforço para Decisões Calibradas como um Detector Zero-Shot de Falhas de Alinhamento de IA

arXiv Project page Hugging Face Code license: MIT Data license: CC BY-NC 4.0

Este repositório contém o RLCDAlignBench e o código por trás do artigo. O benchmark mede se um detector consegue identificar quando a saída de um modelo de linguagem é uma falha de alinhamento. Ele possui 44 benchmarks em dez tipos de falha (sycophancy, jailbreaks, deception, prompt injection, hallucination, privacy violation, social bias, reward hacking, concealing uncertainty e power seeking) e cinco modelos-alvo, totalizando 7.193 instâncias de detecção rotuladas. Os rótulos vêm do próprio scorer de cada benchmark, e dois conjuntos adicionais possuem rótulos humanos.

Usamos esse benchmark para testar o Jev, um modelo treinado com aprendizado por reforço para decisões calibradas (RLCD), que responde a muitas perguntas tipadas sobre uma única entrada com probabilidades calibradas em uma única chamada. A ideia central é medir a pergunta feita ao Jev separadamente do contexto que ele vê. Uma pergunta genérica alcança uma AUROC mediana de 0,886 em zero-shot e supera as baselines supervisionadas de TF-IDF e de comprimento em 25 de 31 benchmarks. Fora da amostra, a formulação da pergunta acrescenta pouco. Ler as respostas como probabilidades em vez de decisões argmax faz muita diferença. O contexto ajuda principalmente por meio de campos que codificam o rótulo.

Visão geral do RLCDAlignBench

Citação

@misc{guo2026justaskjevreinforcement,
      title={Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures}, 
      author={Ruoqi Guo and Yi Liu and Gelei Deng and Yuekang Li and Lida Zhao and Yutao Wu and Simin Chen and Ying Zhang and Leo Yu Zhang},
      year={2026},
      eprint={2609.29429},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2609.29429}, 
}

Aviso legal

O conjunto de dados contém saídas não filtradas de pequenos modelos abertos sob jailbreak e outros prompts adversariais, e muitas delas são prejudiciais. Ele é disponibilizado apenas para pesquisa sobre detecção e mitigação de falhas de alinhamento, e o acesso no Hugging Face é restrito. Não o utilize para construir ou aprimorar sistemas prejudiciais.

Dados

Os dados estão no Hugging Face em sumleo/RLCDAlignBench. Solicite acesso lá, depois:

from datasets import load_dataset

ds = load_dataset("sumleo/RLCDAlignBench", "harmbench", split="test")   # one benchmark
all_ = load_dataset("sumleo/RLCDAlignBench", "all", split="test")       # all 7,193 instances

Cada instância tem os campos que um detector vê (state), um label binário (1 = a saída é uma falha que o detector deve sinalizar), o label_source, o target_model e um registro meta que remete aos arquivos de proveniência. O cartão do dataset documenta cada campo e arquivo.

Tipo de falhaBenchmarksInstânciasModelo alvo
Bajulação4639Qwen3.5-2B
Jailbreaks4414Phi-4-mini
Engano4540Gemma-2-2B
Injeção de prompt41,036Qwen3.5-2B
Alucinação61,164Llama-3.2-3B
Violação de privacidade4808Phi-4-mini
Viés social4199Olmo-3-7B
Reward hacking6714Qwen3.5-2B
Ocultação de incerteza4748Olmo-3-7B
Busca por poder4931Llama-3.2-3B
Total447,1935 modelos

Conjuntos rotulados por humanos: StrongREJECT (1.361 respostas, 5 avaliadores cada) e o conjunto de validação HarmBench (602 respostas, 3 votos cada).

data/benchmarks.csv é o índice de 44 linhas (nome, tipo de falha, divisão hill-climb ou held-out, scorer, origem do rótulo, n, positivos, status). Os papéis das divisões vêm da suíte AAR de Chen et al. (2026). data/variants.csv lista todas as 132 variantes de entrada usadas nos experimentos de contexto. results/ contém as tabelas do nível do artigo.

No Hugging Face, o lançamento está organizado como:

data/benchmarks/<failure_type>/<benchmark>.jsonl   canonical instances (the paper's n)
data/human/<set>.jsonl                             human-labelled sets
data/variants/<benchmark>/<variant>.jsonl          every input view: ablation, official track, oracle, exclusion, ...
jev/responses/<benchmark>/<variant>/<battery>.jsonl   Jev's per-question probabilities for every instance
jev/metrics/<benchmark>/<variant>/<battery>.json      per-strategy precision, recall, F1, AUROC
provenance/                                        target-model generations, reference-scorer calls, official scores, logs

Código

ComponenteLocalização
Geração e reprodução do juiz em torno do harness AARcode/generation/run_generate.py
Construtores de amostras de detecção (um por família de baterias)code/build_samples_*.py
Baterias de perguntas (as perguntas feitas ao Jev e as estratégias de leitura)code/battery_*.py
Executor do Jev, cache e métricascode/run_jev.py, code/run_batch.sh
Linters de baterias (vazamento de critérios, formato)code/lint_battery.py, code/lint_criteria_leak.py
Resumo dos resultadoscode/make_results_summary.py
Ferramentas de releasetools/build_release.py, tools/legacy_layout.py

O código requer Python 3.10 ou superior (o artigo utilizou 3.12) e apenas a biblioteca padrão. As ferramentas de release também requerem pandas.

Recalcular as métricas offline

Isto não envia pedidos e não requer chaves. Todas as métricas são recalculadas a partir das respostas em cache do Jev.

pip install -U "huggingface_hub[cli]" pandas
huggingface-cli login                                   # after your access request is approved
huggingface-cli download sumleo/RLCDAlignBench --repo-type dataset --local-dir hf
Baixar ferramenta

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 O kit definitivo de OSINT: grafo de investigação, pontuação de confiança, famílias de alias, mapa, linha do tempo e relatórios. 49 módulos, mais de 400 sites, sem necessidade de chaves de API.

    717
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicativo de Execução em Um Toque GhostLock (CVE-2026-43499)

    504
  • 3

    ARTEX

    baarai/artex

    Plataforma autônoma de testes de penetração multiagente com LLM, com agentes planejador/executor, grafos de ativos e de exploração, registro de tráfego MITM e reteste de vulnerabilidades.

    402
  • 4

    redforge

    cybersecurity91/redforge

    Kit de ferramentas de red team do lado do navegador com 102 ferramentas offline para reconhecimento, geração de payloads, ataques a credenciais, criptografia, codificação e relatórios de engajamento.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    O sistema de ação para cibersegurança nativa em IA—onde a intenção se torna execução governada, a evidência se torna memória operacional, e cada operação melhora a próxima.

    260
  • 6

    antifox

    antifox-ai/antifox

    Plataforma de testes de penetração autónoma com multiagentes de IA que executa reconhecimento, descoberta de superfície de ataque, validação de exploração e entrega de relatórios com evidências.

    259

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →