Skip to content
KitploitKITPLOIT
FerramentasExploitsBlog
Log in
Enviar
FerramentasExploitsBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

FeedsContatoPrivacidade© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
CyBiasBench — Benchmarking de viés em agentes LLM para cenários de ciberataque | Kitploit
Ferramentas/GitHubGitHub/harry24k/cybiasbench
Análise de VulnerabilidadesExploração de Aplicações WebTestes de PenetraçãoAprendizado de MáquinaPapers e PesquisaAprendizado e EducaçãoRecursos CuradosSegurança de IALabs e Prática
GitHubharry24k/cybiasbench

CyBiasBench

Benchmarking de viés em agentes LLM para cenários de ciberataque

Ver Repositório
5há 25 diasAinda não revisado
Compartilhar

CyBiasBench

Um benchmark para viés comportamental em agentes de segurança ofensiva baseados em LLM. Cada registro resume a sessão de um agente contra uma aplicação-alvo intencionalmente vulnerável, capturando não apenas se os ataques tiveram sucesso, mas como o agente escolheu, sequenciou e persistiu em famílias de ataques.

Status: lançamento público que acompanha o artigo da NeurIPS 2026 Evaluations & Datasets Track. Artigo: https://arxiv.org/abs/2605.07830. Painel interativo de resultados: https://trustworthyai.co.kr/CyBiasBench/. Conjunto de dados no Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.

O que está incluído

  • 5 agentes — claude, codex, gemini, kimi, glm
  • 3 aplicações-alvo vulneráveis — juice-shop, mlflow, vuln-shop
  • Duas configurações:
    • Observação de viés (escolha livre): 4 condições de prompt × 3 repetições = 180 sessões. As condições combinam orientação de prompt (guided / unguided) com estrutura de saída (structured / unstructured).
    • Injeção de viés (família solicitada): 10 famílias de ataques × 3 repetições = 450 sessões. Cada sessão é solicitada a focar em uma família específica (SQLi, CMDi, SSRF, IDOR, …).
  • 11 colunas por linha na configuração de observação de viés (contagens, ASR da sessão, entropia, família mais selecionada, Selection CR1, tokens totais). 13 colunas por linha na configuração de injeção de viés (conformidade, ASR da família solicitada, mesmas contagens).
  • Tabelas complementares de formato longo com detalhamentos por (sessão, família de ataque).
  • Rastros em nível de requisição sanitizados (esquema da Tabela 5 do artigo): 19.116 linhas (observação) + 258.019 linhas (injeção) de requisições HTTP com rótulos de família de ataque, identificadores de regras do classificador, mapeamentos CAPEC / CWE e sinalizadores de sucesso, além da ordem de requisições por sessão. Corpos, cabeçalhos, timestamps absolutos e temporização refinada são removidos.

O artigo analisa 10 famílias de ataques (sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) escolhidas por meio de análise CAPEC + CWE + OWASP WSTG como as famílias mais diretamente testáveis contra as três aplicações-alvo. O classificador em nível de rastro herda um décimo primeiro rótulo (deserialization) da família de regras 944 do OWASP CRS; ele nunca é um alvo solicitado e representa <0,1% das linhas de rastro. Consulte schema/glossary.md §"Attack-family scope" para detalhes completos.

Lançamento total: 630 registros agregados + 277.135 linhas de rastro ≈ 48 MB.

Interpretação e limitações

Essas medições descrevem cinco snapshots de agentes implantados em três alvos web, não rankings estáveis de modelos. A alocação reflete o modelo, o prompt de sistema, a CLI, as ferramentas e a interação com o alvo. A disponibilidade de vulnerabilidades, a descobribilidade, a dificuldade de execução e os custos de requisição também afetam as proporções de famílias; o design não identifica preferência intrínseca nem separa esses fatores causalmente.

A análise de inicialização de sessão sob os rótulos automáticos originais não encontra melhoria no ASR médio agregado das sessões sob direcionamento. Ela não estabelece uma redução confiável para cada agente. Unidades alternativas de contagem de requisições preservam a separação entre agentes, embora alterem sua magnitude. O valor de decisão em maior escala, a superioridade em relação a heurísticas simples de diversidade e a generalização para alvos não vistos permanecem em aberto. Consulte HOW_TO_REPRODUCE.md para as análises reproduzíveis.

Início rápido

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

Ou carregue CSV / Parquet diretamente:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

O mesmo lançamento também está disponível no Hugging Face. Com datasets instalado (pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

Cada uma das seis tabelas é uma configuração separada. A divisão test contém a tabela completa; ela não denota uma partição reservada.

Reprodução: consulte HOW_TO_REPRODUCE.md para o guia de reprodução em dois níveis (R1 reanálise a partir dos traces liberados; R3 reexperimento completo via benchmark/).

Estrutura

Baixar ferramenta

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 O kit definitivo de OSINT: grafo de investigação, pontuação de confiança, famílias de alias, mapa, linha do tempo e relatórios. 49 módulos, mais de 400 sites, sem necessidade de chaves de API.

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicativo de Execução em Um Toque GhostLock (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    Plataforma autônoma de testes de penetração multiagente com LLM, com agentes planejador/executor, grafos de ativos e de exploração, registro de tráfego MITM e reteste de vulnerabilidades.

    377
  • 4

    redforge

    cybersecurity91/redforge

    Kit de ferramentas de red team do lado do navegador com 102 ferramentas offline para reconhecimento, geração de payloads, ataques a credenciais, criptografia, codificação e relatórios de engajamento.

    324
  • 5

    estorides

    grisuno/estorides

    Agrega mais de 99 fontes OSINT gratuitas em paralelo, resolve entidades em um grafo de conhecimento e exporta STIX 2.1, MISP ou GraphML com análise assistida por LLM.

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    O sistema de ação para cibersegurança nativa em IA—onde a intenção se torna execução governada, a evidência se torna memória operacional, e cada operação melhora a próxima.

    252

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →