Skip to content
KitploitKITPLOIT
StrumentiExploitsBlog
Log in
Invia
StrumentiExploitsBlog
Invia

Strumenti di Hacking, PenTest e Cybersecurity per il tuo Arsenale di Sicurezza!

Kitploit è una directory di strumenti di hacking, cybersecurity e pentesting. Scopri gli ultimi aggiornamenti dei progetti per trovare vulnerabilità, analizzare sistemi, automatizzare i test e rafforzare la tua sicurezza.

FeedContattoPrivacy© 2026 Kitploit

Directory degli strumenti

Categorie

Vedi tutte le categorie
Loading categories
Strumenti/GitHubGitHub/harry24k/cybiasbench
Analisi delle VulnerabilitàSfruttamento di Applicazioni WebPenetration TestingMachine LearningPaper e RicercaApprendimento e FormazioneRisorse CurateSicurezza dell'IALab e Pratica
GitHubharry24k/cybiasbench

CyBiasBench

525 giorni faNon ancora revisionato

Benchmarking del bias negli agenti LLM per scenari di attacco informatico

Vedi Repository
Condividi

CyBiasBench

Un benchmark per il bias comportamentale negli agenti LLM di sicurezza offensiva. Ogni record riassume la sessione di un agente contro un'applicazione target intenzionalmente vulnerabile, catturando non solo se gli attacchi hanno avuto successo ma come l'agente ha scelto, sequenziato e perseverato nelle famiglie di attacco.

Stato: rilascio pubblico che accompagna il paper della NeurIPS 2026 Evaluations & Datasets Track. Paper: https://arxiv.org/abs/2605.07830. Dashboard interattiva dei risultati: https://trustworthyai.co.kr/CyBiasBench/. Dataset su Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.

Cosa contiene

  • 5 agenti — claude, codex, gemini, kimi, glm
  • 3 applicazioni target vulnerabili — juice-shop, mlflow, vuln-shop
  • Due impostazioni:
    • Osservazione del bias (scelta libera): 4 condizioni di prompt × 3 ripetizioni = 180 sessioni. Le condizioni incrociano la guida del prompt (guided / unguided) con la struttura dell'output (structured / unstructured).
    • Iniezione del bias (famiglia richiesta): 10 famiglie di attacco × 3 ripetizioni = 450 sessioni. A ogni sessione viene chiesto di concentrarsi su una famiglia specifica (SQLi, CMDi, SSRF, IDOR, …).
  • 11 colonne per riga nell'impostazione di osservazione del bias (conteggi, ASR di sessione, entropia, famiglia più selezionata, Selection CR1, token totali). 13 colonne per riga nell'impostazione di iniezione del bias (compliance, ASR della famiglia richiesta, stessi conteggi).
  • Tabelle complementari in formato esteso con suddivisioni per (sessione, famiglia di attacco).
  • Tracce a livello di richiesta sanificate (schema della Tabella 5 del paper): 19.116 righe (osservazione) + 258.019 righe (iniezione) di richieste HTTP con etichette di famiglia di attacco, identificatori delle regole del classificatore, mappature CAPEC / CWE e flag di successo più l'ordine delle richieste per sessione. Corpi, header, timestamp assoluti e temporizzazioni dettagliate sono rimossi.

Il paper analizza 10 famiglie di attacco (sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) scelte tramite l'analisi CAPEC + CWE + OWASP WSTG come le famiglie più direttamente testabili contro le tre applicazioni target. Il classificatore a livello di traccia eredita un'undicesima etichetta (deserialization) dalla famiglia di regole 944 di OWASP CRS; non è mai un target richiesto e rappresenta <0,1% delle righe di traccia. Consultare schema/glossary.md §"Attack-family scope" per i dettagli completi.

Rilascio totale: 630 record aggregati + 277.135 righe di traccia ≈ 48 MB.

Interpretazione e limiti

Queste misurazioni descrivono cinque snapshot di agenti distribuiti su tre target web, non classifiche stabili dei modelli. L'allocazione riflette il modello, il system prompt, la CLI, gli strumenti e l'interazione con il target. La disponibilità delle vulnerabilità, la scopribilità, la difficoltà di esecuzione e i costi delle richieste influenzano anch'essi le quote delle famiglie; il design non identifica una preferenza intrinseca né separa causalmente questi fattori.

L'analisi di bootstrap delle sessioni con le etichette automatiche originali non rileva alcun miglioramento nell'ASR medio aggregato delle sessioni sotto steering. Non stabilisce una riduzione affidabile per ogni agente. Unità alternative di conteggio delle richieste preservano la separazione tra agenti, pur modificandone la magnitudine. Il valore decisionale su scala più ampia, la superiorità rispetto a semplici euristiche di diversità e la generalizzazione a target non visti restano questioni aperte. Consultare HOW_TO_REPRODUCE.md per le analisi riproducibili.

Avvio rapido

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

Oppure carica direttamente CSV / Parquet:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

La stessa release è disponibile anche su Hugging Face. Con datasets installato (pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

Ciascuna delle sei tabelle è una configurazione separata. Lo split test contiene la tabella completa; non indica una partizione di hold-out.

Riproduzione: consulta HOW_TO_REPRODUCE.md per la guida alla riproduzione a due livelli (R1 ri-analisi dalle tracce rilasciate; R3 ri-esperimento completo tramite benchmark/).

Struttura

Scarica lo strumento

Più Popolari

Vedi tutti →

Scopri gli strumenti più utilizzati dalla nostra community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Il toolkit OSINT definitivo: grafo di indagine, punteggio di affidabilità, famiglie di alias, mappa, timeline e report. 49 moduli, oltre 400 siti, nessuna chiave API richiesta.

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # App di esecuzione con un tocco GhostLock (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    Piattaforma di penetration testing autonoma multi-agente basata su LLM con agenti planner/worker, grafi di asset e di esplorazione, registrazione del traffico MITM e retesting delle vulnerabilità.

    377
  • 4

    redforge

    cybersecurity91/redforge

    Toolkit red team lato browser con 102 strumenti offline per ricognizione, generazione di payload, attacchi alle credenziali, crittografia, codifica e reportistica dell'engagement.

    324
  • 5

    estorides

    grisuno/estorides

    Aggrega in parallelo oltre 99 fonti OSINT gratuite, risolve le entità in un knowledge graph ed esporta in STIX 2.1, MISP o GraphML con analisi assistita da LLM.

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Il sistema d'azione per la cybersecurity nativa AI—dove l'intento diventa esecuzione governata, le evidenze diventano memoria operativa, e ogni operazione migliora la successiva.

    252

Esplora tutti gli strumenti

Sfoglia la nostra collezione di strumenti

Vedi tutti gli strumenti →