Skip to content
KitploitKITPLOIT
StrumentiExploitsBlog
Log in
Invia
StrumentiExploitsBlog
Invia

Strumenti di Hacking, PenTest e Cybersecurity per il tuo Arsenale di Sicurezza!

Kitploit è una directory di strumenti di hacking, cybersecurity e pentesting. Scopri gli ultimi aggiornamenti dei progetti per trovare vulnerabilità, analizzare sistemi, automatizzare i test e rafforzare la tua sicurezza.

FeedContattoPrivacy© 2026 Kitploit

Directory degli strumenti

Categorie

Vedi tutte le categorie
Loading categories
qrefusal — La quantizzazione a 4 bit è più che rumore per il comportamento di sicurezza di un modello di chat? Codice, pre-registrazione ed etichette. | Kitploit
Strumenti/GitHubGitHub/egekaya1/qrefusal
Machine LearningPaper e RicercaApprendimento e FormazioneSicurezza dell'IA
GitHubegekaya1/qrefusal

qrefusal

La quantizzazione a 4 bit è più che rumore per il comportamento di sicurezza di un modello di chat? Codice, pre-registrazione ed etichette.

Vedi Repository
13h 22m faNon ancora revisionato
Condividi

La quantizzazione a 4 bit è più che rumore per il comportamento di sicurezza di un modello chat?

Attribuire i cambiamenti comportamentali con perturbazioni appaiate

Codice e analisi per un audit pre-registrato di come la quantizzazione a 4 bit modifica i rifiuti dei piccoli modelli chat, con controlli che chiedono se un cambiamento proviene dalla quantizzazione o conseguirebbe da qualsiasi perturbazione della stessa entità.

Paper: arXiv:2611.22186

Di cosa si tratta

I modelli chat che girano su telefoni e laptop sono di solito copie a 4 bit del modello che è stato valutato per la sicurezza. Gli audit di tali copie sono discordanti: alcuni rilevano che la quantizzazione indebolisce il rifiuto, altri che non lo fa, altri ancora che i modelli rifiutano di più. Una build a 4 bit è una particolare perturbazione di ogni peso, e esistono molte altre perturbazioni della stessa entità. Quindi uno spostamento nei suoi rifiuti potrebbe derivare dalla struttura dell'errore di arrotondamento, oppure dalla propensione del modello stesso sotto qualsiasi sollecitazione di quella entità.

Testiamo tre modelli chat da 3-4B (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) nei formati round-to-nearest che MLX distribuisce per Apple Silicon. Ogni confronto è appaiato e letto rispetto a una build a 8 bit, che lascia invariata la verosimiglianza. In breve:

  • Avvio forzato. Quando vengono precompilati i primi otto token di una risposta conforme, la build predefinita a 4 bit rende Qwen2.5-3B più propenso a continuarla. Llama-3.2-3B e Qwen3-4B non si muovono.
  • Avvio libero. Su 400 prompt jailbreak tenuti da parte senza prefill, Llama-3.2-3B a 4 bit diventa meno conforme. In una verifica esplorativa rifiuta anche più richieste benigne scritte in stile jailbreak, mentre la sua gestione delle richieste sicure ordinarie resta invariata.
  • Controlli. Sostituiamo l'errore di arrotondamento con la sua immagine speculare, uno shuffle all'interno del gruppo e rumore gaussiano di pari entità, lo scaliamo, e lo confrontiamo con altri quantizzatori nello stesso formato (AWQ, GPTQ) e con un secondo runtime (llama.cpp). Misuriamo inoltre l'effetto di ciascuna build sulla direzione di rifiuto del modello. Insieme, questi elementi attribuiscono ogni spostamento al modello o all'arrotondamento.

I numeri dietro ogni frase del paper sono generati da un unico script (vedi Riprodurre il paper).

Struttura

PercorsoContenuti
PREREG.mdLa pre-registrazione e i suoi cinque addenda datati, ciascuno fissato prima dei dati a cui si riferisce
qrefusal/Codice condiviso: formattazione chat con una data di template fissata, decodifica greedy e campionata, un forward pass strato per strato con hook (MLX non ha un'API di hook), direzioni di rifiuto, statistiche appaiate
runs/Uno script per esperimento; ciascuno scrive in results/<experiment>/
analysis/make_numbers.pyRigenera ogni numero del paper dai file di risultato grezzi, con controlli di integrità
analysis/figures.pyDisegna le figure da paper/numbers.json
paper/Sorgente LaTeX; i numeri entrano nel testo solo come macro generate dall'analisi
scripts/Conversione dei modelli, recupero dei dati e le code di esecuzione
tests/Test di identità per il forward pass con hook e per le statistiche

Gli esperimenti, nell'ordine del paper

PaperScriptCosa fa
§3 Setupscripts/convert.shCrea copie bf16, 8-bit, 4-bit (gruppo 64 e 32), miste 4/6, MXFP4, AWQ e GPTQ di un modello
§3 Setupruns/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.pyDirezioni di rifiuto per layer; una copia bf16 abliterata; i prefissi compiacenti usati per il prefill
§3 Setupruns/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.pyGiudice dei contenuti (Qwen2.5-14B), Llama Guard 3 e il foglio di etichettatura umana cieco in due fasi
§4 Instabilità delle etichette e il null a 8-bitruns/e0_determinism.py, runs/a2_depth.py --tempIdentità della riesecuzione greedy; la soglia del seed di campionamento
§5.1 Avvio forzatoruns/a2_depth.py, runs/r1.pyProfondità di prefill k = 0, 2, 8; prefisso generico (--fixed_prefix); controllo di lunghezza (--max_tokens 384 --sample 150)
§5.2 Avvio liberoruns/x2_sneaky.pySet di sviluppo e di test held-out di WildJailbreak; SORRY-Bench
§6 Due spiegazioni più sempliciruns/x1_xstest.py, runs/c1_capability.pyEccesso di rifiuto su XSTest e su prompt benigni in stile jailbreak; verosimiglianza e bit per peso
§7 Controlli a perturbazione appaiataruns/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.pyBuild a perturbazione appaiata e scalate con un gate di validazione; errore di arrotondamento per matrice; il runtime llama.cpp
§8 Proiezioni sulla direzione di rifiutoruns/m1_direction.pyProiezioni sulla direzione di rifiuto bf16
Appendiceruns/a1_prefill.py, runs/r5_runon.pyIl pilota del prefill; un errore di fine turno in MXFP4 Qwen2.5

Riprodurre il paper

Hardware: un Mac Apple Silicon con 16 GB di memoria (abbiamo usato un M2 Pro). L'insieme completo delle esecuzioni richiede diversi giorni di tempo macchina; i modelli vengono caricati uno alla volta.

pip install -e ".[test]"                    # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh                        # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b   # needed by the tests and Appendix G
python -m pytest tests

Tre set di prompt vengono ottenuti dai rispettivi autori e collocati sotto data/:

  • XSTest (Röttger et al., 2024): data/xstest/xstest_prompts.csv
  • SORRY-Bench (Xie et al., 2024; con accesso limitato su Hugging Face): data/sorry/question*.jsonl
  • Set di valutazione WildJailbreak (Jiang et al., 2024; con accesso limitato su Hugging Face): data/wildjailbreak/eval/eval.tsv

Le code di esecuzione in scripts/ forniscono i comandi per le analisi registrate successivamente, nell'ordine in cui le abbiamo eseguite; la tabella sopra riporta gli script per le restanti. Richiedono un ambiente conda denominato ml, e runs/g1_gguf.py richiede llama.cpp (commit 0ec4027) in ../tools/llama.cpp-src e llama-quantize di Homebrew. Ogni esperimento salta gli output già esistenti, quindi una coda può essere interrotta e riavviata. Poi:

python analysis/make_numbers.py    # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py         # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex

Pre-registrazione

PREREG.md fissa il test primario, le famiglie secondarie, il disegno delle etichette umane, il test held-out a partenza libera e la regola decisionale dei controlli. Ogni addendum è datato ed è stato fissato prima che esistessero i dati a cui si riferisce. L'appendice del paper elenca cosa è stato registrato e quando e le modifiche al piano. I commit datati sono in un repository di sviluppo privato (hash 50d0225, 2c53665, 86c93e0, 3e2ea52, 02e72c5, 09e49aa), disponibili su richiesta; la cronologia di questo repository inizia con la release. Tre frasi che rimandavano a note di pianificazione private sono state rimosse da PREREG.md; nient'altro è stato modificato.

Cosa è e cosa non è rilasciato

Scarica lo strumento

Più Popolari

Vedi tutti →

Scopri gli strumenti più utilizzati dalla nostra community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Il toolkit OSINT definitivo: grafo di indagine, punteggio di affidabilità, famiglie di alias, mappa, timeline e report. 49 moduli, oltre 400 siti, nessuna chiave API richiesta.

    654
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # App di esecuzione con un tocco GhostLock (CVE-2026-43499)

    490
  • 3

    ARTEX

    baarai/artex

    Piattaforma di penetration testing autonoma multi-agente basata su LLM con agenti planner/worker, grafi di asset e di esplorazione, registrazione del traffico MITM e retesting delle vulnerabilità.

    395
  • 4

    redforge

    cybersecurity91/redforge

    Toolkit red team lato browser con 102 strumenti offline per ricognizione, generazione di payload, attacchi alle credenziali, crittografia, codifica e reportistica dell'engagement.

    336
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Il sistema d'azione per la cybersecurity nativa AI—dove l'intento diventa esecuzione governata, le evidenze diventano memoria operativa, e ogni operazione migliora la successiva.

    258
  • 6

    antifox

    antifox-ai/antifox

    Piattaforma multi-agente di penetration testing autonoma basata sull'IA che esegue ricognizione, scoperta della superficie d'attacco, validazione dello sfruttamento e consegna di report supportati da evidenze.

    252

Esplora tutti gli strumenti

Sfoglia la nostra collezione di strumenti

Vedi tutti gli strumenti →