Skip to content
KitploitKITPLOIT
StrumentiExploitsBlog
Log in
Invia
StrumentiExploitsBlog
Invia

Strumenti di Hacking, PenTest e Cybersecurity per il tuo Arsenale di Sicurezza!

Kitploit è una directory di strumenti di hacking, cybersecurity e pentesting. Scopri gli ultimi aggiornamenti dei progetti per trovare vulnerabilità, analizzare sistemi, automatizzare i test e rafforzare la tua sicurezza.

FeedContattoPrivacy© 2026 Kitploit

Directory degli strumenti

Categorie

Vedi tutte le categorie
Loading categories
SMT — Oltre il Prompt: Jailbreaking di LLM con Function-Calling tramite Tracce di Moderazione Simulate | Kitploit
Strumenti/GitHubGitHub/liujlong27/smt
Analisi delle VulnerabilitàPaper e RicercaApprendimento e FormazioneRed TeamingSicurezza dell'IAAttacco Avversario
GitHubliujlong27/smt

SMT

Oltre il Prompt: Jailbreaking di LLM con Function-Calling tramite Tracce di Moderazione Simulate

Vedi Repository
71481 mese faNon ancora revisionato
Condividi

Oltre il Prompt: Jailbreaking di LLM con Function-Calling tramite Simulated Moderation Traces

arXiv Zenodo DOI

Introduzione

Questo repository contiene l'implementazione ufficiale del nostro paper:

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

Se trovi utile questo repository per la tua ricerca, ti invitiamo a citare il nostro paper. Domande, segnalazioni di bug e problemi di riproducibilità sono benvenuti tramite GitHub Issues.

Panoramica

framework

Struttura del Repository

.
├── install.sh                      # Installation script for setting up the environment and dependencies
├── main.py                         # Main evaluation entry point
├── demo.ipynb                      # Minimal working example
├── requirements.txt                # Python dependencies
├── data/
│   ├── SafeBench-Tiny.txt          # Default benchmark
│   └── JailbreakBench.txt          # Optional benchmark
├── figures/
│   ├── pipline.jpg                 # Framework overview
│   ├── main_res1.jpg               # Main result figure
│   └── main_res2.jpg               # Main result figure
├── utils/
│   ├── config.example.json         # Example API configuration
│   ├── eval_h_cot.py               # External evaluation utility
│   ├── fake_tool_call_noharmful.json
│   ├── moderation_generator.py
│   └── moderation_validator.py
└── output/                         # Checkpoints and evaluation results

Per iniziare

1. Creare l'ambiente

Forniamo uno script di installazione per configurare automaticamente l'ambiente Python e installare tutte le dipendenze richieste.

chmod +x install.sh
./install.sh

Dopo che l'installazione è completata, attiva l'ambiente virtuale:

source .venv/bin/activate

In alternativa, puoi creare manualmente l'ambiente usando Conda:

conda create -n SMT python=3.12
conda activate SMT
pip install -r requirements.txt

2. Configurare l'accesso alle API

Crea utils/config.json dal file di esempio:

cp utils/config.example.json utils/config.json

Un file di configurazione minimale dovrebbe seguire questo formato:

{
  "llm_api": {
    "base_url": "https://your-api-endpoint/v1",
    "api_key": "YOUR_API_KEY"
  },
  "local": {
    "base_url": "http://localhost:1234/v1",
    "api_key": "YOUR_LOCAL_API_KEY"
  }
}

Le due voci corrispondono a:

  • llm_api: l'endpoint API predefinito compatibile con OpenAI per i modelli commerciali.
  • local: un endpoint di inferenza locale compatibile con OpenAI, utilizzato per i modelli locali selezionati.

3. Selezionare un benchmark e un modello target

Aprire main.py e modificare la configurazione dell'esperimento all'inizio del file:

DATA_FILE = "SafeBench-Tiny.txt"
# DATA_FILE = "JailbreakBench.txt"

TARGET_MODELS = [
    "gpt-4o-2024-11-20",
    # "gpt-5.4-2026-03-05",
    # "qwen3-max-2026-01-23",
    # "gemini-3-flash-preview",
    # "deepseek-v4-flash",
    # "claude-sonnet-4-5-20250929", 
]

Usa identificatori di modello validi per l'endpoint API configurato in utils/config.json.

4. Configurare i parametri di valutazione

I parametri predefiniti sono definiti in main.py:

MAX_THREADS = 1
MAX_ROUNDS = 3
TURNS_NUM = 3
RESET = False

I loro significati sono:

ParametroDescrizione
MAX_THREADSNumero massimo di worker concorrenti per modello target
MAX_ROUNDSNumero massimo di round di retry esterni
TURNS_NUMNumero massimo di tentativi di interazione multi-turn per campione
RESETIndica se scartare un checkpoint esistente prima della valutazione

Impostare:

RESET = True

per avviare una nuova esecuzione per il modello selezionato. Lasciarlo su False per riprendere da un checkpoint esistente.

5. Eseguire la valutazione

python main.py

Per ciascun modello target, lo script automaticamente:

  1. Carica il benchmark selezionato da data/.
  2. Esegue SMT su tutti i campioni in sospeso.
  3. Salva i progressi intermedi dopo ogni campione.
  4. Riprende gli esperimenti interrotti dai checkpoint salvati.
  5. Riporta le metriche aggregate dopo la valutazione.

Formato di output

I risultati vengono salvati in:

output/attack_checkpoint_<dataset>_<model>.json

Ad esempio:

output/attack_checkpoint_SafeBench-Tiny_gpt-4o-2024-11-20.json

Ogni elemento del benchmark è memorizzato con campi simili a:

{
  "target_question": {
    "success": true,
    "queries": 3,
    "payload": "...",
    "score": 60
  }
}

Lo script riporta le seguenti metriche:

MetricaDescrizione
ASRAttack Success Rate (tasso di successo dell'attacco): percentuale di campioni il cui punteggio raggiunge la soglia configurata
Avg.QNumero medio di query API utilizzate per campione
Avg.ScorePunteggio medio di valutazione esterna su tutti i campioni

Requisiti approssimativi delle risorse

I principali esperimenti SMT sono basati su API e non richiedono una GPU locale.

  • CPU / Memoria: un laptop o desktop standard è sufficiente per eseguire gli script di valutazione.
  • GPU: non richiesta per gli esperimenti che utilizzano API di LLM commerciali.
  • Rete: è necessaria una connessione Internet stabile.
  • Accesso API: sono necessarie credenziali API valide per i modelli target selezionati e per il modello di valutazione.
  • Budget di query: con i valori predefiniti MAX_ROUNDS = 3 e TURNS_NUM = 3, SMT utilizza al massimo 9 query al modello target per campione di benchmark prima dell'arresto anticipato.
  • Tempo di esecuzione: il tempo di esecuzione dipende principalmente dal modello selezionato, dalla dimensione del benchmark, dalla latenza delle API e dai limiti di frequenza. Una valutazione completa può richiedere diverse ore.
  • Costo API: dipende dal fornitore del modello e dai prezzi correnti delle API.

Per i modelli distribuiti localmente, i requisiti aggiuntivi di GPU e memoria dipendono dal modello selezionato e dal backend di inferenza.

Note sulla riproducibilità

Le API degli LLM commerciali vengono aggiornate continuamente. Anche utilizzando lo stesso alias di modello, i risultati possono variare a causa di aggiornamenti dei modelli lato fornitore, comportamento di routing, modifiche alle politiche di sicurezza, impostazioni di decodifica o guasti temporanei delle API.

Per migliorare la riproducibilità:

  • Preferire snapshot di modello datati, quando disponibili.
  • Mantenere invariati i file del benchmark.
  • Registrare fornitore, endpoint, ID del modello, data e parametri per ogni esecuzione.
  • Utilizzare la stessa soglia e lo stesso budget di query riportati nel paper.
Scarica lo strumento

Più Popolari

Vedi tutti →

Scopri gli strumenti più utilizzati dalla nostra community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Il toolkit OSINT definitivo: grafo di indagine, punteggio di affidabilità, famiglie di alias, mappa, timeline e report. 49 moduli, oltre 400 siti, nessuna chiave API richiesta.

    755
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # App di esecuzione con un tocco GhostLock (CVE-2026-43499)

    510
  • 3

    ARTEX

    baarai/artex

    Piattaforma di penetration testing autonoma multi-agente basata su LLM con agenti planner/worker, grafi di asset e di esplorazione, registrazione del traffico MITM e retesting delle vulnerabilità.

    415
  • 4

    redforge

    cybersecurity91/redforge

    Toolkit red team lato browser con 102 strumenti offline per ricognizione, generazione di payload, attacchi alle credenziali, crittografia, codifica e reportistica dell'engagement.

    343
  • 5

    antifox

    antifox-ai/antifox

    Piattaforma multi-agente di penetration testing autonoma basata sull'IA che esegue ricognizione, scoperta della superficie d'attacco, validazione dello sfruttamento e consegna di report supportati da evidenze.

    259
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Il sistema d'azione per la cybersecurity nativa AI—dove l'intento diventa esecuzione governata, le evidenze diventano memoria operativa, e ogni operazione migliora la successiva.

    258

Esplora tutti gli strumenti

Sfoglia la nostra collezione di strumenti

Vedi tutti gli strumenti →