
Oltre il Prompt: Jailbreaking di LLM con Function-Calling tramite Tracce di Moderazione Simulate
Questo repository contiene l'implementazione ufficiale del nostro paper:
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Se trovi utile questo repository per la tua ricerca, ti invitiamo a citare il nostro paper. Domande, segnalazioni di bug e problemi di riproducibilità sono benvenuti tramite GitHub Issues.

.
├── install.sh # Installation script for setting up the environment and dependencies
├── main.py # Main evaluation entry point
├── demo.ipynb # Minimal working example
├── requirements.txt # Python dependencies
├── data/
│ ├── SafeBench-Tiny.txt # Default benchmark
│ └── JailbreakBench.txt # Optional benchmark
├── figures/
│ ├── pipline.jpg # Framework overview
│ ├── main_res1.jpg # Main result figure
│ └── main_res2.jpg # Main result figure
├── utils/
│ ├── config.example.json # Example API configuration
│ ├── eval_h_cot.py # External evaluation utility
│ ├── fake_tool_call_noharmful.json
│ ├── moderation_generator.py
│ └── moderation_validator.py
└── output/ # Checkpoints and evaluation results
Forniamo uno script di installazione per configurare automaticamente l'ambiente Python e installare tutte le dipendenze richieste.
chmod +x install.sh
./install.sh
Dopo che l'installazione è completata, attiva l'ambiente virtuale:
source .venv/bin/activate
In alternativa, puoi creare manualmente l'ambiente usando Conda:
conda create -n SMT python=3.12
conda activate SMT
pip install -r requirements.txt
Crea utils/config.json dal file di esempio:
cp utils/config.example.json utils/config.json
Un file di configurazione minimale dovrebbe seguire questo formato:
{
"llm_api": {
"base_url": "https://your-api-endpoint/v1",
"api_key": "YOUR_API_KEY"
},
"local": {
"base_url": "http://localhost:1234/v1",
"api_key": "YOUR_LOCAL_API_KEY"
}
}
Le due voci corrispondono a:
llm_api: l'endpoint API predefinito compatibile con OpenAI per i modelli commerciali.local: un endpoint di inferenza locale compatibile con OpenAI, utilizzato per i modelli locali selezionati.Aprire main.py e modificare la configurazione dell'esperimento all'inizio del file:
DATA_FILE = "SafeBench-Tiny.txt"
# DATA_FILE = "JailbreakBench.txt"
TARGET_MODELS = [
"gpt-4o-2024-11-20",
# "gpt-5.4-2026-03-05",
# "qwen3-max-2026-01-23",
# "gemini-3-flash-preview",
# "deepseek-v4-flash",
# "claude-sonnet-4-5-20250929",
]
Usa identificatori di modello validi per l'endpoint API configurato in utils/config.json.
I parametri predefiniti sono definiti in main.py:
MAX_THREADS = 1
MAX_ROUNDS = 3
TURNS_NUM = 3
RESET = False
I loro significati sono:
| Parametro | Descrizione |
|---|---|
MAX_THREADS | Numero massimo di worker concorrenti per modello target |
MAX_ROUNDS | Numero massimo di round di retry esterni |
TURNS_NUM | Numero massimo di tentativi di interazione multi-turn per campione |
RESET | Indica se scartare un checkpoint esistente prima della valutazione |
Impostare:
RESET = True
per avviare una nuova esecuzione per il modello selezionato. Lasciarlo su False per riprendere da un checkpoint esistente.
python main.py
Per ciascun modello target, lo script automaticamente:
data/.I risultati vengono salvati in:
output/attack_checkpoint_<dataset>_<model>.json
Ad esempio:
output/attack_checkpoint_SafeBench-Tiny_gpt-4o-2024-11-20.json
Ogni elemento del benchmark è memorizzato con campi simili a:
{
"target_question": {
"success": true,
"queries": 3,
"payload": "...",
"score": 60
}
}
Lo script riporta le seguenti metriche:
| Metrica | Descrizione |
|---|---|
| ASR | Attack Success Rate (tasso di successo dell'attacco): percentuale di campioni il cui punteggio raggiunge la soglia configurata |
| Avg.Q | Numero medio di query API utilizzate per campione |
| Avg.Score | Punteggio medio di valutazione esterna su tutti i campioni |
I principali esperimenti SMT sono basati su API e non richiedono una GPU locale.
MAX_ROUNDS = 3 e TURNS_NUM = 3, SMT utilizza al massimo 9 query al modello target per campione di benchmark prima dell'arresto anticipato.Per i modelli distribuiti localmente, i requisiti aggiuntivi di GPU e memoria dipendono dal modello selezionato e dal backend di inferenza.
Le API degli LLM commerciali vengono aggiornate continuamente. Anche utilizzando lo stesso alias di modello, i risultati possono variare a causa di aggiornamenti dei modelli lato fornitore, comportamento di routing, modifiche alle politiche di sicurezza, impostazioni di decodifica o guasti temporanei delle API.
Per migliorare la riproducibilità: