
Além do Prompt: Jailbreaking de LLMs com Function-Calling via Traces de Moderação Simulados
Este repositório contém a implementação oficial do nosso artigo:
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Se você achar este repositório útil para sua pesquisa, considere citar nosso artigo. Dúvidas, relatos de bugs e problemas de reprodutibilidade são bem-vindos através das GitHub Issues.

.
├── install.sh # Installation script for setting up the environment and dependencies
├── main.py # Main evaluation entry point
├── demo.ipynb # Minimal working example
├── requirements.txt # Python dependencies
├── data/
│ ├── SafeBench-Tiny.txt # Default benchmark
│ └── JailbreakBench.txt # Optional benchmark
├── figures/
│ ├── pipline.jpg # Framework overview
│ ├── main_res1.jpg # Main result figure
│ └── main_res2.jpg # Main result figure
├── utils/
│ ├── config.example.json # Example API configuration
│ ├── eval_h_cot.py # External evaluation utility
│ ├── fake_tool_call_noharmful.json
│ ├── moderation_generator.py
│ └── moderation_validator.py
└── output/ # Checkpoints and evaluation results
Fornecemos um script de instalação para configurar automaticamente o ambiente Python e instalar todas as dependências necessárias.
chmod +x install.sh
./install.sh
Após a conclusão da instalação, ative o ambiente virtual:
source .venv/bin/activate
Como alternativa, você pode criar o ambiente manualmente usando o Conda:
conda create -n SMT python=3.12
conda activate SMT
pip install -r requirements.txt
Crie utils/config.json a partir do arquivo de exemplo:
cp utils/config.example.json utils/config.json
Um arquivo de configuração mínimo deve seguir este formato:
{
"llm_api": {
"base_url": "https://your-api-endpoint/v1",
"api_key": "YOUR_API_KEY"
},
"local": {
"base_url": "http://localhost:1234/v1",
"api_key": "YOUR_LOCAL_API_KEY"
}
}
As duas entradas correspondem a:
llm_api: o endpoint padrão de API compatível com OpenAI para modelos comerciais.local: um endpoint de inferência local compatível com OpenAI, usado para modelos locais selecionados.Abra main.py e modifique a configuração do experimento no início do arquivo:
DATA_FILE = "SafeBench-Tiny.txt"
# DATA_FILE = "JailbreakBench.txt"
TARGET_MODELS = [
"gpt-4o-2024-11-20",
# "gpt-5.4-2026-03-05",
# "qwen3-max-2026-01-23",
# "gemini-3-flash-preview",
# "deepseek-v4-flash",
# "claude-sonnet-4-5-20250929",
]
Use identificadores de modelo que sejam válidos para o endpoint da API configurado em utils/config.json.
Os parâmetros padrão estão definidos em main.py:
MAX_THREADS = 1
MAX_ROUNDS = 3
TURNS_NUM = 3
RESET = False
Seus significados são:
| Parâmetro | Descrição |
|---|---|
MAX_THREADS | Número máximo de workers concorrentes por modelo alvo |
MAX_ROUNDS | Número máximo de rodadas externas de retry |
TURNS_NUM | Número máximo de tentativas de interação multi-turno por amostra |
RESET | Se deve descartar um checkpoint existente antes da avaliação |
Defina:
RESET = True
para iniciar uma nova execução para o modelo selecionado. Deixe como False para retomar a partir de um checkpoint existente.
python main.py
Para cada modelo alvo, o script automaticamente:
data/.Os resultados são salvos em:
output/attack_checkpoint_<dataset>_<model>.json
Por exemplo:
output/attack_checkpoint_SafeBench-Tiny_gpt-4o-2024-11-20.json
Cada item de benchmark é armazenado com campos semelhantes a:
{
"target_question": {
"success": true,
"queries": 3,
"payload": "...",
"score": 60
}
}
O script reporta as seguintes métricas:
| Métrica | Descrição |
|---|---|
| ASR | Taxa de Sucesso de Ataque: porcentagem de amostras cuja pontuação atinge o limite configurado |
| Avg.Q | Número médio de consultas à API usadas por amostra |
| Avg.Score | Pontuação média de avaliação externa em todas as amostras |
Os principais experimentos do SMT são baseados em API e não requerem uma GPU local.
MAX_ROUNDS = 3 e TURNS_NUM = 3, o SMT usa no máximo 9 consultas ao modelo-alvo por amostra de benchmark antes da parada antecipada.Para modelos implantados localmente, requisitos adicionais de GPU e memória dependem do modelo selecionado e do backend de inferência.
As APIs de LLMs comerciais são continuamente atualizadas. Mesmo ao usar o mesmo alias de modelo, os resultados podem variar devido a atualizações do modelo por parte do provedor, comportamento de roteamento, mudanças nas políticas de segurança, configurações de decodificação ou falhas transitórias da API.
Para melhorar a reprodutibilidade:
Todos os experimentos reportados neste repositório foram conduzidos em junho de 2026. Como os traces de validação simulados incluem elementos aleatorizados, as saídas dos modelos são inerentemente estocásticas, e tanto as capacidades dos modelos quanto os mecanismos de detecção externos continuam a evoluir, os históricos exatos de interação e os resultados reproduzidos podem diferir dos aqui reportados mesmo sob a mesma configuração de alto nível.