Jailbreaks em diferentes profundidades de modelo

Como a saída antecipada altera a vulnerabilidade de um modelo de linguagem a jailbreaks? Estudamos ataques GCG em Balcony-LLaMA2-7B e Balcony-LLaMA3-8B nas camadas 15, 18, 21 e profundidade total (32), usando HarmBench e AdvBench.

TAO é uma extensão planejada com código experimental. As execuções anteriores de 1B foram testes de desenvolvimento; nenhuma delas contribui com resultados para este estudo.

Resultados

GCG ao longo de 150 passos em 50 comportamentos por benchmark, executado em uma única GPU NVIDIA RTX PRO 6000 Blackwell. As figuras e tabelas abaixo vêm diretamente do artigo, que é a fonte da verdade para os resultados reportados.

Pipeline de avaliação com saídas antecipadas nas camadas 15, 18, 21 e profundidade total.

Taxas de sucesso do ataque GCG por profundidade de saída para os modelos 7B e 8B no HarmBench e AdvBench.

Curvas de perda e perda versus sucesso do ataque

Perda do GCG ao longo de 150 passos, por modelo, benchmark e profundidade de saída.

Perda final do GCG versus taxa de sucesso do ataque no HarmBench.

Tabelas do artigo

Configuração do modelo (Tabela 1).

Utilidade limpa em seis benchmarks (Tabela 2).

Utilidade com o sufixo GCG mais forte de cada saída (Tabela 3).

Execução

Requer Linux, Python 3.12, uma GPU NVIDIA e um driver compatível com CUDA 12.8. A partir da raiz do repositório, instale o ambiente e inicie uma pequena execução GCG:

bash scripts/setup.sh
.venv/bin/python scripts/run.py experiment --model 7b --stage gcg \
  --benchmarks harmbench --n-behaviors 2 --num-steps 5 --results-dir results/runs/pilot

A configuração inicializa submódulos, aplica patches do toolkit e instala .venv/. Para checkpoints com acesso restrito, aceite suas licenças do Hugging Face e execute .venv/bin/hf auth login.

Para GCG, julgamento e avaliação de utilidade em todas as saídas:

.venv/bin/python scripts/run.py experiment --model 7b

Escolha --model 7b ou --model 8b. Novas saídas permanecem locais em results/runs/<model>/. Use --dry-run para inspecionar comandos sem carregar modelos. Referência de comandos.

Repositório

Caminho	Conteúdo
`adapter/`	Código e wrappers do modelo com saída antecipada
`experiments/`	Implementações de ataque, avaliação e análise
`scripts/`	Configuração inicial e o executor compartilhado
`results/`	Figuras e tabelas do artigo, arquivos históricos e execuções locais
`third_party/`	Dependências fixadas e avisos de licença

Arquivos brutos e exportações mais antigas não estão sincronizados com o artigo. Mantenha execuções 7B com e sem templates de chat separadas.

As dependências estão fixadas em .gitmodules; as correções do toolkit estão em patches/.

balcony-jailbreaking

Mais Populares

Jailbreaks em diferentes profundidades de modelo

Resultados

Execução

Repositório