Broken Hill

O Broken Hill é uma ferramenta de ataque automatizada, pronta para uso em produção, que gera prompts elaborados para contornar restrições em modelos de linguagem de grande porte (LLMs) usando o ataque de gradiente de coordenadas guloso (GCG) descrito no artigo "Universal and Transferable Adversarial Attacks on Aligned Language Models", de Andy Zou, Zifan Wang, Nicholas Carlini, Milad Nasr, J. Zico Kolter e Matt Fredrikson.

O Broken Hill pode gerar prompts robustos que fazem jailbreak com sucesso em LLMs configurados de forma diferente do modelo usado para gerar os prompts. Por exemplo:

• O mesmo modelo com mais ou menos parâmetros
  • p. ex., os prompts foram gerados usando a versão de 2 bilhões de parâmetros do Gemma, mas são usados contra uma implementação baseada na versão de 7 bilhões de parâmetros do Gemma.
• O mesmo modelo com pesos quantizados em diferentes tipos
  • p. ex., os prompts foram gerados usando a versão do Phi 3 com pesos armazenados no formato FP16, mas são usados contra a versão padrão ollama do Phi 3, que tem os pesos quantizados no formato inteiro de 4 bits q4_0.
• O mesmo modelo, mas com configurações de randomização diferentes
  • p. ex., uma temperatura ou semente aleatória não padrão.
• Potencialmente até mesmo um modelo diferente daquele usado para gerar os prompts

Esta ferramenta é baseada em parte em uma versão fortemente personalizada do repositório llm-attacks associado ao artigo "Universal and Transferable Adversarial Attacks on Aligned Language Models". Ela também incorpora alguns algoritmos do nanoGCG.

A pesquisa original de Zou, Wang, Carlini, Nasr, Kolter e Fredrikson foi realizada usando hardware de ponta de provedores de nuvem/hospedagem com 80GiB de VRAM, como o Nvidia A100 e H100. Comprar essas GPUs normalmente é caro demais para pessoas físicas, e alugar acesso a elas pode resultar em uma conta bem alta.

Nosso objetivo original era expandir bastante a acessibilidade dessa fascinante área de pesquisa, produzindo uma ferramenta que pudesse executar o ataque GCG contra o maior número possível de modelos em uma GeForce RTX 4090, que é a GPU de consumo da geração atual com suporte a CUDA que inclui a maior quantidade de VRAM (24GiB). A RTX 4090 ainda é cara, mas comprar uma à vista é (até o momento em que este texto foi escrito) quase o mesmo preço de alugar uma instância na nuvem com uma A100 ou H100 por um mês. Além disso, pelo menos uma pequena fração das pessoas na área de segurança da informação já tem pelo menos uma RTX 4090 para quebra de hashes e/ou jogos.

A partir da versão 0.34, o Broken Hill também pode realizar processamento em dispositivos sem hardware CUDA a uma taxa aceitável (embora reduzida em relação ao desempenho que o hardware CUDA proporciona), e pode até ser usado no Mac OS e no Windows (embora seja testado principalmente no Linux). Isso permite que o ataque seja executado por um público muito maior e contra modelos muito maiores do que as versões anteriores permitiam.

Documentação

A documentação do Broken Hill está em sua própria árvore de diretórios devido ao volume de material.

Histórico de versões do Broken Hill

Uma postagem de blog de alto nível apresentando o Broken Hill

Página da ferramenta Broken Hill no BishopFox.com

Recursos

• Interface de linha de comando abrangente
• Suporta inúmeras famílias de modelos, muitas das quais estão disponíveis em tamanhos pequenos o suficiente para rodar em uma RTX 4090 (consulte o documento "Model notes" para obter detalhes específicos). Alguns destaques:
  • Família APT do Azurro
  • Falcon
  • Gemma (incluindo derivados de terceiros, como Vikhr-Gemma-2B-instruct)
  • Gemma 2
  • GLM-4
  • GPT-J, GPT-Neo e GPT-NeoX
  • Guanaco
  • Llama (incluindo derivados de terceiros, como Llama-68M-Chat-v1 e alpaca-13b)
  • Llama-2 (incluindo derivados oficiais e de terceiros, como Meta-Llama-Guard-2, Swallow e Youri)
  • Llama-3 (incluindo derivados oficiais e de terceiros, como Llama-Guard-3, Swallow e Youko)
  • MPT
  • Mamba
  • Mistral (incluindo modelos derivados de terceiros, como o Neural Chat da Intel)
  • Mixtral
  • OPT
  • Orca-2
  • Phi-1 até Phi-3.5
  • Pythia (incluindo modelos derivados de terceiros, como o subconjunto baseado em Pythia dos modelos OpenAssistant)
  • Qwen 1, 1.5 e 2 (incluindo derivados de terceiros, como nekomata-7b-instruction)
  • RedPajama-INCITE
  • SOLAR
  • SmolLM
  • Snowflake Arctic
  • StableLM 1 e 2
  • TinyLlama
  • Vicuna
• Os resultados podem ser gerados no formato JSON para filtragem/análise
• Suporta testar cada iteração de dados adversariais contra o mesmo LLM com múltiplas configurações de randomização diferentes, para ajudar a eliminar resultados frágeis
• Backup automático do estado a cada iteração, permitindo retomar de um checkpoint se um erro for encontrado ou continuar executando iterações adicionais após o término de um teste.
• Inclui autotestes para ajudar a validar que o ataque está configurado corretamente e produzirá resultados úteis

Planejado para versões futuras

• A capacidade de testar ou reanalisar resultados existentes (contra outro modelo/configuração, com regras diferentes de detecção de jailbreak, etc.)
  • Permitiria uma descoberta mais direta de conteúdo adversarial "transferível"
  • Permitiria que os resultados fossem testados contra modelos que caibam na memória do dispositivo, mesmo quando os dados necessários para o ataque GCG (gradiente, dados de retropropagação, etc.) não caibam
  • Permitiria que regras revisadas de detecção de jailbreak fossem testadas sem o custo extra de executar novamente a geração de conteúdo
• Autotestes mais abrangentes para refinar ainda mais os templates de conversa
• Modelo de rollback mais flexível
• Regras de randomização configuráveis para ajudar a gerar variações mais exclusivas ("Gamma garden mode")
• Recursos integrados para exportar dados de resultados para trabalhos de continuação (em vez de usar jq na versão atual)
• Lógica aprimorada de detecção de jailbreak padrão
• Algoritmo(s) adicional(is) de loss
• A capacidade de operar um cluster de sistemas executando o Broken Hill coordenado por um nó central
• Modos de ataque adicionais
• Internacionalização