nvidia/garakScanner de vulnerabilidades LLM modular que sonda por alucinação, vazamento de dados, injeção de prompt, jailbreaks e toxicidade usando sondas estáticas, dinâmicas e adaptativas em múltiplos provedores de modelo.
Kit de Red-teaming e Avaliação de IA Generativa
O garak verifica se um LLM pode ser levado a falhar de uma forma que não desejamos. O garak investiga alucinação, vazamento de dados, injeção de prompt, desinformação, geração de toxicidade, jailbreaks e muitas outras fraquezas. Se você conhece o nmap ou o msf / Metasploit Framework, o garak faz algo semelhante a eles, mas para LLMs.
O garak foca em maneiras de fazer um LLM ou sistema de diálogo falhar. Ele combina sondas estáticas, dinâmicas e adaptativas para explorar isso.
O garak é uma ferramenta gratuita. Adoramos desenvolvê-la e estamos sempre interessados em adicionar funcionalidades para suportar aplicações.
atualmente suporta:
O garak é uma ferramenta de linha de comando. É desenvolvida em Linux e OSX.
pipBasta obtê-lo do PyPI e você estará pronto para usar:``` python -m pip install -U garak
### Instalar a versão de desenvolvimento com `pip`
A versão padrão do `garak` via pip é atualizada periodicamente. Para obter uma versão mais recente do GitHub, tente:```
python -m pip install -U git+https://github.com/NVIDIA/garak.git@main
garak tem suas próprias dependências. Você pode instalar o garak em seu próprio ambiente Conda:```
conda create --name garak "python>=3.10,<=3.12"
conda activate garak
gh repo clone NVIDIA/garak
cd garak
python -m pip install -e .
OK, se isso correu bem, provavelmente você está pronto para seguir!
**Nota**: se você clonou antes da mudança para a organização `NVIDIA` do GitHub, mas está lendo isto no URI `github.com/NVIDIA`, atualize seus remotes da seguinte forma:```
git remote set-url origin https://github.com/NVIDIA/garak.git
A sintaxe geral é:
garak <options>
O garak precisa saber qual modelo escanear e, por padrão, tentará todas as sondas conhecidas naquele modelo, usando os detectores de vulnerabilidade recomendados por cada sonda. Você pode ver uma lista de sondas usando:
garak --list_probes
Para especificar um gerador, use as opções --target_type e, opcionalmente, --target_name. O tipo de modelo especifica uma família/interface de modelo; o nome do modelo especifica o modelo exato a ser usado. A seção "Introdução aos geradores" abaixo descreve alguns dos geradores suportados. Uma família de geradores direta são os modelos Hugging Face; para carregar um deles, defina --target_type como huggingface e --target_name como o nome do modelo no Hub (ex.: "RWKV/rwkv-4-169m-pile"). Alguns geradores podem precisar que uma chave de API seja definida como variável de ambiente, e eles informarão se for necessário.
O garak executa todas as sondas por padrão, mas você também pode ser específico. --probes promptinject usará apenas os métodos do framework PromptInject, por exemplo. Você também pode especificar um plugin específico em vez de uma família de plugins adicionando o nome do plugin após um .; por exemplo, --probes lmrc.SlurUsage usará uma implementação para verificar se os modelos geram insultos baseada no framework Language Model Risk Cards.
Para ajuda e inspiração, encontre-nos no Twitter ou no discord!
Teste um modelo comercial para injeção de prompt baseada em codificação (OSX/*nix) (substitua o valor de exemplo por uma chave real da API OpenAI)``` export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" python3 -m garak --target_type openai --target_name gpt-5-nano --probes encoding
Verifique se a versão do GPT2 da Hugging Face é vulnerável ao DAN 11.0```
python3 -m garak --target_type huggingface --target_name gpt2 --probes dan.Dan_11_0
Para cada sonda carregada, o garak exibirá uma barra de progresso durante a geração. Uma vez concluída a geração, é apresentada uma linha avaliando os resultados dessa sonda em cada detector. Se alguma das tentativas de prompt resultou em um comportamento indesejado, a resposta será marcada como FAIL, e a taxa de falha será exibida.
Aqui estão os resultados com o módulo encoding em uma variante do GPT-3:
E os mesmos resultados para o ChatGPT:
Podemos ver que o modelo mais recente é muito mais suscetível a ataques de injeção baseados em codificação, enquanto o text-babbage-001 foi considerado vulnerável apenas a injeções de quoted-printable e MIME. Os números no final de cada linha, ex. 840/840, indicam o total de gerações de texto e quantas delas pareceram OK. O número pode ser bastante alto porque mais de uma geração é feita por prompt – por padrão, 10.
Erros vão para garak.log; a execução é registrada em detalhes em um arquivo .jsonl especificado no início e fim da análise. Existe um script de análise básico em analyse/analyse_log.py que exibirá as sondas e prompts que geraram mais acertos.
Envie PRs e abra issues. Boa caçada!
Usando a Pipeline API:
--target_type huggingface (para modelos transformers executados localmente)--target_name – use o nome do modelo do Hub. Apenas modelos generativos funcionarão. Se falhar e não deveria, por favor abra uma issue e cole o comando que tentou + a exceção!