Skip to content
KitploitKITPLOIT
FerramentasExploitsBlog
Log in
Enviar
FerramentasExploitsBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

FeedsContatoPrivacidade© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
benign-instruction-bench — Reavaliando detectores de prompt-injection em saídas de ferramentas de agentes LLM (rascunho de artigo, scripts, pontuações) | Kitploit
Ferramentas/GitHubGitHub/lzwhehe/benign-instruction-bench
Ferramentas DefensivasAnálise de VulnerabilidadesAprendizado de MáquinaPapers e PesquisaAprendizado e EducaçãoSegurança de IA
GitHublzwhehe/benign-instruction-bench

benign-instruction-bench

Compartilhar

Reavaliando detectores de prompt-injection em saídas de ferramentas de agentes LLM (rascunho de artigo, scripts, pontuações)

Ver Repositório
105há 24 diasAinda não revisado

Passando no Teste em que Você Foi Treinado

Reavaliando detectores de injeção de prompt onde agentes LLM realmente os utilizam: nas saídas de ferramentas que um agente lê.

As equipes escolhem detectores de injeção pelas suas pontuações em benchmarks. Verificamos se essas pontuações predizem o comportamento dentro de um agente e descobrimos que elas medem, em grande parte, o quão próximo o benchmark está dos dados de treinamento do detector.

Descobertas

Quinze detectores (nove abertos, seis com licença restrita, incluindo o Prompt Guard 2 da Meta) e dois juízes LLM cientes da tarefa, em dois benchmarks de agentes (AgentDojo, tau-bench) e no BIPIA. As saídas benignas de ferramentas vêm da reprodução das chamadas de ferramentas ground-truth de cada benchmark sem um LLM. A detecção é a TPR no limiar que fornece 1% de FPR nas saídas benignas do mesmo benchmark.

DetectorLançadoFPR em saídas benignas de ferramentas (AgentDojo / tau-bench)Detecção AgentDojoDetecção tau-benchDetecção BIPIA
Horizon-Labs guard-base20260,0% / 0,7%83,1%100,0%37,7%
Wolf Defender20260,9% / 0,0%70,1%90,8%3,5%
Prompt Guard 2 (22M)20250,0% / 0,0%60,9%60,8%31,7%
Prompt Guard 2 (86M)20250,6% / 0,0%57,4%57,9%10,4%
Judge (Llama-3.1-8B)––51,9%78,3%8,3%
Prismor-1.5B20266,5% / 46,2%29,2%15,2%4,0%
Sheltron-68M202610,6% / 4,4%20,1%95,2%57,2%
PIGuard202529,5% / 11,0%1,6%52,7%95,1%
ProtectAI v2202430,1% / 66,9%0,5%10,1%0,7%

(Todos os 15 detectores e ambos os juízes, com AUROC e intervalos de bootstrap de 95% agrupados por tarefa: Tabela 2 do artigo.)

  1. Os rankings do BIPIA têm, no máximo, uma relação fraca com os rankings do AgentDojo (Kendall τ sobre 15 detectores: 0,12, p = 0,559, não significativo; intervalo de bootstrap de 0,05 a 0,23; excluindo detectores individuais, obtém-se de 0,01 a 0,25, e 0,25 sem o PIGuard). A maior inversão vem de um detector treinado na distribuição do BIPIA: o líder do BIPIA (PIGuard) fica em décimo terceiro lugar entre 15 no AgentDojo. Os dois benchmarks de agentes concordam mais (τ = 0,39, p = 0,046); BIPIA vs tau-bench dá τ = 0,31.
  2. As taxas de falsos positivos em saídas benignas de ferramentas variam de 0,0% a 93,1% e são consistentes entre os dois benchmarks de agentes (τ = 0,67, p = 0,0007).
  3. A pontuação do PIGuard no BIPIA não depende de strings de ataque memorizadas e é consistente com o treinamento na distribuição do BIPIA: sua divisão de treinamento contém 1.116 entradas completas do BIPIA. Ele também viu 53 dos 62 ataques do InjecAgent, mas apenas como prompts curtos; dentro das saídas de ferramentas do tau-bench, ele detecta ataques do InjecAgent vistos e não vistos de forma semelhante (52,1% vs 55,8%). O Horizon-Labs, treinado em entradas no estilo de agentes, lidera ambos os benchmarks de agentes; nem ele nem o segundo melhor detector podem ser demonstrados como independentes do AgentDojo.
  4. Juízes de 7–8B cientes da tarefa alcançam 51,9% (Llama) e 59,0% (Qwen) no AgentDojo e 78,3% e 54,3% no tau-bench com 1% de FPR, abaixo dos melhores detectores dedicados. Com exceção do PIGuard, nenhuma abordagem captura mais de 39% das injeções irrelevantes à tarefa do BIPIA.
  5. Remover a marcação de serialização ou declarar o tipo de entrada reduz os falsos positivos no limiar padrão em até cerca de vinte vezes, mas não torna o PIGuard ou o ProtectAI v2 úteis com 1% de FPR no AgentDojo.

Todos os números são regenerados a partir dos arquivos de pontuação pelos scripts em analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py); analysis/make_macros.py os grava nas macros LaTeX que o artigo lê.

Estrutura

scripts/     build evaluation sets, score detectors and judges
analysis/    compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
             make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/     detector and judge scores used in the paper
paper/       LaTeX source, figures, compiled main.pdf

Reproduzir

pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh

Para regenerar apenas os números e figuras a partir das pontuações publicadas, copie results/*.json para o diretório de trabalho, reconstrua os conjuntos .jsonl (passos 1–3 de reproduce.sh, apenas CPU, com PYTHONHASHSEED=0) e, em seguida, execute os scripts de análise do passo 8 e python analysis/make_tables.py && python analysis/make_figures.py.

Experimentos de robustez e custo (versão de periódico):

  • analysis/compute_robust.py: intervalos bootstrap e testes de permutação para transferência de ranking; limiares calibrados em suítes AgentDojo de validação.
  • scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 no cenário do benchmark comunitário buried-injections, e uma verificação de que os conjuntos reconstruídos reproduzem as pontuações armazenadas.
  • scripts/latency.py, analysis/compute_cost.py: latência e memória por saída de ferramenta em GPU e CPU.
  • scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: um agente real (Qwen2.5-7B servido por vLLM) executa o AgentDojo sem ataques; suas chamadas de ferramenta são reproduzidas sem modelo e comparadas saída por saída.
  • scripts/check_revision.py: qual revisão do Hugging Face produziu as pontuações armazenadas (a Horizon-Labs alterou seus pesos em 2026-10-02; as pontuações armazenadas são da revisão af3c52e6a9d8).

Os dados de avaliação são reconstruídos a partir das fontes públicas, não redistribuídos: AgentDojo v1.2, tau-bench (MIT), ataques InjecAgent (MIT), BIPIA (MIT), READMEs do GitHub (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Alguns scripts assumem que BIPIA e PIGuard estão clonados em ~/agentsec/.

Compilando o artigo

paper/usenix-2020-09-xetex.sty é uma cópia de compilação do estilo USENIX que compila com tectonic/XeTeX. Para submissão, altere main.tex para o usenix-2020-09.sty oficial e compile com pdflatex.

Status

Preprint no arXiv; versão de periódico em preparação. Não avaliado contra ataques adaptativos; ambos os benchmarks de agentes são simulações e o ponto de injeção do tau-bench é nosso; detectores de API comerciais não incluídos. Consulte a seção de limitações do artigo.

Licença

Código, scripts de análise e arquivos de pontuação: MIT (consulte LICENSE). Arquivos de terceiros mantêm seus próprios termos: o estilo LaTeX USENIX (paper/usenix-2020-09*.sty) e os benchmarks e detectores que os scripts baixam (AgentDojo, tau-bench, InjecAgent, BIPIA e a licença do modelo de cada detector).

Baixar ferramenta

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

Sem dados de popularidade ainda.

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →