Skip to content
KitploitKITPLOIT
FerramentasExploitsBlog
Log in
Enviar
FerramentasExploitsBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

FeedsContatoPrivacidade© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
Learning-to-Detect — Detecta ataques de jailbreak desconhecidos em grandes modelos de visão-linguagem usando análise de estados ocultos e autoencoders, com pipelines de treinamento e avaliação para monitoramento robusto de segurança. | Kitploit
Ferramentas/GitHubGitHub/shuangliangx/learning-to-detect
Ferramentas DefensivasAnálise de VulnerabilidadesAprendizado de MáquinaSegurança de IADetecção de Anomalias
GitHubshuangliangx/learning-to-detect

Learning-to-Detect

Detecta ataques de jailbreak desconhecidos em grandes modelos de visão-linguagem usando análise de estados ocultos e autoencoders, com pipelines de treinamento e avaliação para monitoramento robusto de segurança.

Compartilhar
Ver Repositório
194há 2 mesesAinda não revisado

Aprendendo a Detectar Ataques de Jailbreak Desconhecidos em Grandes Modelos de Visão-Linguagem

Implementação oficial de “Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models.”

Este repositório contém o código de processamento de dados, extração de estados ocultos, treinamento de classificadores, autoencoder de padrões de segurança e avaliação utilizados no projeto.

Esta versão fornece a implementação para LLaVA-v1.6-Vicuna-7B. Adaptar o pipeline para Qwen2.5-VL ou CogVLM requer processamento de entrada específico do modelo e detectores treinados separadamente.

Conteúdo

  • Modelos
  • Estrutura do Repositório
  • Pipeline de Detecção
  • Conjuntos de Dados

Modelos

Os experimentos utilizam os seguintes modelos base:

  • LLaVA-v1.6-Vicuna-7B, um grande modelo de visão-linguagem baseado no Vicuna.
  • Llama Guard 3 8B, um modelo de barreira de segurança usado para avaliar as respostas geradas.

Baixe os pesos dos modelos separadamente e coloque-os em:

asset/weights/

Estrutura do Repositório

.
├── asset/
│   ├── advbench/                 # AdvBench images
│   ├── harmbench/                # HarmBench DirectRequest images
│   ├── GQA/                      # GQA images
│   ├── HiddenStates/             # Extracted hidden states
│   └── weights/                  # Model weights (not included)
├── Benchmarks/                   # Evaluation benchmark metadata
├── vicuna/
│   ├── instructions/
│   │   ├── advbench.json
│   │   ├── GQA.json
│   │   └── harmbench.json        # HarmBench DirectRequest metadata
│   ├── qa.py
│   ├── qa-baseline.py
│   └── train.py
├── autoencoder.py
├── llama3_guard.py
└── test.py

Pipeline de Detecção

Alguns scripts usam caminhos relativos ao seu próprio diretório de trabalho. Execute os comandos a partir dos diretórios mostrados abaixo.

1. Consultar o modelo de linguagem-visual

Consulte o modelo sobre os dados de origem inseguros (AdvBench) e os dados de origem seguros (GQA):

cd vicuna
python qa.py --dataset advbench
python qa.py --dataset GQA
cd ..

Os dados do HarmBench DirectRequest podem ser consultados com a mesma interface:

cd vicuna
python qa.py --dataset harmbench
cd ..

2. Avaliar e dividir as respostas do modelo

Avalie as respostas geradas do AdvBench com o Llama Guard 3:

python llama3_guard.py --file vicuna/instructions/advbench.json

Crie as divisões de treino/teste do AdvBench e do GQA:

cd vicuna/instructions
python process.py
cd ../..

3. Extrair estados ocultos

Extraia os estados ocultos para os benchmarks de avaliação atualmente configurados em vicuna/qa-baseline.py:

cd vicuna
python qa-baseline.py
cd ..

4. Treinar e testar os classificadores MSCAV

cd vicuna
python train.py --train
python train.py --test
cd ..

5. Treinar o Auto-Encoder de Padrões de Segurança (SPAE)

python autoencoder.py

6. Avaliar o desempenho da detecção

python test.py

Datasets

Dados de treinamento e do apêndice

DatasetFunçãoMetadadosImagens
AdvBenchDados de origem insegurosvicuna/instructions/advbench.jsonasset/advbench/
GQADados de origem segurosvicuna/instructions/GQA.jsonasset/GQA/
HarmBench (DirectRequest)Experimento com fonte insegura relatado no apêndicevicuna/instructions/harmbench.jsonasset/harmbench/

O subconjunto HarmBench DirectRequest incluído contém 320 pares imagem–solicitação. Os caminhos de imagem em harmbench.json são relativos ao repositório e seguem a mesma convenção de layout do AdvBench.

Benchmarks de avaliação

Baixe as imagens de avaliação em ModelScope: detecpolo/Learning-to-Detect e copie o diretório asset/ baixado para a raiz do repositório. Os arquivos JSON de benchmark correspondentes são fornecidos neste repositório em Benchmarks/.

Consulte a Seção 4.1 e os apêndices do nosso artigo para obter informações sobre as fontes dos conjuntos de dados, a construção dos ataques e as configurações experimentais.

Baixar ferramenta

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 O kit definitivo de OSINT: grafo de investigação, pontuação de confiança, famílias de alias, mapa, linha do tempo e relatórios. 49 módulos, mais de 400 sites, sem necessidade de chaves de API.

    654
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicativo de Execução em Um Toque GhostLock (CVE-2026-43499)

    490
  • 3

    ARTEX

    baarai/artex

    Plataforma autônoma de testes de penetração multiagente com LLM, com agentes planejador/executor, grafos de ativos e de exploração, registro de tráfego MITM e reteste de vulnerabilidades.

    395
  • 4

    redforge

    cybersecurity91/redforge

    Kit de ferramentas de red team do lado do navegador com 102 ferramentas offline para reconhecimento, geração de payloads, ataques a credenciais, criptografia, codificação e relatórios de engajamento.

    336
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    O sistema de ação para cibersegurança nativa em IA—onde a intenção se torna execução governada, a evidência se torna memória operacional, e cada operação melhora a próxima.

    258
  • 6

    antifox

    antifox-ai/antifox

    Plataforma de testes de penetração autónoma com multiagentes de IA que executa reconhecimento, descoberta de superfície de ataque, validação de exploração e entrega de relatórios com evidências.

    252

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →