Skip to content
KitploitKITPLOIT
FerramentasExploitsBlog
Log in
Enviar
FerramentasExploitsBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

FeedsContatoPrivacidade© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
SMT — Além do Prompt: Jailbreaking de LLMs com Function-Calling via Traces de Moderação Simulados | Kitploit
Ferramentas/GitHubGitHub/liujlong27/smt
Análise de VulnerabilidadesPapers e PesquisaAprendizado e EducaçãoRed TeamingSegurança de IAAtaque Adversário
GitHubliujlong27/smt

SMT

Além do Prompt: Jailbreaking de LLMs com Function-Calling via Traces de Moderação Simulados

Ver Repositório
7148há 1 mêsAinda não revisado
Compartilhar

Além do Prompt: Jailbreaking de LLMs com Function-Calling via Traços de Moderação Simulados

arXiv Zenodo DOI

Introdução

Este repositório contém a implementação oficial do nosso artigo:

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

Se você achar este repositório útil para sua pesquisa, considere citar nosso artigo. Dúvidas, relatos de bugs e problemas de reprodutibilidade são bem-vindos através das GitHub Issues.

Visão Geral

framework

Estrutura do Repositório

.
├── install.sh                      # Installation script for setting up the environment and dependencies
├── main.py                         # Main evaluation entry point
├── demo.ipynb                      # Minimal working example
├── requirements.txt                # Python dependencies
├── data/
│   ├── SafeBench-Tiny.txt          # Default benchmark
│   └── JailbreakBench.txt          # Optional benchmark
├── figures/
│   ├── pipline.jpg                 # Framework overview
│   ├── main_res1.jpg               # Main result figure
│   └── main_res2.jpg               # Main result figure
├── utils/
│   ├── config.example.json         # Example API configuration
│   ├── eval_h_cot.py               # External evaluation utility
│   ├── fake_tool_call_noharmful.json
│   ├── moderation_generator.py
│   └── moderation_validator.py
└── output/                         # Checkpoints and evaluation results

Começando

1. Criar o Ambiente

Fornecemos um script de instalação para configurar automaticamente o ambiente Python e instalar todas as dependências necessárias.

chmod +x install.sh
./install.sh

Após a conclusão da instalação, ative o ambiente virtual:

source .venv/bin/activate

Como alternativa, você pode criar o ambiente manualmente usando o Conda:

conda create -n SMT python=3.12
conda activate SMT
pip install -r requirements.txt

2. Configurar o Acesso à API

Crie utils/config.json a partir do arquivo de exemplo:

cp utils/config.example.json utils/config.json

Um arquivo de configuração mínimo deve seguir este formato:

{
  "llm_api": {
    "base_url": "https://your-api-endpoint/v1",
    "api_key": "YOUR_API_KEY"
  },
  "local": {
    "base_url": "http://localhost:1234/v1",
    "api_key": "YOUR_LOCAL_API_KEY"
  }
}

As duas entradas correspondem a:

  • llm_api: o endpoint padrão de API compatível com OpenAI para modelos comerciais.
  • local: um endpoint de inferência local compatível com OpenAI, usado para modelos locais selecionados.

3. Selecione um Benchmark e um Modelo Alvo

Abra main.py e modifique a configuração do experimento no início do arquivo:

DATA_FILE = "SafeBench-Tiny.txt"
# DATA_FILE = "JailbreakBench.txt"

TARGET_MODELS = [
    "gpt-4o-2024-11-20",
    # "gpt-5.4-2026-03-05",
    # "qwen3-max-2026-01-23",
    # "gemini-3-flash-preview",
    # "deepseek-v4-flash",
    # "claude-sonnet-4-5-20250929", 
]

Use identificadores de modelo que sejam válidos para o endpoint da API configurado em utils/config.json.

4. Configurar os Parâmetros de Avaliação

Os parâmetros padrão estão definidos em main.py:

MAX_THREADS = 1
MAX_ROUNDS = 3
TURNS_NUM = 3
RESET = False

Seus significados são:

ParâmetroDescrição
MAX_THREADSNúmero máximo de workers concorrentes por modelo alvo
MAX_ROUNDSNúmero máximo de rodadas externas de retry
TURNS_NUMNúmero máximo de tentativas de interação multi-turno por amostra
RESETSe deve descartar um checkpoint existente antes da avaliação

Defina:

RESET = True

para iniciar uma nova execução para o modelo selecionado. Deixe como False para retomar a partir de um checkpoint existente.

5. Executar a Avaliação

python main.py

Para cada modelo alvo, o script automaticamente:

  1. Carrega o benchmark selecionado de data/.
  2. Executa o SMT contra todas as amostras pendentes.
  3. Salva o progresso intermediário após cada amostra.
  4. Retoma experimentos interrompidos a partir dos checkpoints salvos.
  5. Relata métricas agregadas após a avaliação.

Formato de Saída

Os resultados são salvos em:

output/attack_checkpoint_<dataset>_<model>.json

Por exemplo:

output/attack_checkpoint_SafeBench-Tiny_gpt-4o-2024-11-20.json

Cada item de benchmark é armazenado com campos semelhantes a:

{
  "target_question": {
    "success": true,
    "queries": 3,
    "payload": "...",
    "score": 60
  }
}

O script reporta as seguintes métricas:

MétricaDescrição
ASRTaxa de Sucesso de Ataque: porcentagem de amostras cuja pontuação atinge o limite configurado
Avg.QNúmero médio de consultas à API usadas por amostra
Avg.ScorePontuação média de avaliação externa em todas as amostras

Requisitos Aproximados de Recursos

Os principais experimentos do SMT são baseados em API e não requerem uma GPU local.

  • CPU / Memória: Um laptop ou desktop padrão é suficiente para executar os scripts de avaliação.
  • GPU: Não é necessária para experimentos que usam APIs de LLMs comerciais.
  • Rede: É necessária uma conexão estável com a Internet.
  • Acesso à API: Credenciais de API válidas são necessárias para os modelos-alvo selecionados e para o modelo de avaliação.
  • Orçamento de consultas: Com os valores padrão MAX_ROUNDS = 3 e TURNS_NUM = 3, o SMT usa no máximo 9 consultas ao modelo-alvo por amostra de benchmark antes da parada antecipada.
  • Tempo de execução: O tempo de execução depende principalmente do modelo selecionado, do tamanho do benchmark, da latência da API e dos limites de taxa. Uma avaliação completa pode levar várias horas.
  • Custo da API: Depende do provedor do modelo e do preço atual da API.

Para modelos implantados localmente, requisitos adicionais de GPU e memória dependem do modelo selecionado e do backend de inferência.

Notas de Reprodutibilidade

As APIs de LLMs comerciais são continuamente atualizadas. Mesmo ao usar o mesmo alias de modelo, os resultados podem variar devido a atualizações do modelo por parte do provedor, comportamento de roteamento, mudanças nas políticas de segurança, configurações de decodificação ou falhas transitórias da API.

Para melhorar a reprodutibilidade:

  • Prefira snapshots de modelo com data sempre que disponíveis.
  • Mantenha os arquivos de benchmark inalterados.
  • Registre o provedor, o endpoint, o ID do modelo, a data e os parâmetros de cada execução.
  • Use o mesmo limite e orçamento de consultas reportados no artigo.

Todos os experimentos reportados neste repositório foram conduzidos em junho de 2026. Como os traces de validação simulados incluem elementos aleatorizados, as saídas dos modelos são inerentemente estocásticas, e tanto as capacidades dos modelos quanto os mecanismos de detecção externos continuam a evoluir, os históricos exatos de interação e os resultados reproduzidos podem diferir dos aqui reportados mesmo sob a mesma configuração de alto nível.

Resultados Principais

Baixar ferramenta

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 O kit definitivo de OSINT: grafo de investigação, pontuação de confiança, famílias de alias, mapa, linha do tempo e relatórios. 49 módulos, mais de 400 sites, sem necessidade de chaves de API.

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicativo de Execução em Um Toque GhostLock (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    Plataforma autônoma de testes de penetração multiagente com LLM, com agentes planejador/executor, grafos de ativos e de exploração, registro de tráfego MITM e reteste de vulnerabilidades.

    405
  • 4

    redforge

    cybersecurity91/redforge

    Kit de ferramentas de red team do lado do navegador com 102 ferramentas offline para reconhecimento, geração de payloads, ataques a credenciais, criptografia, codificação e relatórios de engajamento.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    O sistema de ação para cibersegurança nativa em IA—onde a intenção se torna execução governada, a evidência se torna memória operacional, e cada operação melhora a próxima.

    261
  • 6

    antifox

    antifox-ai/antifox

    Plataforma de testes de penetração autónoma com multiagentes de IA que executa reconhecimento, descoberta de superfície de ataque, validação de exploração e entrega de relatórios com evidências.

    259

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →