Skip to content
KitploitKITPLOIT
FerramentasExploitsBlog
Log in
Enviar
FerramentasExploitsBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

FeedsContatoPrivacidade© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
FinRED-paper — benchmark de red-teaming específico do domínio financeiro rubrica de avaliação | Kitploit
Ferramentas/GitHubGitHub/selectstar-ai/finred-paper
Análise de VulnerabilidadesInteligência de AmeaçasAprendizado de MáquinaPapers e PesquisaAprendizado e EducaçãoRed TeamingSegurança de IA
GitHubselectstar-ai/finred-paper

FinRED-paper

benchmark de red-teaming específico do domínio financeiro rubrica de avaliação

Ver Repositório
4186há 1 mêsAinda não revisado
Compartilhar

FinRED: Uma Estrutura Especializada de Geração de Benchmarks e Avaliação para Red-Teaming de LLMs Financeiros (IEEE ICDM 2026)

Um pipeline de geração de benchmarks de red-team para avaliação de segurança no domínio financeiro.

Visão geral do FinRED


Documentação Suplementar

Materiais detalhados referenciados no artigo:

  • docs/expert_validation.md — Resultados por pergunta das Entrevistas de Grupo Focal (FGI) dos 12 especialistas de domínio FSI (concordância, pontuações Likert, Cohen's κ / Krippendorff's α).
  • docs/judge_rubric.md — Modelo completo de avaliação LLM-as-a-Judge, as cinco dimensões da rubrica, regra de decisão e esquema JSON de saída.
  • docs/schemas.md — Estrutura do esquema de comportamento de ameaça (elementos essenciais/opcionais) com um exemplo prático R4.4.
  • docs/related_work.md — Descrições por benchmark de benchmarks anteriores de LLMs no domínio financeiro e como o FinRED se diferencia.

Estrutura do Projeto

FinRED/
├── main.py                      # Main runner
├── requirements.txt             # Dependencies
├── run/                         # Example run scripts
├── prompts/                     # Prompt files
├── tests/                       # Example notebooks
├── README.md
│
├── src/
│   ├── Step1_build.py           # Scenario generation module
│   ├── Step2_build.py           # Seed prompt generation module
│   ├── __init__.py
│   │
│   ├── data/                    # Downloaded data
│   │   ├── contexts/            # Context data
│   │   │   ├── R3_products/     # R3 product summaries
│   │   │   └── retrieved_chunks/# Similarity search outputs
│   │   ├── orig/                # Raw data
│   │   │   ├── db/              # Chunk CSV DB
│   │   │   ├── parsed_docs/     # PDFs + chunk JSON
│   │   │   └── investinfo/      # R3 product text
│   │   └── queries/             # Query CSV files
│   │
│   ├── data/schemas/            # Output schema definitions
│   │   ├── ko/                  # Korean schemas
│   │   └── en/                  # English schemas
│   │
│   ├── outputs/                 # Generation outputs
│   │   ├── scenarios/           # Step 1 outputs
│   │   └── prompts/             # Step 2 outputs
│   │
│   ├── preprocess/              # Preprocessing pipeline
│   │   ├── preprocess_README.md # Detailed preprocessing guide
│   │   ├── 1_chunking.py
│   │   ├── 2_parsed_to_csv.py
│   │   ├── 3_common_to_csv.py
│   │   ├── 4_product_summarizer.py
│   │   ├── 5_summary_extractor.py
│   │   └── 6_chunk_retriever.py
│   │
│   ├── eval/                    # Evaluation module
│   │   ├── judge_finred.py      # Evaluation script
│   │   ├── dataset/             # Evaluation dataset

Configuração do Ambiente

0. Baixar Dados Relacionados

Google Drive: https://drive.google.com/drive/u/0/folders/1cfBf419OUDrQQMRKMPLLJqRX97WMxExC Google Drive

Coloque os dados baixados de forma a corresponder à estrutura de pastas acima (em src/data).

1. Criar um Ambiente Virtual (Python 3.10)

# Conda
conda create -n finred python=3.10 -y
conda activate finred

# Or venv
python3.10 -m venv finred_env
source finred_env/bin/activate

2. Instalar Pacotes

cd /path/to/FinRED
pip install -r requirements.txt

3. Ambiente de Pré-processamento (Opcional)

Se você precisar de pré-processamento (divisão de PDF em chunks, etc.):

# Unstructured
pip install "unstructured[all-docs]"

# System dependencies (Ubuntu/Debian)
sudo apt-get install -y libmagic-dev poppler-utils tesseract-ocr tesseract-ocr-kor libreoffice pandoc

Guia de pré-processamento: src/preprocess/preprocess_README.md

4. Verificar a Instalação

python --version  # Python 3.10.x
python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"

Visão Geral do Pipeline

[Context + Schema + Query]
         │
         ▼
   ┌─────────────┐
   │ Step1_build │  Scenario generation (OpenAI GPT-4)
   └─────────────┘
         │
         ▼
   [Scenario JSON]
         │
         ▼
   ┌─────────────┐
   │ Step2_build │  Seed prompt generation (Gemini)
   └─────────────┘
         │
         ▼
   [Seed Prompts]
         │
         ▼
   ┌─────────────┐
   │ Evaluation  │  Model response evaluation
   └─────────────┘

Detalhes dos Módulos

Step1_build.py - Geração de Cenários

Gera cenários de red-team com base no contexto e no esquema.

  • Entradas: esquema, consultas, trechos de contexto recuperados
  • Saídas: arquivos JSON de cenários em src/outputs/scenarios/{category}/
  • Modelo: OpenAI GPT-4

Step2_build.py - Geração de Prompts Semente

Gera prompts semente a partir dos cenários.

  • Entradas: JSON de cenário do Passo 1
  • Saídas: JSON de prompt + CSV mesclado em src/outputs/prompts/{category}/
  • Modelo: Google Gemini 2.5 Pro

Uso

Início Rápido

Geração de Dados

# Run the full pipeline with the example script
sh run/run_data_generate.sh

Juiz

python src/eval/judge_finred.py \
    -i src/eval/dataset/qwen_2.5_test.csv \
    -o qwen_2.5_test_judged \
    -d src/eval/infer_result

Básico

cd /path/to/FinRED

python main.py \
    --step <1|2|all> \
    --category <category> \
    --openai_api_key "sk-..." \
    --gemini_api_key "AIza..."

Parâmetros

ParâmetroObrigatórioDescrição
--stepSimEtapa a executar: 1 (cenário), 2 (prompt), all (sequencial)
--categorySimCategoria: R1, R2, R3, R4, R5 ou R1_1, etc.
--openai_api_keyEtapa 1Chave de API da OpenAI
--gemini_api_keyEtapa 2Chave de API do Gemini
--langOpcionalIdioma do prompt: ko (padrão), en
--num_promptsOpcionalNúmero de prompts (padrão: 3)
--step1_modelOpcionalModelo para a Etapa 1 (padrão: gpt-4.1-2025-04-14)
--step2_modelOpcionalModelo para a Etapa 2 (padrão: models/gemini-2.5-pro)
--model_nameOpcionalAlias obsoleto para --step1_model

Exemplos

# Full pipeline (R1)
python main.py \
    --step all \
    --category R1 \
    --openai_api_key "sk-proj-..." \
    --gemini_api_key "AIza..."

# Step 1 only
python main.py \
    --step 1 \
    --category R2 \
    --openai_api_key "sk-proj-..."

# Step 2 only (English, 5 prompts)
python main.py \
    --step 2 \
    --category R5 \
    --lang en \
    --num_prompts 5 \
    --gemini_api_key "AIza..."

# Single subcategory
python main.py \
    --step 2 \
    --category R1_1 \
    --num_prompts 3 \
    --gemini_api_key "AIza..."

Informações da Categoria

CategoriaSubcategoriasDescrição
R1R1_1 ~ R1_6Ameaças à segurança financeira
R2R2_1 ~ R2_5Fraude e atividades ilegais
R3R3_1 ~ R3_3Venda enganosa
R4R4_1 ~ R4_5Manipulação de mercado
R5R5_1 ~ R5_7Violações regulatórias

Avaliação

Avalie as respostas do modelo aos prompts gerados.

Executar

cd /path/to/FinRED/src/eval

python src/eval/judge_finred.py \
    -i <input_csv_path> \
    -o <output_basename> \
    -d <output_dir>

Exemplo

python src/eval/judge_finred.py \
    -i ./dataset/qwen_2.5_7b_all_with_responses.csv \
    -o qwen2.5_7b_responses \
    -d ./infer_result/

Formato CSV de Entrada

O CSV deve incluir:

  • coluna de prompt
  • coluna de resposta do modelo

Saída

Baixar ferramenta

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 O kit definitivo de OSINT: grafo de investigação, pontuação de confiança, famílias de alias, mapa, linha do tempo e relatórios. 49 módulos, mais de 400 sites, sem necessidade de chaves de API.

    795
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicativo de Execução em Um Toque GhostLock (CVE-2026-43499)

    520
  • 3

    ARTEX

    baarai/artex

    Plataforma autônoma de testes de penetração multiagente com LLM, com agentes planejador/executor, grafos de ativos e de exploração, registro de tráfego MITM e reteste de vulnerabilidades.

    439
  • 4

    redforge

    cybersecurity91/redforge

    Kit de ferramentas de red team do lado do navegador com 102 ferramentas offline para reconhecimento, geração de payloads, ataques a credenciais, criptografia, codificação e relatórios de engajamento.

    346
  • 5

    looking-glass

    anonghosty/looking-glass

    Plataforma CSIRT que ingere relatórios do Shadowserver no MongoDB e os reproduz como mapas interativos, análises, descobertas, avisos e painéis executivos.

    267
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    O sistema de ação para cibersegurança nativa em IA—onde a intenção se torna execução governada, a evidência se torna memória operacional, e cada operação melhora a próxima.

    264

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →