Skip to content
KitploitKITPLOIT
OutilsBlog
Log in
Soumettre
OutilsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
FinRED-paper — référentiel d'évaluation pour l'évaluation comparative de red-teaming spécifique au domaine financier | Kitploit
Outils/GitHubGitHub/selectstar-ai/finred-paper
Analyse des VulnérabilitésRenseignement sur les MenacesApprentissage AutomatiqueArticles et RechercheApprentissage et ÉducationRed TeamingSécurité de l'IA
GitHubselectstar-ai/finred-paper

FinRED-paper

référentiel d'évaluation pour l'évaluation comparative de red-teaming spécifique au domaine financier

Voir le dépôt
4186il y a 1 moisPas encore vérifié
Partager

FinRED : Un framework expert de génération de benchmarks et d'évaluation pour le red-teaming des LLM financiers (IEEE ICDM 2026)

Un pipeline de génération de benchmarks de red-team pour l'évaluation de la sécurité dans le domaine financier.

Vue d'ensemble de FinRED


Documentation complémentaire

Documents détaillés référencés dans l'article :

  • docs/expert_validation.md — Résultats des entretiens de groupe (Focus Group Interview, FGI) par question menés auprès des 12 experts du domaine FSI (accord, scores de Likert, κ de Cohen / α de Krippendorff).
  • docs/judge_rubric.md — Modèle complet d'évaluation LLM-as-a-Judge, les cinq dimensions de la grille d'évaluation, la règle de décision et le schéma JSON de sortie.
  • docs/schemas.md — Structure du schéma de comportement de menace (éléments essentiels/facultatifs) avec un exemple concret R4.4.
  • docs/related_work.md — Descriptions par benchmark des benchmarks LLM antérieurs du domaine financier et en quoi FinRED s'en distingue.

Structure du projet

FinRED/
├── main.py                      # Main runner
├── requirements.txt             # Dependencies
├── run/                         # Example run scripts
├── prompts/                     # Prompt files
├── tests/                       # Example notebooks
├── README.md
│
├── src/
│   ├── Step1_build.py           # Scenario generation module
│   ├── Step2_build.py           # Seed prompt generation module
│   ├── __init__.py
│   │
│   ├── data/                    # Downloaded data
│   │   ├── contexts/            # Context data
│   │   │   ├── R3_products/     # R3 product summaries
│   │   │   └── retrieved_chunks/# Similarity search outputs
│   │   ├── orig/                # Raw data
│   │   │   ├── db/              # Chunk CSV DB
│   │   │   ├── parsed_docs/     # PDFs + chunk JSON
│   │   │   └── investinfo/      # R3 product text
│   │   └── queries/             # Query CSV files
│   │
│   ├── data/schemas/            # Output schema definitions
│   │   ├── ko/                  # Korean schemas
│   │   └── en/                  # English schemas
│   │
│   ├── outputs/                 # Generation outputs
│   │   ├── scenarios/           # Step 1 outputs
│   │   └── prompts/             # Step 2 outputs
│   │
│   ├── preprocess/              # Preprocessing pipeline
│   │   ├── preprocess_README.md # Detailed preprocessing guide
│   │   ├── 1_chunking.py
│   │   ├── 2_parsed_to_csv.py
│   │   ├── 3_common_to_csv.py
│   │   ├── 4_product_summarizer.py
│   │   ├── 5_summary_extractor.py
│   │   └── 6_chunk_retriever.py
│   │
│   ├── eval/                    # Evaluation module
│   │   ├── judge_finred.py      # Evaluation script
│   │   ├── dataset/             # Evaluation dataset

Configuration de l'environnement

0. Télécharger les données associées

Google Drive : https://drive.google.com/drive/u/0/folders/1cfBf419OUDrQQMRKMPLLJqRX97WMxExC Google Drive

Placez les données téléchargées de manière à correspondre à la structure de dossiers ci-dessus (sous src/data).

1. Créer un environnement virtuel (Python 3.10)

# Conda
conda create -n finred python=3.10 -y
conda activate finred

# Or venv
python3.10 -m venv finred_env
source finred_env/bin/activate

2. Installer les paquets

cd /path/to/FinRED
pip install -r requirements.txt

3. Environnement de prétraitement (facultatif)

Si vous avez besoin d'un prétraitement (découpage de PDF, etc.) :

# Unstructured
pip install "unstructured[all-docs]"

# System dependencies (Ubuntu/Debian)
sudo apt-get install -y libmagic-dev poppler-utils tesseract-ocr tesseract-ocr-kor libreoffice pandoc

Guide de prétraitement : src/preprocess/preprocess_README.md

4. Vérifier l'installation

python --version  # Python 3.10.x
python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"

Aperçu du pipeline

[Context + Schema + Query]
         │
         ▼
   ┌─────────────┐
   │ Step1_build │  Scenario generation (OpenAI GPT-4)
   └─────────────┘
         │
         ▼
   [Scenario JSON]
         │
         ▼
   ┌─────────────┐
   │ Step2_build │  Seed prompt generation (Gemini)
   └─────────────┘
         │
         ▼
   [Seed Prompts]
         │
         ▼
   ┌─────────────┐
   │ Evaluation  │  Model response evaluation
   └─────────────┘

Détails des modules

Step1_build.py - Génération de scénarios

Génère des scénarios de red-team en fonction du contexte et du schéma.

  • Entrées : schéma, requêtes, fragments de contexte récupérés
  • Sorties : fichiers JSON de scénarios dans src/outputs/scenarios/{category}/
  • Modèle : OpenAI GPT-4

Step2_build.py - Génération de prompts initiaux

Génère des prompts initiaux à partir des scénarios.

  • Entrées : JSON de scénarios de l'étape 1
  • Sorties : JSON de prompts + CSV fusionné dans src/outputs/prompts/{category}/
  • Modèle : Google Gemini 2.5 Pro

Utilisation

Démarrage rapide

Génération de données

# Run the full pipeline with the example script
sh run/run_data_generate.sh

Juge

python src/eval/judge_finred.py \
    -i src/eval/dataset/qwen_2.5_test.csv \
    -o qwen_2.5_test_judged \
    -d src/eval/infer_result

Basique

cd /path/to/FinRED

python main.py \
    --step <1|2|all> \
    --category <category> \
    --openai_api_key "sk-..." \
    --gemini_api_key "AIza..."

Paramètres

ParamètreRequisDescription
--stepOuiÉtape à exécuter : 1 (scénario), 2 (prompt), all (séquentiel)
--categoryOuiCatégorie : R1, R2, R3, R4, R5 ou R1_1, etc.
--openai_api_keyÉtape 1Clé API OpenAI
--gemini_api_keyÉtape 2Clé API Gemini
--langFacultatifLangue du prompt : ko (par défaut), en
--num_promptsFacultatifNombre de prompts (par défaut : 3)
--step1_modelFacultatifModèle pour l'étape 1 (par défaut : gpt-4.1-2025-04-14)
--step2_modelFacultatifModèle pour l'étape 2 (par défaut : models/gemini-2.5-pro)
--model_nameFacultatifAlias obsolète pour --step1_model

Exemples

# Full pipeline (R1)
python main.py \
    --step all \
    --category R1 \
    --openai_api_key "sk-proj-..." \
    --gemini_api_key "AIza..."

# Step 1 only
python main.py \
    --step 1 \
    --category R2 \
    --openai_api_key "sk-proj-..."

# Step 2 only (English, 5 prompts)
python main.py \
    --step 2 \
    --category R5 \
    --lang en \
    --num_prompts 5 \
    --gemini_api_key "AIza..."

# Single subcategory
python main.py \
    --step 2 \
    --category R1_1 \
    --num_prompts 3 \
    --gemini_api_key "AIza..."

Informations sur les catégories

CatégorieSous-catégoriesDescription
R1R1_1 ~ R1_6Menaces pour la sécurité financière
R2R2_1 ~ R2_5Fraude et activités illégales
R3R3_1 ~ R3_3Vente abusive
R4R4_1 ~ R4_5Manipulation de marché
R5R5_1 ~ R5_7Violations réglementaires

Évaluation

Évaluer les réponses du modèle aux prompts générés.

Exécution

cd /path/to/FinRED/src/eval

python src/eval/judge_finred.py \
    -i <input_csv_path> \
    -o <output_basename> \
    -d <output_dir>

Exemple

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 La boîte à outils OSINT ultime : graphe d'enquête, notation de confiance, familles d'alias, carte, chronologie et rapports. 49 modules, plus de 400 sites, aucune clé API requise.

    837
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Application d'exécution en un clic GhostLock (CVE-2026-43499)

    536
  • 3

    ARTEX

    baarai/artex

    Plateforme autonome de tests d'intrusion multi-agents basée sur des LLM, avec agents planificateur/ouvrier, graphes d'actifs et d'exploration, enregistrement du trafic MITM et retest des vulnérabilités.

    424
  • 4

    redforge

    cybersecurity91/redforge

    Boîte à outils red team côté navigateur avec 102 outils hors ligne pour la reconnaissance, la génération de payloads, les attaques par identifiants, la cryptographie, l'encodage et le reporting d'engagement.

    355
  • 5

    looking-glass

    anonghosty/looking-glass

    Plateforme CSIRT qui ingère les rapports Shadowserver dans MongoDB et les rejoue sous forme de cartes interactives, d'analyses, de constats, d'avis et de tableaux de bord exécutifs.

    294
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Le système d'action pour la cybersécurité native IA—où l'intention devient une exécution gouvernée, les preuves deviennent une mémoire opérationnelle, et chaque opération améliore la suivante.

    276

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →