RedEval - Framework d'évaluation de la sécurité des LLM

Un framework complet pour évaluer la sécurité des grands modèles de langage (LLM) grâce à des tests systématiques d'attaque et de refus. RedEval fournit une plateforme unifiée, sécurisée et extensible pour évaluer la robustesse des LLM face aux prompts adverses et aux contenus nuisibles. Il fait partie de l'article "RedBench: A Universal Dataset for Comprehensive Red Teaming of Large Language Models", qui est un jeu de données universel pour le red teaming complet des LLM.

📦 Jeu de données : Le jeu de données RedBench est disponible publiquement sur HuggingFace à l'adresse knoveleng/redbench. Il inclut des prompts de red teaming complets couvrant plusieurs catégories et domaines de sécurité.

🚀 Démarrage rapide

1. Configuration de l'environnement

# Clone the repository
git clone https://github.com/knoveleng/redeval.git
cd redeval

# Install dependencies
pip install -r requirements.txt

# Copy and configure environment variables
cp .env.template .env
# Edit .env with your API keys

2. Configuration des clés API

Modifiez le fichier .env avec vos identifiants :

OPENAI_API_KEY=your_openai_api_key_here
HUGGINGFACE_TOKEN=your_huggingface_token_here

3. Exécution de l'évaluation

# Set up environment
source ./sh/setup_env.sh

# Run with default models, you can edit .env to define models which you wanna run
python -m redeval.cli run-pipeline

# Run complete pipeline with specific models
python -m redeval.cli run-pipeline --models "Qwen/Qwen2.5-7B-Instruct" "gpt-4o-mini"

# Or run individual phases
./sh/generate_attack.sh
./sh/run_attack.sh
./sh/eval_attack.sh

📋 Table des matières

• Aperçu
• Architecture
• Installation
• Configuration
• Utilisation
• Fonctionnalités de sécurité
• Référence de l'API
• Contribution
• Licence

🎯 Aperçu

RedEval évalue la sécurité des LLM selon deux approches complémentaires :

🔴 Phase d'attaque

Teste la vulnérabilité des LLM face aux prompts adverses à l'aide de diverses techniques de jailbreak :

• Attaques directes : Des prompts nuisibles directs
• Jailbreaks humains : Des techniques de contournement élaborées par des humains
• Attaques zero-shot : Génération automatisée de prompts adverses

🛡️ Phase de refus

Évalue la capacité des LLM à refuser de manière appropriée les requêtes nuisibles sur plusieurs jeux de données de sécurité :

• CoCoNot : Modération de contenu contextuelle
• SGXSTest : Examen des directives de sécurité
• XSTest : Tests de sécurité inter-domaines
• ORBench : Benchmarking objectif du refus

📊 Calcul du score

Calcule des métriques de sécurité complètes combinant les performances d'attaque et de refus.

🏗️ Architecture

Composants principaux

redeval/
├── redeval/                 # Core Python modules
│   ├── config.py           # Environment & configuration management
│   ├── pipeline.py         # Centralized pipeline orchestrator
│   ├── cli.py              # Unified command-line interface
│   ├── exceptions.py       # Custom exception handling
│   ├── generate_attack.py  # Attack prompt generation
│   ├── run_attack.py       # Attack execution
│   ├── eval_attack.py      # Attack evaluation
│   ├── run_refuse.py       # Refusal testing
│   ├── eval_refuse.py      # Refusal evaluation
│   └── score.py            # Metric calculation
├── sh/                     # Shell script interfaces
│   ├── setup_env.sh        # Environment setup
│   ├── generate_attack.sh  # Attack generation script
│   ├── run_attack.sh       # Attack execution script
│   ├── eval_attack.sh      # Attack evaluation script
│   ├── run_refuse.sh       # Refusal testing script
│   ├── eval_refuse.sh      # Refusal evaluation script
│   └── score.sh            # Scoring script
├── recipes/                # Configuration files
├── logs/                   # Evaluation results
└── .env                    # Environment variables

Pipeline d'évaluation

graph TD
    A[Generate Attack Prompts] --> B[Run Attack Tests]
    B --> C[Evaluate Attack Results]
    D[Run Refuse Tests] --> E[Evaluate Refuse Results]
    C --> F[Calculate Final Scores]
    E --> F
    F --> G[Generate Reports]

🛠️ Installation

Prérequis

• Python 3.8 ou supérieur
• Clé API OpenAI
• Jeton HuggingFace
• Git

Installation étape par étape

1. Cloner le dépôt

   git clone <repository-url>
   cd redeval
   

2. Installer les dépendances

   pip install -r requirements.txt
   

3. Configurer l'environnement

   cp .env.template .env
   # Edit .env with your API credentials
   

4. Vérifier l'installation

   python -m redeval.cli --help
   

⚙️ Configuration

Variables d'environnement

RedEval utilise des variables d'environnement pour une configuration sécurisée et flexible :

Variables requises

Variable	Description	Exemple
OPENAI_API_KEY	Clé API OpenAI	sk-proj-...
HUGGINGFACE_TOKEN	Jeton HuggingFace	hf_...

Configuration optionnelle

Variable	Description	Défaut
REDEVAL_PROJECT_ROOT	Répertoire racine du projet	Répertoire actuel
REDEVAL_LOG_DIR	Répertoire des journaux	./logs
REDEVAL_RECIPES_DIR	Répertoire de configuration	./recipes
REDEVAL_LOG_LEVEL	Niveau de journalisation	INFO
REDEVAL_NUM_SAMPLES	Nombre d'échantillons d'évaluation	10
REDEVAL_SEED	Graine aléatoire	0

Configuration des modèles

Variable	Description	Défaut
REDEVAL_OPEN_SOURCE_MODELS	Liste des modèles open source	"Qwen/Qwen2.5-7B-Instruct"
REDEVAL_CLOSED_SOURCE_MODELS	Liste des modèles à source fermée	"gpt-4o-mini"

Fichiers de configuration

Les fichiers de configuration du répertoire recipes/ contrôlent les paramètres d'évaluation :

• attack/base-open.yml - Configuration d'attaque des modèles open source
• attack/base-close.yml - Configuration d'attaque des modèles à source fermée
• attack/eval.yml - Configuration d'évaluation des attaques
• refuse/base-open.yml - Configuration de refus des modèles open source
• refuse/base-close.yml - Configuration de refus des modèles à source fermée
• refuse/eval.yml - Configuration d'évaluation des refus

🚀 Utilisation

Interface en ligne de commande

RedEval fournit une CLI unifiée pour toutes les opérations :

Pipeline complet

# Run full evaluation pipeline
python -m redeval.cli run-pipeline

# Run with specific models
python -m redeval.cli run-pipeline --models "Qwen/Qwen2.5-7B-Instruct" "gpt-4o-mini"

# Run specific phases only
python -m redeval.cli run-pipeline --phases generate_attack run_attack eval_attack

Composants individuels

# Generate attack prompts
python -m redeval.cli generate-attack --config ./recipes/attack/base-close.yml

# Run attack evaluation
python -m redeval.cli run-attack --config ./recipes/attack/base-open.yml --model "Qwen/Qwen2.5-7B-Instruct"

# Evaluate attack results
python -m redeval.cli eval-attack --config ./recipes/attack/eval.yml --log-dir ./logs/attack/HarmBench/direct/model_name