Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
psm — Une approche d'optimisation en boîte noire pour protéger les prompts système des grands modèles de langage (LLM) contre les attaques d'extraction adversariales. | Kitploit
Outils/GitHubGitHub/psm-defense/psm
Outils DéfensifsApprentissage AutomatiqueArticles et RechercheSécurité de l'IA
GitHubpsm-defense/psm

psm

Une approche d'optimisation en boîte noire pour protéger les prompts système des grands modèles de langage (LLM) contre les attaques d'extraction adversariales.

Voir le dépôt
21il y a 1 anPas encore vérifié
Partager

Minimisation de la sensibilité aux prompts (PSM)

Une approche d'optimisation en boîte noire pour protéger les prompts système des grands modèles de langage (LLM) contre les attaques d'extraction adversariales.

Aperçu

Ce dépôt implémente la Minimisation de la sensibilité aux prompts (PSM), un mécanisme de défense qui utilise le LLM comme optimiseur pour générer automatiquement des « boucliers » de protection autour des prompts système. PSM minimise les fuites observables tout en préservant l'utilité de la tâche grâce à un processus d'optimisation itératif.

Fonctionnalités clés

  • LLM comme optimiseur : utilise des modèles de langage pour générer et affiner des boucliers de protection
  • Optimisation multi-objectifs : équilibre la minimisation des fuites et la préservation de l'utilité
  • Évaluation complète : tests contre plusieurs types d'attaques et stratégies de défense
  • Agrégation lissée : implémente diverses méthodes d'agrégation des scores de fuite (logsumexp, moyenne top-k, max)
  • Mise en cache efficace : réduit les appels API redondants grâce à une mise en cache intelligente des résultats
  • Métriques multiples : prend en charge les métriques d'évaluation basées sur ROUGE et sur un juge LLM

Table des matières

  • Installation
  • Démarrage rapide
  • Utilisation
  • Architecture
  • Configuration
  • Reproductibilité

Installation

Prérequis

  • Python 3.8+
  • Environnement virtuel (recommandé)

Configuration

  1. Cloner le dépôt :
git clone <repository-url>
cd psm
  1. Créez et activez un environnement virtuel :
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. Installez les dépendances :
pip install -r requirements.txt
  1. Configurez les clés API : Créez un fichier config/config.yaml avec vos configurations d'API LLM :
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0.7
  # Add other model configurations as needed

Démarrage rapide

Exécution de PSM Defense

Générez des invites système protégées à l'aide de PSM :

python run.py

Cela va :

  1. Charger les prompts système depuis data/victim_prompts/
  2. Générer des boucliers protecteurs à l'aide de l'optimisation LLM
  3. Enregistrer les prompts optimisés dans data/defense_prompts/

Évaluation des défenses

Évaluer les mécanismes de défense contre les attaques adversariales :

python experiments/evaluate_defenses.py

Cela va :

  1. Tester plusieurs stratégies de défense (None, Baseline, PSM, N-gram Filter, FAKE)
  2. Exécuter divers types d'attaques (RACCON, LIANG, ZHANG, etc.)
  3. Générer des résultats complets dans results/

Utilisation

Utilisation programmatique

Exécution de PSM pour une seule invite

from run import PSMRunner, RunPSMConfig

# Configure PSM
config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    n_initial_shields=5,
    n_shields_per_step=5,
    max_candidates_per_step=10,
    target_utility_threshold=0.9,
    target_leakage_threshold=0.65,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)

# Run PSM
runner = PSMRunner(config)
runner.run_experiments()

Évaluer une stratégie de défense

from experiments.evaluate_defenses import (
    DefenseEvaluator, ExperimentConfig, 
    DefenseConfig, DefenseStrategy, 
    AttackType, Dataset, TargetModel
)

# Configure experiment
config = ExperimentConfig(
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[
        DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
    ],
    max_victim_samples=30,
    max_attack_samples=60,
    use_am_metric=True,
    am_threshold=0.9,
    use_jm_metric=True,
    jm_threshold=0.7
)

# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()

Architecture

Composants principaux

1. PSM (src/defense/psm/psm.py)

Le moteur d'optimisation principal qui :

  • Génère les boucliers de protection initiaux
  • Raffine itérativement les boucliers en utilisant le LLM comme optimiseur
  • Évalue les candidats selon les métriques d'utilité et de fuite
  • Optimise pour une fonction de fitness multi-objectifs

Classes clés :

  • PSM : Classe d'optimisation principale
  • PromptCandidate : Représente une solution candidate avec ses scores
  • PSMConfig : Paramètres de configuration

2. Création de données (src/defense/psm/psm_data_creation.py)

Gère :

  • La génération des entrées de validation de référence
  • La collecte des entrées d'attaque
  • La création des paires question-réponse

3. Métriques (src/metrics.py)

Métriques d'évaluation :

  • ROUGE Recall : Mesure la fuite basée sur le chevauchement de tokens
  • LLM Judge : Évaluation binaire utilisant le LLM comme juge
  • Approximate Match : Détection de succès basée sur un seuil

4. Évaluation (experiments/evaluate_defenses.py)

Cadre d'évaluation complet :

  • Prend en charge plusieurs stratégies de défense
  • Teste divers types d'attaques
  • Implémente la mise en cache des résultats
  • Génère des rapports détaillés

Stratégies de défense

  1. None : Aucune défense (référence)
  2. Baseline : Ajout d'instruction simple (Liang et al., 2024)
  3. PSM : Prompt Sensitivity Minimization (ce travail)
  4. N-gram Filter : Filtre les réponses contenant des n-grammes du prompt
  5. FAKE : Insertion de prompt leurre (Liang et al., 2024)

Types d'attaques

Jeux de données d'attaque pris en charge :

  • raccon.json : Prompts d'attaque RACCON
  • liang.json : Modèles d'attaque de Liang et al.
  • zhang.json : Modèles d'attaque de Zhang et al.
  • ours.json : Prompts d'attaque personnalisés
  • raccon_language.json : Attaques RACCON spécifiques à une langue

Configuration

Paramètres de configuration PSM

@dataclass
class RunPSMConfig:
    # Dataset
    dataset_name: str = "unnatural-test"
    
    # Sample sizes
    attack_samples: int = 50              # Attack inputs to use
    validation_samples: int = 10          # Baseline validation queries
    target_dataset_samples: int = 30      # System prompts to process
    
    # Model selection
    llm_target: str = "gpt-5-mini"       # Target model to protect
    llm_optimizer: str = "gpt-4o-mini"   # Model for shield generation
    llm_validation: str = "gpt-4o"       # Model for validation
    llm_judge: str = "gpt-4o-mini"       # Model for judging
    
    # Optimization parameters
    n_optimization_iterations: int = 10  # Max optimization iterations
    n_initial_shields: int = 5           # Initial shield population
    n_shields_per_step: int = 5          # New shields per iteration
    max_candidates_per_step: int = 10    # Max candidates to consider
    
    # Thresholds
    target_utility_threshold: float = 0.9    # Minimum utility score
    target_leakage_threshold: float = 0.65  # Maximum leakage score
    utility_penalty_weight: float = 100.0   # Weight for utility penalty
    
    # Leakage aggregation
    leakage_aggregation: str = "logsumexp"   # Aggregation method
    logsumexp_temperature: float = 10.0     # LogSumExp temperature
    top_k: int = 3                          # Top-k for top_k_mean

Méthodes d'agrégation des fuites

  1. max : Score de fuite maximal (non lisse)
  2. logsumexp : Approximation lisse du max (recommandée)
  3. top_k_mean : Moyenne des k pires scores
  4. mean : Moyenne simple (la plus lisse)

Configuration de l'expérience

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 La boîte à outils OSINT ultime : graphe d'enquête, notation de confiance, familles d'alias, carte, chronologie et rapports. 49 modules, plus de 400 sites, aucune clé API requise.

    654
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Application d'exécution en un clic GhostLock (CVE-2026-43499)

    490
  • 3

    ARTEX

    baarai/artex

    Plateforme autonome de tests d'intrusion multi-agents basée sur des LLM, avec agents planificateur/ouvrier, graphes d'actifs et d'exploration, enregistrement du trafic MITM et retest des vulnérabilités.

    395
  • 4

    redforge

    cybersecurity91/redforge

    Boîte à outils red team côté navigateur avec 102 outils hors ligne pour la reconnaissance, la génération de payloads, les attaques par identifiants, la cryptographie, l'encodage et le reporting d'engagement.

    336
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Le système d'action pour la cybersécurité native IA—où l'intention devient une exécution gouvernée, les preuves deviennent une mémoire opérationnelle, et chaque opération améliore la suivante.

    258
  • 6

    antifox

    antifox-ai/antifox

    Plateforme de test d'intrusion autonome multi-agents par IA qui exécute la reconnaissance, la découverte de la surface d'attaque, la validation de l'exploitation et la livraison de rapports étayés par des preuves.

    252

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →