Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
psm — 一种用于保护大型语言模型(LLM)系统提示词免受对抗性提取攻击的黑盒优化方法。 | Kitploit
工具/GitHubGitHub/psm-defense/psm
防御工具机器学习论文与研究AI 安全
GitHubpsm-defense/psm

psm

一种用于保护大型语言模型(LLM)系统提示词免受对抗性提取攻击的黑盒优化方法。

查看仓库
211年前尚未审核
分享

提示敏感性最小化(PSM)

一种黑盒优化方法,用于保护大型语言模型(LLM)系统提示免受对抗性提取攻击。

概述

本仓库实现了提示敏感性最小化(PSM),这是一种防御机制,利用 LLM 作为优化器,在系统提示周围自动生成保护性“护盾”。PSM 通过迭代优化过程,在保持任务效用的同时最小化可观测的泄漏。

主要特性

  • LLM 作为优化器:使用语言模型生成并改进保护性护盾
  • 多目标优化:在泄漏最小化与效用保持之间取得平衡
  • 全面评估:针对多种攻击类型和防御策略进行测试
  • 平滑聚合:实现多种泄漏分数聚合方法(logsumexp、top-k 均值、最大值)
  • 高效缓存:通过智能结果缓存减少冗余 API 调用
  • 多种指标:同时支持基于 ROUGE 和 LLM 评判的评估指标

目录

  • 安装
  • 快速开始
  • 使用方法
  • 架构
  • 配置
  • 可复现性

安装

前置条件

  • Python 3.8+
  • 虚拟环境(推荐)

设置

  1. 克隆仓库:
git clone <repository-url>
cd psm
  1. 创建并激活虚拟环境:
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. 安装依赖:
pip install -r requirements.txt
  1. 配置 API 密钥: 创建一个 config/config.yaml 文件,填入你的 LLM API 配置:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0.7
  # Add other model configurations as needed

快速开始

运行 PSM Defense

使用 PSM 生成受保护的系统提示词:

python run.py

这将:

  1. 从 data/victim_prompts/ 加载系统提示词
  2. 使用 LLM 优化生成防护盾
  3. 将优化后的提示词保存到 data/defense_prompts/

评估防御

评估防御机制对对抗性攻击的抵御能力:

python experiments/evaluate_defenses.py

这将:

  1. 测试多种防御策略(None、Baseline、PSM、N-gram Filter、FAKE)
  2. 运行各种攻击类型(RACCON、LIANG、ZHANG 等)
  3. 在 results/ 中生成全面的结果

用法

编程式用法

为单个提示运行 PSM

from run import PSMRunner, RunPSMConfig

# Configure PSM
config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    n_initial_shields=5,
    n_shields_per_step=5,
    max_candidates_per_step=10,
    target_utility_threshold=0.9,
    target_leakage_threshold=0.65,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)

# Run PSM
runner = PSMRunner(config)
runner.run_experiments()

评估防御策略

from experiments.evaluate_defenses import (
    DefenseEvaluator, ExperimentConfig, 
    DefenseConfig, DefenseStrategy, 
    AttackType, Dataset, TargetModel
)

# Configure experiment
config = ExperimentConfig(
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[
        DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
    ],
    max_victim_samples=30,
    max_attack_samples=60,
    use_am_metric=True,
    am_threshold=0.9,
    use_jm_metric=True,
    jm_threshold=0.7
)

# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()

架构

核心组件

1. PSM(src/defense/psm/psm.py)

主要的优化引擎,其功能包括:

  • 生成初始防护盾
  • 使用 LLM 作为优化器迭代优化防护盾
  • 在效用和泄漏指标上评估候选方案
  • 针对多目标适应度函数进行优化

关键类:

  • PSM:主优化类
  • PromptCandidate:表示带有评分的候选解决方案
  • PSMConfig:配置参数

2. 数据创建(src/defense/psm/psm_data_creation.py)

处理以下内容:

  • 生成基线验证输入
  • 收集攻击输入
  • 创建查询-答案对

3. 指标(src/metrics.py)

评估指标:

  • ROUGE Recall:基于 token 重叠度衡量泄漏
  • LLM Judge:使用 LLM 作为评判者的二元评估
  • Approximate Match:基于阈值的成功检测

4. 评估(experiments/evaluate_defenses.py)

综合评估框架:

  • 支持多种防御策略
  • 测试各种攻击类型
  • 实现结果缓存
  • 生成详细报告

防御策略

  1. None:无防御(基线)
  2. Baseline:简单的指令添加(Liang et al., 2024)
  3. PSM:提示敏感性最小化(本工作)
  4. N-gram Filter:过滤包含提示 n-gram 的响应
  5. FAKE:诱饵提示插入(Liang et al., 2024)

攻击类型

支持的攻击数据集:

  • raccon.json:RACCON 攻击提示
  • liang.json:Liang et al. 攻击模式
  • zhang.json:Zhang et al. 攻击模式
  • ours.json:自定义攻击提示
  • raccon_language.json:特定语言的 RACCON 攻击

配置

PSM 配置参数

@dataclass
class RunPSMConfig:
    # Dataset
    dataset_name: str = "unnatural-test"
    
    # Sample sizes
    attack_samples: int = 50              # Attack inputs to use
    validation_samples: int = 10          # Baseline validation queries
    target_dataset_samples: int = 30      # System prompts to process
    
    # Model selection
    llm_target: str = "gpt-5-mini"       # Target model to protect
    llm_optimizer: str = "gpt-4o-mini"   # Model for shield generation
    llm_validation: str = "gpt-4o"       # Model for validation
    llm_judge: str = "gpt-4o-mini"       # Model for judging
    
    # Optimization parameters
    n_optimization_iterations: int = 10  # Max optimization iterations
    n_initial_shields: int = 5           # Initial shield population
    n_shields_per_step: int = 5          # New shields per iteration
    max_candidates_per_step: int = 10    # Max candidates to consider
    
    # Thresholds
    target_utility_threshold: float = 0.9    # Minimum utility score
    target_leakage_threshold: float = 0.65  # Maximum leakage score
    utility_penalty_weight: float = 100.0   # Weight for utility penalty
    
    # Leakage aggregation
    leakage_aggregation: str = "logsumexp"   # Aggregation method
    logsumexp_temperature: float = 10.0     # LogSumExp temperature
    top_k: int = 3                          # Top-k for top_k_mean

泄漏聚合方法

  1. max:最大泄漏分数(非平滑)
  2. logsumexp:max 的平滑近似(推荐)
  3. top_k_mean:最差 top-k 分数的平均值
  4. mean:简单平均值(最平滑)

实验配置

config = ExperimentConfig(
    # Attack and defense selection
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[...],
    
    # Sample limits
    max_victim_samples=30,
    max_attack_samples=60,
    
    # AM metric
    use_am_metric=True,
    am_threshold=0.9,
    
    # JM metric
    use_jm_metric=True,
    jm_threshold=0.7,
    
    # Output options
    output_dir="results",
    save_detailed_results=True,
    save_per_prompt_results=True
)

可复现性

本节提供复现本仓库实验结果的详细说明。

配置

  1. 设置 API 密钥: 创建 config/config.yaml,填入你的 LLM API 配置:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  gpt-4o:
    model: "gpt-4o"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  gpt-5-mini:
    model: "gpt-5-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  sentence-transformers/all-MiniLM-L6-v2:
    model_provider: "huggingface"
  1. 验证数据文件: 确保以下数据文件存在:
  • data/victim_prompts/unnatural-test.jsonl
  • data/victim_prompts/syntentic-system-prompt.jsonl
  • data/attack_prompts/raccon.json
  • data/attack_prompts/raccon_language.json
  • data/attack_prompts/liang.json
  • data/attack_prompts/zhang.json

复现 PSM 防御生成

运行 PSM 优化过程:

python run.py

预期输出:

  • 处理后的提示词保存至 data/defense_prompts/
  • 文件名格式:psm_target_{model}_dataset_{dataset}.jsonl
  • 每条记录包含:
    • instruction:带有防护盾的优化提示词
    • original_instruction:原始系统提示词
    • utility_score:效用保持得分
    • leakage_score:泄漏最小化得分
    • fitness_score:综合适应度得分

默认配置:

  • n_optimization_iterations:10
  • n_initial_shields:5
  • n_shields_per_step:5
  • attack_samples:50
  • validation_samples:10
  • leakage_aggregation:"logsumexp"

复现防御评估

针对攻击评估防御:

python experiments/evaluate_defenses.py

预期输出:

  • 结果保存至 results/ 目录
  • 包含详细攻击结果的 Excel 文件
  • 所有实验的 JSON 摘要
  • 缓存结果以加快后续运行

复现特定实验

如需通过编程方式控制,请修改 run.py 中的配置:

config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)
下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    654
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    490
  • 3

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    395
  • 4

    redforge

    cybersecurity91/redforge

    浏览器端红队工具包,包含 102 个离线工具,用于侦察、载荷生成、凭据攻击、加密、编码和交战报告。

    336
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI原生网络安全的行动系统——在这里,意图转化为受治理的执行,证据沉淀为运营记忆,每一次操作都让下一次更出色。

    258
  • 6

    antifox

    antifox-ai/antifox

    AI multi-agent autonomous penetration testing platform that runs recon, attack-surface discovery, exploitation validation and evidence-backed report delivery.

    252

探索所有工具

浏览我们的工具集合

查看所有工具 →