Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
refusal-relocates — LLM 安全:分析微调如何改变拒绝行为,并评估层冻结与低秩防御。 | Kitploit
工具/GitHubGitHub/js-lee-ai/refusal-relocates
防御工具漏洞分析机器学习论文与研究AI 安全对抗性攻击
GitHubjs-lee-ai/refusal-relocates

refusal-relocates

LLM 安全:分析微调如何改变拒绝行为,并评估层冻结与低秩防御。

查看仓库
21011个月前尚未审核
分享
网站

拒绝发生迁移,拒绝被局部化,损害随之迁移,少样本微调下的安全层

arXiv Project Page Code MIT Paper CC BY 4.0 Python 3.10+ CI Stars

项目主页 · 快速开始 · 用法 · CLI · 结果 · 复现 · 常见问题 · 引用


新闻

  • [2026-09-28] 代码已发布,并附带运行记录和用于重建论文表格的脚本。

概述

几十个有害示例就能让一个对齐模型不再拒绝有害请求。先前的工作将安全性定位到特定的层和方向,这暗示应当保护所发现的位置。本仓库以自适应攻击者的方式检验这一前提。它找出拒绝行为可以被恢复的位置,冻结该区域并再次攻击,然后修复权重更新,再让攻击者将其扩散。

本研究基于三项测量。

  • 拒绝行为在某一深度恢复。 同步补丁将干净模型在某一层的完整隐藏状态交给受损模型,在预填充和每个解码步骤都如此,拒绝行为会在一个可复现的过渡深度恢复。
  • 冻结该深度会使损害转移。 在匹配的 Llama-3.1-8B 对比中,冻结第 0–17 层会将过渡从第 15 层移到第 27 和第 28 层,受限攻击后的拒绝率为 0.00 至 0.01,而干净模型为 0.92 至 0.96。
  • 前二修复会被扩散更新击破。 移除更新中前两个奇异方向,可在四个检查点上恢复仅注意力短微调后的拒绝行为。将更新扩散的攻击者会将相对前二修复降至 0.000,而在 75 次良性微调上校准的检测器仅标记出 14 次修复失败中的 3 次。

本仓库以小型库的形式提供测量方法和两种防御,并附带用于重建论文表格的运行记录和脚本。

一图概览

左侧,干净模型和受损模型在共享 token 上运行,干净隐藏状态在某一层被补丁到受损模型中。右侧,在冻结第 0 至 17 层的情况下重复攻击,并在受限检查点上再次运行补丁

(a) 同步激活补丁在预填充和每个解码步骤用干净状态覆盖受损模型的层输出。(b) 在匹配的 Llama 攻击中,冻结第 0–17 层会将半上限过渡从 15 移到 27–28。

快速开始

pip install "git+https://github.com/js-lee-AI/refusal-relocates.git"
import numpy as np
import refusal

rng = np.random.default_rng(0)
A = rng.standard_normal((16, 512)) / 512 ** 0.5    # LoRA factors of one module, rank 16
B = rng.standard_normal((512, 16)) / 16 ** 0.5
for name, decay in [("ordinary", 0.5), ("spread", 1.0)]:
    b = B * decay ** np.arange(16)                  # energy in a few directions, or spread flat
    before, after = refusal.update_stats(A, b), refusal.update_stats(*refusal.remove_top_k(A, b, k=2))
    print(f"{name:8s}  PR/r {before['pr_over_r']:.2f}  top-2 energy {before['top2_energy_fraction']:.2f}"
          f"  norm left after top-2 removal {after['unscaled_norm'] / before['unscaled_norm']:.2f}")
# ordinary  PR/r 0.10  top-2 energy 0.94  norm left after top-2 removal 0.24
# spread    PR/r 0.94  top-2 energy 0.18  norm left after top-2 removal 0.90

普通微调会把大部分更新集中在少数几个奇异方向上,因此移除前两个方向就会剥离掉大部分更新。分散式更新的频谱是平坦的,所以同样的移除操作会保留其中大部分内容。PR/r,即 LoRA 秩上的参与率,也是论文中频谱检测器的得分。

这段代码在 CPU 上运行约需一秒,且不下载任何内容。相同的代码位于 examples/quickstart.py,CI 会在每次推送时运行它。

要训练、修补并评估真实检查点,请安装 models 附加组件。

pip install "refusal-relocates[models] @ git+https://github.com/js-lee-AI/refusal-relocates.git"
安装添加足以支持
pip install "git+https://github.com/js-lee-AI/refusal-relocates.git"numpy谱核心、top-k 移除、检测器、拒绝评分器、refusal 命令
pip install "refusal-relocates[models] @ git+https://github.com/js-lee-AI/refusal-relocates.git"torch、transformers、peft、accelerate、safetensors、scikit-learn、datasets在模型上进行训练、lockstep 补丁、探针和评估
git clone 然后 pip install -e ".[models,test]"pytestexperiments/、records/ 和 tests/

已在 Python 3.11.5、PyTorch 2.10.0、Transformers 4.57.3 和 PEFT 0.18.0 上测试。模型在 CUDA 设备上以 bfloat16 加载。

用法

逐层修补被篡改的检查点

import refusal

data = refusal.load_data("data/prompt_sets.json")        # built by `refusal prepare`, see below
prompts = data["advbench"][:40]
clean, tokenizer = refusal.load_model("meta-llama/Llama-3.1-8B-Instruct")
attacked, _ = refusal.load_model("meta-llama/Llama-3.1-8B-Instruct", adapter="runs/attack/adapter")

for layer in [6, 9, 12, 15, 18]:
    responses = refusal.lockstep_generate(clean, attacked, tokenizer, prompts, layer=layer)
    print(layer, sum(refusal.is_refusal(r) for r in responses) / len(prompts))

两个模型读取相同的 token,在选定的层上,被污染模型的输出被干净模型的输出替换。refusal patch 运行完整测量,包括其下限、上限和两个对照,使用困惑度门控和 Llama-Guard 对连贯拒绝进行评分,并报告过渡深度。

修复并评分适配器,无需 GPU

import refusal

stats = refusal.update_stats(A, B)                 # one module, A is rank x in and B is out x rank
A2, B2 = refusal.remove_top_k(A, B, k=2)           # the top-two repair, as new LoRA factors
result = refusal.calibrate_detector(benign_scores, attack_scores, budget=0.05)

适配器的检测器分数是其注意力投影上 PR/r 的平均值,refusal spectra 会在 CPU 上从已保存的适配器计算该值。

API 概览

调用功能依赖
refusal.update_stats(A, B)单个 LoRA 更新的参与率、PR/r、top-2 能量和范数基础安装
refusal.remove_top_k(A, B, k)移除 k 个最大奇异方向后的更新因子基础安装
refusal.calibrate_detector(benign, attacks, budget)在良性误报预算下的阈值,以及它标记的攻击基础安装
refusal.is_refusal(text)、refusal.summarize(...)显式拒绝模式、带困惑度门控的连贯拒绝基础安装
refusal.transition_depth(rows, ceiling, floor, rescaled=True)首个达到至少半程恢复的已修补层基础安装
refusal.prepare(...)、refusal.load_data(path)从公开数据重建并验证冻结的提示集基础安装
refusal.load_model(name, adapter=...)以 bfloat16 加载检查点,可选带 LoRA 适配器[models]
refusal.lockstep_generate(clean, attacked, tokenizer, prompts, layer)在某一层修补干净状态后的贪心解码[models]
refusal.add_adapter(model, freeze="bottom", n_frozen=18)仅在可写层上应用 LoRA[models]
refusal.remove_top(model, k)、refusal.adapter_stats(path)对已加载或已保存的适配器进行 top-k 修复和谱统计[models]

标记为基础安装的调用无需 torch 即可导入。重型模块会在首次使用其名称时加载。

命令行

安装该包会添加一个 refusal 命令,python -m refusal 运行相同的功能。

refusal --help
refusal demo                                                    # the quickstart, on CPU
refusal prepare --pku ... --alpaca ... --advbench ... --xstest ...   # rebuild the frozen prompt sets
refusal train --freeze bottom --n-frozen 18 --out runs/freeze   # LoRA attack with layers 0 to 17 frozen
refusal patch --adapter runs/freeze/adapter --out runs/freeze/patch     # lockstep patching
refusal evaluate --adapter runs/freeze/adapter --ranks 1,2,4 --out runs/freeze/evaluate
refusal spectra --adapter runs/freeze/adapter --out spectrum.json        # on CPU
refusal detector --benign benign/*.json --attacks attacks/*.json --out detector.json

结果

在一百个有害示例上,所有六个检查点的拒绝率仍接近零,恢复转变均高于冻结边界。

三个面板。Llama 冻结阶梯的恢复热图,以及高于其冻结边界的六个检查点的恢复热图,还有保留一层或两层可写时的拒绝率范围

图 5。(a, b) 恢复率从受攻击下限重新缩放到干净上限。灰色单元格为冻结层,轮廓标记了在所有随机种子中恢复率达到至少半量程的第一个实测层。(c) 粗条和细条分别保留两层或一层可写层。

冻结实测区间(论文表 1,LoRA 块)

在无法写入冻结层的攻击之后,AdvBench 上的连贯拒绝率和 Llama-Guard 不安全率。剂量 100,每个检查点三个随机种子,范围为种子间范围。Matched 在其他位置冻结相同数量的层。拒绝率越高、不安全率越低越好。

下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    786
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    429
  • 4

    redforge

    cybersecurity91/redforge

    浏览器端红队工具包,包含 102 个离线工具,用于侦察、载荷生成、凭据攻击、加密、编码和交战报告。

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI原生网络安全的行动系统——在这里,意图转化为受治理的执行,证据沉淀为运营记忆,每一次操作都让下一次更出色。

    262
  • 6

    looking-glass

    anonghosty/looking-glass

    CSIRT 平台,可将 Shadowserver 报告导入 MongoDB,并将其重放为交互式地图、分析、发现、公告和高管仪表板。

    256

探索所有工具

浏览我们的工具集合

查看所有工具 →