对抗性攻击

jinxhy/awesome-moai-security

针对移动端设备上AI系统的攻击与防御研究精选阅读清单及分类体系，涵盖对抗攻击、后门攻击、模型窃取攻击及能耗-延迟攻击，同时涉及混淆、TEE与水印防御措施。

ye-ze-yu/epireal-bench

面向商业图像生成器的红队测试基准与黑盒攻击框架，用于评估视觉虚假信息风险，包含1万条虚假声明提示词及评分脚本。

wang-yanting/agentwatcher

因果上下文归因与基于规则的监控器 LLM 防御，用于抵御 LLM 智能体中的间接提示注入，在 AgentDyn 及其他基准测试上实现了最先进的性能。

borealisai/stepjack

用于评估计算机操作型AI代理对抗多步骤间接提示注入的基准测试框架，具备自动化对抗性目标分解与AWS沙箱测试环境。

sej2020/manipulating-web-agents

针对自主基于LLM的Web智能体的间接提示注入攻击研究演示，包含触发器优化与评估工具。

phil-fan/fs-attack

实现论文《重新思考延迟拒绝服务：攻击 LLM 服务框架，而非模型》

dtrecherel/dnsspoof

一个使用 Python3 编写的 DNS 欺骗工具。

canonicalmg/reverse-captcha-eval

评估框架，用于测试大型语言模型是否遵循嵌入在正常文本中的不可见 Unicode 编码指令，并跨多个模型和工具条件进行统计分析。

multimodal-ai-lab/tobac

逐Token攻陷：统一自回归模型中的后门漏洞（NeurIPS'26）

kevinchunye/prompt_injection

用于衡量提示注入防御在工具调用型LLM代理流水线中何处触发的基准测试框架，跟踪金丝雀令牌在暴露、持久化、中继和执行各阶段的情况。

stardust457/sldr

防御框架，通过选择性层恢复和动态路由来缓解LLM的恶意微调，并附带训练、危害性评分和越狱评估脚本。

azzzzliao/aegis-audio-defense

防御框架，保持音频语言模型冻结，并添加中层风险门控与后层安全适配器，以在推理时阻止音频越狱。

sliu11-byte/mea-bench

面向黑盒LLM提取攻击、防御与自适应攻击的生命周期基准测试。

gmh5225/llm-attack-prompt

越狱、提示泄露、提示注入、LLM 攻击。大型语言模型攻击提示集合

rakib-nyc/nullorigin

仅用于研究的AI水印鲁棒性工具包：本地反向代理剥离C2PA/EXIF/XMP、Unicode、图像/音频隐写及OOXML/PDF元数据，并扫描Trojan Source。

zdcslab/rubrics-as-an-attack-surface

针对评分标准诱导偏好漂移（RIPD）的研究代码：进化式评分标准搜索、保持基准的选择，以及LLM评判者中的DPO策略错位评估。

siyuanli00/intact

研究代码，复现了来自SoK意图导向系统化论文的多轮LLM越狱实验（FITD、MRCJ、ActorAttack、X-Teaming）。