#1基于 ML 的安全工具、对抗性机器学习和 AI 驱动的网络防御。
Kitploit 推荐
ml-security-research-lab/cachetrapResearch code for a gray-box trojan attack that flips a single KV-cache bit in fine-tuned LLM classifiers and measures per-class attack success rate.
hannahxchen/llm-censorship-steering《引导审查之船：揭示用于 LLM“思维”控制的表征向量》的代码
mamadou-keita/deeclip论文“DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images”的实现
aniketkarne/aco-prompt-shield在攻击到达您的 LLM 之前阻止提示注入攻击 — 零 API 成本，完全本地运行，2 分钟集成。提示注入是 LLM 应用的第一大安全风险。aco-prompt-shield 捕获已知的越狱模式，通过 ML 理解语义意图，并检测混淆 — 全部本地化，全部私密。
jinxhy/awesome-moai-security针对移动端设备上AI系统的攻击与防御研究精选阅读清单及分类体系，涵盖对抗攻击、后门攻击、模型窃取攻击及能耗-延迟攻击，同时涉及混淆、TEE与水印防御措施。
safety-research/red-teaming-auto-modeResearch code for red-teaming AI auto-mode monitors, including simulation evals, fuzzing, and monitor implementations for Claude Code and Codex…
deep-jlu/skillpoison研究流水线，通过构建已验证的成功经验并将其组织为形成记录，经由HTS、LEGSA和GCTIR阶段逐步毒化模型技能。
wang-yanting/agentwatcher因果上下文归因与基于规则的监控器 LLM 防御，用于抵御 LLM 智能体中的间接提示注入，在 AgentDyn 及其他基准测试上实现了最先进的性能。
mouna23/ai-driven-mitre-attack该仓库演示了一个机器学习流水线，用于从日志中检测 MITRE ATT&CK 技术，并使用本地 LLM 增强输出。
mdshoaibuddinchanda/zombieguard基于机器学习的僵尸 ZIP 归档文件头规避攻击检测（CVE-2026-0866）
abhinavdubey30/perturbed-embedding-vectors论文《Jailbreaking Open-Weight LLMs via Random Embedding Perturbations》的代码、响应日志和标签
ye-ze-yu/epireal-bench面向商业图像生成器的红队测试基准与黑盒攻击框架，用于评估视觉虚假信息风险，包含1万条虚假声明提示词及评分脚本。
multimodal-ai-lab/tobac逐Token攻陷：统一自回归模型中的后门漏洞（NeurIPS'26）
canonicalmg/reverse-captcha-eval评估框架，用于测试大型语言模型是否遵循嵌入在正常文本中的不可见 Unicode 编码指令，并跨多个模型和工具条件进行统计分析。
kevinchunye/prompt_injection用于衡量提示注入防御在工具调用型LLM代理流水线中何处触发的基准测试框架，跟踪金丝雀令牌在暴露、持久化、中继和执行各阶段的情况。
clearlotus-git/cve-2024-37054-pocCVE-2024-37054 的概念验证与研究仓库，该漏洞是 MLflow PyFunc 模型加载中的不安全反序列化缺陷，可导致远程代码执行。
