生成式 AI 系统正被各组织迅速采用和部署。它们在提升生产力和效率的同时,也扩大了攻击面。
你如何检测系统的滥用行为?你如何狩猎恶意提示词?无论是识别越狱尝试、防止声誉受损,还是发现异常行为,跟踪提示词 TTP 对于追踪 AI 系统的使用情况都非常有用。
这正是 NOVA 的用武之地!
🚧 免责声明: NOVA 目前处于 beta 阶段。可能会出现缺陷、功能不完整以及持续改进的情况。如果你发现缺陷,请在此处报告。
NOVA 是一个开源的提示词模式匹配系统,结合了关键词检测、语义相似度和基于 LLM 的评估,用于分析和检测提示词内容。
受 YARA 语法启发,NOVA 规则可读性强且灵活,非常适合提示词狩猎和威胁检测。
rule RuleName
{
meta:
description = "Rule description"
author = "Author name"
keywords:
$keyword1 = "exact text"
$keyword2 = /regex pattern/i
semantics:
$semantic1 = "semantic pattern" (0.6)
llm:
$llm_check = "LLM evaluation prompt" (0.7)
condition:
keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}
pip install nova-hunting
本项目采用 MIT 许可证 授权。
由 fr0gger 创建并维护。