NOVA: Сопоставление с шаблонами промптов

Генеративные системы ИИ стремительно внедряются и развёртываются в организациях. Повышая производительность и эффективность, они также расширяют поверхность атаки.

Как обнаружить злоупотребление вашей системой? Как вести охоту за вредоносными промптами? Будь то выявление попыток обхода ограничений (jailbreaking), предотвращение репутационного ущерба или обнаружение неожиданного поведения, отслеживание TTP промптов может быть очень полезным для контроля использования ваших систем ИИ.

Именно здесь на помощь приходит NOVA!

🚧 Отказ от ответственности: В настоящее время NOVA находится в стадии бета-тестирования. Возможны ошибки, незавершённые функции и продолжающиеся улучшения. Если вы обнаружите ошибку, пожалуйста, сообщите о ней здесь.

NOVA — это открытая система сопоставления с шаблонами промптов, объединяющая обнаружение ключевых слов, семантическое сходство и оценку на основе LLM для анализа и обнаружения содержимого промптов.

Возможности

• 🔍 Обнаружение ключевых слов: Помечайте подозрительные промпты с помощью предопределённых ключевых слов или регулярных выражений.
• 💬 Семантическое сходство: Выявляйте вариации шаблонов с использованием настраиваемых порогов.
• ✨ Сопоставление с помощью LLM: Создавайте правила сопоставления на естественном языке, оцениваемые LLM.

Вдохновлённые синтаксисом YARA, правила NOVA читаемы и гибки, что делает их идеальными для охоты за промптами и обнаружения угроз.

Структура правила NOVA

rule RuleName
{
    meta:
        description = "Rule description"
        author = "Author name"

    keywords:
        $keyword1 = "exact text"
        $keyword2 = /regex pattern/i

    semantics:
        $semantic1 = "semantic pattern" (0.6)

    llm:
        $llm_check = "LLM evaluation prompt" (0.7)

    condition:
        keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}

Начало работы

pip install nova-hunting

Лицензия

Этот проект распространяется под лицензией MIT.

Авторы

Создан и поддерживается fr0gger.