NOVA: La coincidencia de patrones de prompts

Los sistemas de IA generativa se están adoptando y desplegando rápidamente en las organizaciones. Si bien mejoran la productividad y la eficiencia, también amplían la superficie de ataque.

¿Cómo detectas el uso abusivo de tu sistema? ¿Cómo cazas prompts maliciosos? Ya sea identificando intentos de jailbreak, previniendo daños reputacionales o detectando comportamientos inesperados, el seguimiento de las TTPs de prompts puede ser muy útil para rastrear el uso de tus sistemas de IA.

¡Ahí es donde entra NOVA!

🚧 Aviso: NOVA se encuentra actualmente en fase beta. Es posible que encuentres errores, funciones incompletas y mejoras en curso. Si identificas un error, por favor repórtalo aquí.

NOVA es un sistema de código abierto de coincidencia de patrones de prompts que combina la detección de palabras clave, la similitud semántica y la evaluación basada en LLM para analizar y detectar el contenido de los prompts.

Características

• 🔍 Detección de palabras clave: Marca prompts sospechosos usando palabras clave predefinidas o regex.
• 💬 Similitud semántica: Identifica variaciones de patrones usando umbrales configurables.
• ✨ Coincidencia con LLM: Crea reglas de coincidencia usando lenguaje natural evaluado por un LLM.

Inspiradas en la sintaxis de YARA, las reglas de NOVA son legibles y flexibles, ideales para la caza de prompts y la detección de amenazas.

Anatomía de una regla de NOVA

rule RuleName
{
    meta:
        description = "Rule description"
        author = "Author name"

    keywords:
        $keyword1 = "exact text"
        $keyword2 = /regex pattern/i

    semantics:
        $semantic1 = "semantic pattern" (0.6)

    llm:
        $llm_check = "LLM evaluation prompt" (0.7)

    condition:
        keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}

Primeros pasos

pip install nova-hunting

Licencia

Este proyecto está licenciado bajo la Licencia MIT.

Créditos

Creado y mantenido por fr0gger.