NOVA: Il Pattern Matching dei Prompt

I sistemi di intelligenza artificiale generativa vengono adottati e distribuiti rapidamente in tutte le organizzazioni. Se da un lato migliorano la produttività e l'efficienza, dall'altro ampliano la superficie di attacco.

Come si rileva l'uso abusivo del proprio sistema? Come si va a caccia di prompt malevoli? Che si tratti di identificare tentativi di jailbreaking, prevenire danni reputazionali o individuare comportamenti inattesi, tracciare le TTP dei prompt può essere molto utile per monitorare l'utilizzo dei propri sistemi di IA.

Ed è qui che entra in gioco NOVA!

🚧 Avvertenza: NOVA è attualmente in versione beta. Aspettati potenziali bug, funzionalità incomplete e miglioramenti in corso. Se individui un bug, segnalalo qui.

NOVA è un sistema open-source di pattern matching dei prompt che combina rilevamento di parole chiave, similarità semantica e valutazione basata su LLM per analizzare e rilevare il contenuto dei prompt.

Funzionalità

• 🔍 Rilevamento di parole chiave: Segnala prompt sospetti utilizzando parole chiave o regex predefinite.
• 💬 Similarità semantica: Identifica varianti di pattern utilizzando soglie configurabili.
• ✨ Matching tramite LLM: Crea regole di matching in linguaggio naturale valutate da un LLM.

Ispirate alla sintassi di YARA, le regole di NOVA sono leggibili e flessibili, ideali per la caccia ai prompt e il rilevamento delle minacce.

Anatomia di una regola NOVA

rule RuleName
{
    meta:
        description = "Rule description"
        author = "Author name"

    keywords:
        $keyword1 = "exact text"
        $keyword2 = /regex pattern/i

    semantics:
        $semantic1 = "semantic pattern" (0.6)

    llm:
        $llm_check = "LLM evaluation prompt" (0.7)

    condition:
        keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}

Per iniziare

pip install nova-hunting

Licenza

Questo progetto è distribuito con Licenza MIT.

Crediti

Creato e mantenuto da fr0gger.