NOVA: Der Prompt-Pattern-Matching

Generative KI-Systeme werden zunehmend in Organisationen eingeführt und eingesetzt. Sie steigern zwar Produktivität und Effizienz, vergrößern aber auch die Angriffsfläche.

Wie erkennen Sie missbräuchliche Nutzung Ihres Systems? Wie jagen Sie nach bösartigen Prompts? Ob es um die Erkennung von Jailbreaking-Versuchen, die Verhinderung von Reputationsschäden oder das Aufspüren unerwarteter Verhaltensweisen geht – das Nachverfolgen von Prompt-TTPs kann sehr nützlich sein, um die Nutzung Ihrer KI-Systeme zu verfolgen.

Genau hier kommt NOVA ins Spiel!

🚧 Haftungsausschluss: NOVA befindet sich derzeit in der Beta-Phase. Rechnen Sie mit möglichen Fehlern, unvollständigen Funktionen und laufenden Verbesserungen. Wenn Sie einen Fehler finden, melden Sie ihn bitte hier.

NOVA ist ein Open-Source-System zum Prompt-Pattern-Matching, das Keyword-Erkennung, semantische Ähnlichkeit und LLM-basierte Bewertung kombiniert, um Prompt-Inhalte zu analysieren und zu erkennen.

Funktionen

• 🔍 Keyword-Erkennung: Markieren Sie verdächtige Prompts mithilfe vordefinierter Keywords oder Regex.
• 💬 Semantische Ähnlichkeit: Identifizieren Sie Mustervarianten mithilfe konfigurierbarer Schwellenwerte.
• ✨ LLM-Matching: Erstellen Sie Matching-Regeln in natürlicher Sprache, die von einem LLM bewertet werden.

Inspiriert von der YARA-Syntax sind NOVA-Regeln lesbar und flexibel – ideal für Prompt-Hunting und Bedrohungserkennung.

Aufbau einer NOVA-Regel

rule RuleName
{
    meta:
        description = "Rule description"
        author = "Author name"

    keywords:
        $keyword1 = "exact text"
        $keyword2 = /regex pattern/i

    semantics:
        $semantic1 = "semantic pattern" (0.6)

    llm:
        $llm_check = "LLM evaluation prompt" (0.7)

    condition:
        keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}

Erste Schritte

pip install nova-hunting

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert.

Danksagungen

Erstellt und gepflegt von fr0gger.