NOVA: プロンプトパターンマッチング

生成AIシステムは、組織全体で急速に採用・導入が進んでいます。生産性と効率性を高める一方で、攻撃対象領域も拡大させています。

システムの悪用をどのように検知しますか？悪意のあるプロンプトをどのようにハンティングしますか？ジェイルブレイクの試みを特定する場合でも、風評被害を防ぐ場合でも、予期しない動作を発見する場合でも、プロンプトのTTPを追跡することは、AIシステムの利用状況を追跡する上で非常に有用です。

そこでNOVAの出番です！

🚧 免責事項: NOVAは現在ベータ版です。バグ、未完成の機能、継続的な改善が予想されます。バグを発見した場合は、こちらから報告してください。

NOVAは、キーワード検出、意味的類似性、LLMベースの評価を組み合わせてプロンプトの内容を分析・検出する、オープンソースのプロンプトパターンマッチングシステムです。

機能

• 🔍 キーワード検出: 事前定義されたキーワードや正規表現を使用して、疑わしいプロンプトにフラグを立てます。
• 💬 意味的類似性: 設定可能なしきい値を使用して、パターンのバリエーションを特定します。
• ✨ LLMマッチング: LLMによって評価される自然言語を使用して、マッチングルールを作成します。

YARA構文に着想を得たNOVAルールは、読みやすく柔軟で、プロンプトハンティングや脅威検出に最適です。

NOVAルールの構造

rule RuleName
{
    meta:
        description = "Rule description"
        author = "Author name"

    keywords:
        $keyword1 = "exact text"
        $keyword2 = /regex pattern/i

    semantics:
        $semantic1 = "semantic pattern" (0.6)

    llm:
        $llm_check = "LLM evaluation prompt" (0.7)

    condition:
        keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}

はじめに

pip install nova-hunting

ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。

クレジット

fr0ggerによって作成およびメンテナンスされています。