NOVA: A Correspondência de Padrões de Prompt

Os sistemas de IA generativa estão a ser rapidamente adotados e implementados em todas as organizações. Embora aumentem a produtividade e a eficiência, também ampliam a superfície de ataque.

Como deteta a utilização abusiva do seu sistema? Como procura prompts maliciosos? Quer se trate de identificar tentativas de jailbreak, de prevenir danos reputacionais ou de detetar comportamentos inesperados, o rastreio de TTPs de prompts pode ser muito útil para acompanhar a utilização dos seus sistemas de IA.

É aí que entra o NOVA!

🚧 Aviso: O NOVA encontra-se atualmente em versão beta. Espere potenciais bugs, funcionalidades incompletas e melhorias em curso. Se identificar um bug, por favor reporte-o aqui.

O NOVA é um sistema open-source de correspondência de padrões de prompts que combina deteção de palavras-chave, similaridade semântica e avaliação baseada em LLM para analisar e detetar o conteúdo dos prompts.

Funcionalidades

• 🔍 Deteção de Palavras-chave: Sinalize prompts suspeitos utilizando palavras-chave predefinidas ou regex.
• 💬 Similaridade Semântica: Identifique variações de padrões utilizando limites configuráveis.
• ✨ Correspondência por LLM: Crie regras de correspondência utilizando linguagem natural avaliada por LLM.

Inspiradas na sintaxe YARA, as regras do NOVA são legíveis e flexíveis, ideais para a caça de prompts e a deteção de ameaças.

Anatomia de uma Regra NOVA

rule RuleName
{
    meta:
        description = "Rule description"
        author = "Author name"

    keywords:
        $keyword1 = "exact text"
        $keyword2 = /regex pattern/i

    semantics:
        $semantic1 = "semantic pattern" (0.6)

    llm:
        $llm_check = "LLM evaluation prompt" (0.7)

    condition:
        keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}

Primeiros Passos

pip install nova-hunting

Licença

Este projeto está licenciado sob a Licença MIT.

Créditos

Criado e mantido por fr0gger.