gmh5225/nova-frameworkMoteur de correspondance de motifs de prompts inspiré de YARA qui combine des règles par mots-clés, par regex, par similarité sémantique et par évaluation LLM pour détecter les jailbreaks et les usages abusifs de LLM.
Les systèmes d'IA générative sont rapidement adoptés et déployés au sein des organisations. S'ils améliorent la productivité et l'efficacité, ils élargissent également la surface d'attaque.
Comment détectez-vous l'usage abusif de votre système ? Comment traquez-vous les prompts malveillants ? Qu'il s'agisse d'identifier des tentatives de jailbreaking, de prévenir des atteintes à la réputation ou de repérer des comportements inattendus, le suivi des TTP de prompts peut être très utile pour suivre l'utilisation de vos systèmes d'IA.
C'est là que NOVA entre en jeu !
🚧 Avertissement : NOVA est actuellement en version bêta. Attendez-vous à d'éventuels bugs, à des fonctionnalités incomplètes et à des améliorations en cours. Si vous identifiez un bug, veuillez le signaler ici.
NOVA est un système open-source de correspondance de motifs de prompts combinant détection de mots-clés, similarité sémantique et évaluation par LLM pour analyser et détecter le contenu des prompts.
Inspirées de la syntaxe YARA, les règles NOVA sont lisibles et flexibles, idéales pour la chasse aux prompts et la détection de menaces.
rule RuleName
{
meta:
description = "Rule description"
author = "Author name"
keywords:
$keyword1 = "exact text"
$keyword2 = /regex pattern/i
semantics:
$semantic1 = "semantic pattern" (0.6)
llm:
$llm_check = "LLM evaluation prompt" (0.7)
condition:
keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}
pip install nova-hunting
Ce projet est sous licence MIT License.
Créé et maintenu par fr0gger.