Apprendre à détecter les attaques de jailbreak inconnues dans les grands modèles vision-langage

Ce dépôt fournit l'implémentation officielle de « Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models ».

Contenu

• Modèle de base

• Détection des attaques de jailbreak

• Jeu de données

Modèle de base

Notre méthode utilise les deux modèles de base suivants :

LLaVA-v1.6-Vicuna est un puissant modèle vision-langage qui combine un encodeur visuel avec le modèle de langage Vicuna pour traiter des entrées multimodales et générer des réponses en langage naturel.

LlamaGuard3 est un modèle de garde-fou de sécurité développé par Meta AI, spécifiquement conçu pour détecter et prévenir la génération de contenus nuisibles et identifier efficacement les requêtes et réponses potentiellement dangereuses.

Veuillez télécharger les poids du modèle et les placer dans le répertoire code/asset/weights.

Détection des attaques de jailbreak