Injection de mémoire : rendre les injections de prompt et les jailbreaks persistants dans ChatGPT, Claude et Gemini

Aperçu

Ce travail explore les injections de mémoire contre Anthropic Claude (Sonnet 4.6), Google Gemini (Flash) et OpenAI ChatGPT (Instant 5.3). Les attaques par injection de mémoire exploitent les fonctionnalités natives basées sur la mémoire à long terme pour stocker des injections de prompt. Par conséquent, les effets de l'injection persistent d'une session de chat à l'autre. Tous les objectifs du NIST identifiés dans le rapport du NIST sur l'apprentissage automatique adversarial sont explorés :

1. Atteinte à la confidentialité : au sein d'une organisation Claude, les conversations des utilisateurs sont exfiltrées vers le compte Google Drive de l'attaquant ;
2. Rupture de disponibilité : le modèle répond « Offline, please try again » au prompt de l'utilisateur ;
3. Violation de l'intégrité : génération de désinformation et de contenu nuisible ;
4. Facilitation du mésusage : des jailbreaks qui permettent un mésusage général et soutiennent les objectifs ci-dessus.

En particulier, les organisations Claude peuvent être attaquées de telle sorte que tous les objectifs ci-dessus affectent tous les utilisateurs au sein de l'espace de travail.

Les fonctionnalités explorées tout au long de ce travail sont : les mémoires, les connecteurs MCP, les skills Claude, la recherche d'entreprise Claude, les projets Claude et les instructions d'organisation Claude (c'est-à-dire les prompts système à l'échelle de l'organisation).

Organisation

Ce dépôt est divisé comme suit :

• Reproduction steps and artifacts : instructions pas à pas pour reproduire les attaques, incluant le matériel auxiliaire lorsque nécessaire ;
• Datasets : prompts et autres chaînes utilisés tout au long du travail ainsi que les sorties correspondantes des modèles ;
• Screenshots : preuves des attaques.