Memory Injection: rendere persistenti prompt injection e jailbreak in ChatGPT, Claude e Gemini

Panoramica

Questo lavoro esplora le memory injection contro Anthropic Claude (Sonnet 4.6), Google Gemini (Flash) e OpenAI ChatGPT (Instant 5.3). Gli attacchi di memory injection sfruttano le funzionalità native basate sulla memoria a lungo termine per memorizzare prompt injection. Di conseguenza, gli effetti dell'injection persistono tra le sessioni di chat. Vengono esplorati tutti gli obiettivi di NIST identificati nel rapporto di NIST sull'adversarial machine learning:

1. Compromissione della privacy: all'interno di un'organizzazione Claude, le conversazioni degli utenti vengono esfiltrate verso l'account Google Drive dell'attaccante;
2. Interruzione della disponibilità: il modello risponde "Offline, please try again" al prompt dell'utente;
3. Violazione dell'integrità: generazione di disinformazione e contenuti dannosi;
4. Abilitazione dell'abuso: jailbreak che consentono abusi generici e supportano gli obiettivi sopra indicati.

In particolare, le organizzazioni Claude possono essere attaccate in modo tale che tutti gli obiettivi sopra indicati colpiscano tutti gli utenti all'interno del workspace.

Le funzionalità esplorate in questo lavoro sono: memories, connettori MCP, Claude skills, Claude enterprise search, Claude projects e istruzioni dell'organizzazione Claude (ovvero system prompt a livello di organizzazione).

Organizzazione

Questo repository è suddiviso come segue:

• Reproduction steps and artifacts: istruzioni passo passo per riprodurre gli attacchi, inclusi materiali ausiliari quando necessario;
• Datasets: prompt e altre stringhe utilizzate nel corso del lavoro e i corrispondenti output del modello;
• Screenshots: prove degli attacchi.