Inyección de memoria: hacer persistentes las inyecciones de prompt y los jailbreaks en ChatGPT, Claude y Gemini

Descripción general

Este trabajo explora las inyecciones de memoria contra Anthropic Claude (Sonnet 4.6), Google Gemini (Flash) y OpenAI ChatGPT (Instant 5.3). Los ataques de inyección de memoria explotan funciones nativas basadas en memoria a largo plazo para almacenar inyecciones de prompt. Como resultado, los efectos de la inyección persisten entre sesiones de chat. Se exploran todos los objetivos de NIST identificados en el informe de NIST sobre aprendizaje automático adversarial:

1. Compromiso de la privacidad: dentro de una organización de Claude, las conversaciones de los usuarios se exfiltran a la cuenta de Google Drive del atacante;
2. Interrupción de la disponibilidad: el modelo responde "Offline, please try again" al prompt del usuario;
3. Violación de la integridad: generación de desinformación y contenido dañino;
4. Facilitación del uso indebido: jailbreaks que permiten el uso indebido general y respaldan los objetivos anteriores.

En particular, las organizaciones de Claude pueden ser atacadas de modo que todos los objetivos anteriores afecten a todos los usuarios dentro del espacio de trabajo.

Las funciones exploradas a lo largo de este trabajo son: memorias, conectores MCP, habilidades de Claude, búsqueda empresarial de Claude, proyectos de Claude e instrucciones de organización de Claude (es decir, prompts de sistema para toda la organización).

Organización

Este repositorio se divide de la siguiente manera:

• Reproduction steps and artifacts: instrucciones paso a paso para reproducir los ataques, incluido material auxiliar cuando sea necesario;
• Datasets: prompts y otras cadenas utilizadas a lo largo del trabajo y las salidas correspondientes del modelo;
• Screenshots: pruebas de los ataques.