메모리 인젝션: ChatGPT, Claude, Gemini에서 프롬프트 인젝션과 탈옥을 지속시키기

개요

이 연구는 Anthropic Claude(Sonnet 4.6), Google Gemini(Flash), OpenAI ChatGPT(Instant 5.3)를 대상으로 한 메모리 인젝션을 탐구합니다. 메모리 인젝션 공격은 네이티브 장기 메모리 기반 기능을 악용하여 프롬프트 인젝션을 저장합니다. 그 결과, 인젝션의 효과가 채팅 세션 전반에 걸쳐 지속됩니다. NIST의 적대적 머신러닝 보고서에서 식별된 NIST의 모든 목표가 탐구됩니다:

1. 프라이버시 침해: Claude 조직 내에서 사용자 대화가 공격자의 Google Drive 계정으로 유출됩니다;
2. 가용성 붕괴: 모델이 사용자 프롬프트에 "Offline, please try again"이라고 응답합니다;
3. 무결성 위반: 허위 정보 및 유해 콘텐츠 생성;
4. 오용 가능화: 일반적인 오용을 가능하게 하고 위의 목표를 지원하는 탈옥.

특히, Claude 조직은 위의 모든 목표가 워크스페이스 내 모든 사용자에게 영향을 미치도록 공격받을 수 있습니다.

이 연구 전반에 걸쳐 탐구되는 기능은 다음과 같습니다: 메모리, MCP 커넥터, Claude 스킬, Claude 엔터프라이즈 검색, Claude 프로젝트, 그리고 Claude 조직 지침(즉, 조직 전체 시스템 프롬프트)입니다.

구성

이 저장소는 다음과 같이 나뉩니다:

• Reproduction steps and artifacts: 필요한 경우 보조 자료를 포함하여 공격을 재현하기 위한 단계별 지침;
• Datasets: 연구 전반에 사용된 프롬프트 및 기타 문자열과 해당 모델 출력;
• Screenshots: 공격 증거.