🎯 임원 개요

현대 LLM 기반 에이전트는 권한 있는 작업을 실행합니다: 내부 데이터베이스 조회, 파일 시스템 읽기, 백엔드 API와의 상호작용. 모든 작업은 공격자의 프롬프트가 무단 실행을 유발할 수 있는 경계입니다.

⚠️ 핵심 아키텍처 시사점:
취약성은 LLM 가중치 자체에만 존재하는 경우가 드뭅니다. 모델의 의도 요청과 검증 없이 이를 실행하는 애플리케이션 백엔드 사이의 신뢰 경계에서 발생합니다.

SQL 인젝션이 데이터베이스 엔진 자체가 아닌 매개변수화되지 않은 문자열 연결에서 비롯된 것처럼, LLM 혼동된 대리인 결함(Confused-Deputy Flaws) 은 애플리케이션 코드가 에이전트의 도구 인수를 맹목적으로 신뢰할 때 발생합니다.

🏛️ 핵심 아키텍처

⚔️ 두 가지 도구 패러다임

두 도구 모두 LLM 에이전트에 동일한 함수 시그니처를 노출합니다 (get_user(username: str)). 모델은 자신이 상호작용하는 도구 버전을 판별할 수 없습니다.

🗃️ 공격 분류 및 테스트 스위트

테스트베드는 attacks.py에 정의된 5가지 주요 취약성 범주를 실행합니다:

🔬 목 백엔드 및 심어진 인젝션 설정

환경은 testbed/fake_data.py의 순수하고 결정적인 Python 데이터클래스로 지원됩니다:

💡 Alice의 bio가 오염된 이유: 이는 공격자가 높은 권한이 필요하지 않은 현실적인 간접 프롬프트 인젝션 시나리오를 모델링합니다. 공격자는 도구가 검색하는 데이터(예: 공개 프로필 bio)를 제어하기만 하면 되며, 에이전트가 일상적인 조회 중에 이를 읽기를 기다립니다.

⚖️ Ground-Truth 검사 및 "UNCLEAR" 판정

자유 형식 LLM 응답을 채점하는 것은 근본적으로 비결정적입니다. 모델은 회피하거나, 부분적으로 정보를 공개하거나, 도구 호출을 완전히 거부할 수 있습니다.

UNCLEAR 와 BLOCKED 를 구분하는 것은 중요합니다: 공격이 도구 계층에 도달하지 못했을 때 도구 백엔드가 안전하다고 잘못 주장하는 것을 방지합니다.

📊 데이터 모델 및 디렉터리 구조

🚀 빠른 시작

1. 설치

리포지토리를 클론하고 uv로 종속성을 설정합니다:

2. 환경 구성

루트 디렉터리에 .env 파일을 생성합니다:

3. 공격 평가 실행

테스트 하네스를 통해 두 도구 버전 모두에 대해 공격을 실행합니다:

📑 상세 보고서 및 결과

• 📖 V1-RESULTS.md — 결과 다이어그램, 프롬프트 반복, 보안 시사점을 포함한 5개 공격 전체 분석.
• 🔬 PHASE-6-REPORT.md — 테스트 하네스 검증, API 제약, 모델 동작에 대한 심층 보고서.
• 📓 BUILD-JOURNAL.md — 단계별 엔지니어링 결정 로그 및 사고 과정.

🛡️ 프로젝트 범위 및 비목표 (v1)

• 설계상 목 백엔드: 순수 Python 데이터클래스는 복잡한 Docker/샌드박스 설정을 피하여 에이전트 도구 보안에만 집중합니다.
• 프롬프트 테스트 vs 모델 내부: 외부 프롬프트 동작과 도구 권한 부여를 평가하며, 모델 가중치 미세 조정은 다루지 않습니다.
• 실증적 탐구: 무거운 엔터프라이즈 레드팀 스캐너가 아닌 체계적인 교육용 프로토타입 역할을 합니다.

📈 단계 진행 상황

• Phase 0 — Gemini 3.6 Flash 함수 호출 루프를 종단 간 검증함.
• Phase 1 — 공격 성공 지표, ground-truth 비밀, 목 백엔드 범위를 정의함.
• Phase 2 — 불변 데이터 모델(FakeUser, AttackAttempt, AttackResult) 구현.
• Phase 3 — naive 및 hardened 방어 규칙을 수립함.
• Phase 4 — 도구를 실시간 LLM API 루프에 연결하고 기준 동작을 확인함.
• Phase 5 — 심어진 간접 인젝션 벡터가 포함된 다중 범주 공격 스위트 작성.
• Phase 6 — 자동 배치 러너 실행, 다중 턴 지원, 응답 채점 구현.
• Phase 7 — 모호한 결과 스팟 체크(unclear 분류 검토).
• Phase 8 — 종합 평가 문서, 요약 테이블, 시각적 차트 생성.