saintmachines/spillway도구를 사용하는 에이전트를 위한 프롬프트 인젝션 방어: 구조가 에이전트의 행동 위치를 결정하고, 모델이 거부를 검토한다.
AgentDojo v1.2.2, 세 가지 백본 × 네 가지 스위트. 판정자는 이 결과에서 활성화되어 있으며 라이브러리에서는 기본적으로 비활성화되어 있습니다. 값과 조건. 대화형 페이지 열기.
SPILLWAY, 도구 사용 에이전트를 위한 프롬프트 주입 방어: 구조가 에이전트의 행동 위치를 결정하고, 모델이 거부를 검토합니다.
이메일이나 웹 페이지의 텍스트가 에이전트를 공격자의 주소로 유도할 수 있습니다. SPILLWAY는 사용자의 작업과 도구 반환의 입력 필드를 기준으로 수신자를 확인합니다.
임우상1,2,* · 장예슬3 · 이재우3
1SAINT Machines · 2KAIST · 3중앙대학교
* 교신저자
데모 · 60초 안에 사용해 보기 · 결과 · 프로젝트 페이지 · 앱 통합 · 논문 (PDF) · 재현 · 인용 · MUSTER
이전 버전은 제3회 Agents in the Wild: Safety, Security, and Beyond 워크숍(NeurIPS 2026)에 채택되었습니다.
pip install git+https://github.com/saintmachines/[email protected]
출처: AgentDojo v1.2.2 Workspace, 사용자 태스크 19와 인젝션 태스크 2, gpt-4o-mini에서. 일곱 번의 실행은 표 1에 있는 여덟 번 중 일곱 번이다. 이 에피소드는 표시된 다른 방어들이 서로 다른 방식으로 실패하기 때문에 선택되었다. ROPE의 실행인 여덟 번째는 표시되지 않았다. 그것도 세 가지를 모두 수행한다: 초대 호출이 차단되었고 두 할 일이 모두 실행되었다. 각 실행의 호출을 읽으려면 대화형 데모 열기를 참조하라.
아래의 모든 수치는 논문에서 가져온 것이다. SPILLWAY의 행은 라이브러리가 기본적으로 비활성화하는 판정자를 사용한다.
SPILLWAY는 누출 셀이 없는 유일한 방법이며 공격 하에서 가장 높은 유틸리티를 가진다. 모델 기반 방어들은 12개 셀 중 3~11개에서 누출된다.
