ROPE: Aplicación de Política de Origen Enrutado

Código fuente de nuestro artículo:

ROPE: Aplicación de Política de Origen Enrutado contra la Inyección Indirecta de Prompts por Xinhang Ma, Chaowei Xiao, William Yeoh, Ning Zhang, Yevgeniy Vorobeychik

Resumen

La inyección indirecta de prompts (IPI) inserta instrucciones en el contenido que un agente LLM que usa herramientas lee, dirigiendo al agente hacia llamadas a herramientas dañinas. Las defensas más sólidas son a nivel de sistema, aprovechando técnicas como el filtrado de herramientas condicionado a la tarea para prevenir la ejecución de herramientas maliciosas, y el control de flujo de información para evitar la ejecución de herramientas con parámetros no confiables. Sin embargo, a medida que los agentes se vuelven más capaces, los usuarios delegan más en la automatización. En consecuencia, las secuencias de ejecución de herramientas y los valores de los parámetros se determinan cada vez más en tiempo de ejecución y no pueden filtrarse de manera confiable utilizando información contenida únicamente en la consulta del usuario sin una pérdida significativa de utilidad. Presentamos ROPE (Aplicación de Política de Origen Enrutado), que se ancla en una noción estructural de confianza: un valor puede llegar a una herramienta que cambia el estado solo si se remonta de manera infalsificable al usuario, a una fuente que el usuario nombró explícitamente, o a los registros autoritativos del propio usuario. La aplicación es entonces una verificación de origen determinista sobre un conjunto auditado de parámetros sensibles de herramientas, y la única dependencia de un modelo de lenguaje involucra únicamente la solicitud confiable del usuario, fuera del alcance del atacante. Nuestro enfoque admite dos garantías demostrables: 1) en cada paso de una trayectoria, ningún valor cuyo único origen sea contenido escribible por el atacante llega a un parámetro protegido por origen, y 2) ninguna reformulación de una inyección cambia una decisión de admisión. A través de una extensa evaluación experimental, mostramos que en cuatro modelos de agentes en suites de agentes de código abierto, ROPE mantiene la tasa de éxito del ataque en 1.6–2.6% mientras retiene el 82–100% de la utilidad limpia sin defensa, superando significativamente a las defensas de nivel de sistema de última generación en utilidad mientras logra seguridad comparable o mejor en flujos de trabajo dinámicos complejos. Además, mostramos que optimizar la inyección contra ROPE es en gran medida ineficaz, mientras que los ataques de horizonte largo que derrotan a las defensas de nivel de sistema anteriores logran una tasa de éxito de cero en nuestro caso.