ROPE : Application de la politique d'origine routée

Code source de notre article :

ROPE : Application de la politique d'origine routée contre l'injection indirecte d'invites par Xinhang Ma, Chaowei Xiao, William Yeoh, Ning Zhang, Yevgeniy Vorobeychik

Résumé

L'injection indirecte d'invites (IPI) insère des instructions dans le contenu qu'un agent LLM utilisant des outils lit, orientant l'agent vers des appels d'outils nuisibles. Les défenses les plus solides sont au niveau système, exploitant des techniques telles que le filtrage d'outils conditionné par la tâche pour empêcher l'exécution d'outils malveillants, et le contrôle de flux d'informations pour éviter l'exécution d'outils avec des paramètres non fiables. Cependant, à mesure que les agents deviennent plus capables, les utilisateurs délèguent davantage à l'automatisation. Par conséquent, les séquences d'exécution d'outils et les valeurs de paramètres sont de plus en plus déterminées à l'exécution et ne peuvent pas être filtrées de manière fiable en utilisant uniquement les informations contenues dans la requête utilisateur sans perte d'utilité significative. Nous présentons ROPE (Routed Origin Policy Enforcement), qui s'ancre dans une notion structurelle de confiance : une valeur ne peut atteindre un outil modifiant l'état que si elle provient de manière infalsifiable de l'utilisateur, d'une source que l'utilisateur a explicitement nommée, ou des enregistrements faisant autorité de l'utilisateur lui-même. L'application est alors un contrôle d'origine déterministe sur un ensemble audité de paramètres d'outils sensibles, et la seule dépendance à un modèle de langage implique uniquement la requête utilisateur de confiance, hors de portée de l'attaquant. Notre approche admet deux garanties prouvables : 1) à chaque étape d'une trajectoire, aucune valeur dont la seule origine est un contenu inscriptible par l'attaquant n'atteint un paramètre protégé par l'origine, et 2) aucune reformulation d'une injection ne modifie une décision d'admission. Grâce à une évaluation expérimentale approfondie, nous montrons que sur quatre modèles d'agents sur des suites d'agents à tâches ouvertes, ROPE maintient le taux de réussite d'attaque à 1,6–2,6 % tout en conservant 82–100 % de l'utilité propre non défendue, dépassant significativement les défenses au niveau système de pointe en termes d'utilité tout en atteignant une sécurité comparable ou meilleure sur des flux de travail dynamiques complexes. De plus, nous montrons que l'optimisation de l'injection contre ROPE est largement inefficace, tandis que les attaques à long horizon qui vainquent les défenses système précédentes atteignent un taux de réussite nul dans notre cas.