lanzer-tree/ras-evalHarnais de benchmark qui évalue la sécurité de l'appel d'outils par les agents LLM dans le cadre de tâches à long horizon, en générant des attaques par injection de prompt et par empoisonnement d'outils et en vérifiant des spécifications LTL à l'exécution.
construisez une image docker ou une image apptainer
cd docker
linux/amd64 :
bash build.sh
linux/mac/arm64 :
PLATFORM=linux/arm64 IMAGE_TAG=ras-eval-arm:latest bash build.sh
cd docker
linux/amd64 :
EXPORT_TAR=1 bash build.sh
linux/mac/arm64 :
EXPORT_TAR=1 PLATFORM=linux/arm64 IMAGE_TAG=ras-eval-arm:latest bash build.sh
Créez .env à la racine du dépôt :
# LLM inference endpoint (OpenAI Chat-Completion)
OPENAI_API_KEY="sk-xxx"
OPENAI_BASE_URL="https://..."
# toolkit APIs (required by evaluation tasks)
AMAP_KEY="xxx" # Amap - https://lbs.amap.com/
TAVILY_API_KEY="xxx" # Tavily - https://www.tavily.com/
TUSHARE_TOKEN="xxx" # Tushare - https://tushare.pro/
Installez les dépendances Python :
uv sync
entries/runtime_verification.py exécute l'agent testé et vérifie les spécifications LTL avec nuXmv après chaque appel d'outil.
Docker
uv run entries/runtime_verification.py \
--input_path data/input/ras_eval_toma.jsonl \
--output_path data/output/deepseek-v4-pro/toma_opencode.jsonl \
--framework opencode \
--model provider/deepseek-v4-pro \
--api_key sk-xxx \
--base_url https://... \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--parallel 2 \
--qps 1.0 \
--request_qps 1.0 \
--request_max_retries 5 \
--timeout 900 \
--limit 5 \
--skip_exist_traceid
Apptainer
uv run entries/runtime_verification.py \
--input_path data/input/ras_eval_toma.jsonl \
--output_path data/output/deepseek-v4-pro/toma_opencode.jsonl \
--framework opencode \
--model provider/deepseek-v4-pro \
--sandbox apptainer \
--os linux \
--apptainer_path /usr/local/bin/apptainer \ # path to your installed apptainer
--image docker/ras-eval-amd--latest.sif \ # path to your saved image
--parallel 2 \
--qps 1.0 \
--request_qps 1.0 \
--request_max_retries 5 \
--timeout 900 \
--limit 5 \
--skip_exist_traceid
Notes sur les paramètres :
--framework : opencode | autogen | langchain | mcp | openai-agent | qwen-agent | hermes | openclaw | deepseek-harness | pi.--api_key / --base_url sont facultatifs et se rabattent sur OPENAI_API_KEY / OPENAI_BASE_URL dans .env.--limit N limite le nombre d'échantillons ; --traceid ID exécute un seul échantillon à la place.--apptainer_path n'est utilisé que par le backend Apptainer.--model provider/deepseek-v4-pro, provider est un espace réservé — il peut s'agir de n'importe quelle chaîne (par exemple le nom réel de votre fournisseur ou un préfixe arbitraire).Certains noms diffèrent de ceux de l'article ; ils seront corrigés à l'avenir :
Indirect Prompt Injection : data/input/ras_eval_toma.jsonl (toma) Tool Poisoning Attack : data/input/ras_eval_tpa.jsonl (tpa) Skill Code Injection : data/input/ras_eval_cia_skill.jsonl (cia) Tool Code Injection : data/input/ras_eval_cia_tool.jsonl (cia_tool)
touch data/output/seed.jsonl # empty seed for a fresh run
uv run entries/flywheel_infer.py \
--task generate \
--mode base \
--framework opencode \
--model provider/deepseek-v4-pro \
--api_key sk-xxx \
--base_url https://... \
--input_path data/output/seed.jsonl \
--output_dir data/output/flywheel-generate \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--depth 9 \
--limit 50 \
--max_per_toolkit 5 \
--disable_native_tools \
--parallel 8 \
--qps 1.0 \
--timeout 900
Sortie : data/output/flywheel-generate/dataset/generated.jsonl.
uv run entries/flywheel_infer.py \
--task annotate \
--mode base \
--framework opencode \
--benchmark ras-eval-next \
--model provider/deepseek-v4-pro \
--api_key sk-xxx \
--base_url https://... \
--input_path data/output/flywheel-generate/dataset/generated.jsonl \
--output_dir data/output/flywheel-annotate \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--max_iterations 10 \
--limit 50 \
--disable_native_tools \
--parallel 8 \
--qps 1.0 \
--timeout 3000 \
--skip_exist_traceid
--mode base annote les spécifications de complétion + sécurité ; --mode attack annote les spécifications de sécurité et nécessite --benchmark agentdojo ou skill_inject. Sortie : data/output/flywheel-annotate/dataset/annotated.jsonl.
uv run entries/flywheel_infer.py \
--task generate \
--mode attack \
--framework opencode \
--attack_type toma \
--attack_model provider/deepseek-v4-pro \
--target_model provider/deepseek-v4-pro \
--api_key sk-xxx --base_url https://... \
--target_llm_api_key sk-xxx \
--target_llm_base_url https://... \
--input_path data/output/flywheel-annotate/dataset/annotated.jsonl \
--output_dir data/output/flywheel-attack \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--number_target_tool 1 \
--max_iterations 6 \
--max_restart 3 \
--limit 50 \
--parallel 2 \
--qps 1.0 \
--timeout 1200 \
--skip_exist_traceid
--attack_type : toma | tpa | cia | cia-tool. --model est le modèle de repli de l'optimiseur d'attaque lorsque --attack_model est omis. Les spécifications de sécurité sont rédigées par le pipeline d'attaque lui-même. Sortie : data/output/flywheel-attack/dataset/attack_generated.jsonl — il s'agit du jeu de données final, prêt à être fourni à entries/runtime_verification.py en tant que --input_path (voir Exécuter l'évaluation).