lanzer-tree/ras-evalArnés de evaluación comparativa que evalúa la seguridad de las llamadas a herramientas de agentes LLM en tareas de horizonte largo, generando ataques de inyección de prompts y envenenamiento de herramientas y verificando especificaciones LTL en tiempo de ejecución.
construya una de las imágenes docker y apptainer
cd docker
linux/amd64:
bash build.sh
linux/mac/arm64:
PLATFORM=linux/arm64 IMAGE_TAG=ras-eval-arm:latest bash build.sh
cd docker
linux/amd64:
EXPORT_TAR=1 bash build.sh
linux/mac/arm64:
EXPORT_TAR=1 PLATFORM=linux/arm64 IMAGE_TAG=ras-eval-arm:latest bash build.sh
Crea .env en la raíz del repositorio:
# LLM inference endpoint (OpenAI Chat-Completion)
OPENAI_API_KEY="sk-xxx"
OPENAI_BASE_URL="https://..."
# toolkit APIs (required by evaluation tasks)
AMAP_KEY="xxx" # Amap - https://lbs.amap.com/
TAVILY_API_KEY="xxx" # Tavily - https://www.tavily.com/
TUSHARE_TOKEN="xxx" # Tushare - https://tushare.pro/
Instalar las dependencias de Python:
uv sync
entries/runtime_verification.py ejecuta el agente bajo prueba y verifica las especificaciones LTL con nuXmv después de cada llamada a herramienta.
Docker
uv run entries/runtime_verification.py \
--input_path data/input/ras_eval_toma.jsonl \
--output_path data/output/deepseek-v4-pro/toma_opencode.jsonl \
--framework opencode \
--model provider/deepseek-v4-pro \
--api_key sk-xxx \
--base_url https://... \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--parallel 2 \
--qps 1.0 \
--request_qps 1.0 \
--request_max_retries 5 \
--timeout 900 \
--limit 5 \
--skip_exist_traceid
Apptainer
uv run entries/runtime_verification.py \
--input_path data/input/ras_eval_toma.jsonl \
--output_path data/output/deepseek-v4-pro/toma_opencode.jsonl \
--framework opencode \
--model provider/deepseek-v4-pro \
--sandbox apptainer \
--os linux \
--apptainer_path /usr/local/bin/apptainer \ # path to your installed apptainer
--image docker/ras-eval-amd--latest.sif \ # path to your saved image
--parallel 2 \
--qps 1.0 \
--request_qps 1.0 \
--request_max_retries 5 \
--timeout 900 \
--limit 5 \
--skip_exist_traceid
Notas sobre los parámetros:
--framework: opencode | autogen | langchain | mcp | openai-agent | qwen-agent | hermes | openclaw | deepseek-harness | pi.--api_key / --base_url son opcionales y recurren a OPENAI_API_KEY / OPENAI_BASE_URL en .env.--limit N limita el número de muestras; --traceid ID ejecuta una sola muestra en su lugar.--apptainer_path solo lo utiliza el backend de Apptainer.--model provider/deepseek-v4-pro, provider es un marcador de posición — puede ser cualquier cadena (p. ej., el nombre real de tu proveedor o un prefijo arbitrario).Algunos nombres difieren con respecto al paper, los nombres se corregirán en el futuro:
Indirect Prompt Injection: data/input/ras_eval_toma.jsonl (toma) Tool Poisoning Attack: data/input/ras_eval_tpa.jsonl (tpa) Skill Code Injection: data/input/ras_eval_cia_skill.jsonl (cia) Tool Code Injection: data/input/ras_eval_cia_tool.jsonl (cia_tool)
touch data/output/seed.jsonl # empty seed for a fresh run
uv run entries/flywheel_infer.py \
--task generate \
--mode base \
--framework opencode \
--model provider/deepseek-v4-pro \
--api_key sk-xxx \
--base_url https://... \
--input_path data/output/seed.jsonl \
--output_dir data/output/flywheel-generate \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--depth 9 \
--limit 50 \
--max_per_toolkit 5 \
--disable_native_tools \
--parallel 8 \
--qps 1.0 \
--timeout 900
Salida: data/output/flywheel-generate/dataset/generated.jsonl.
uv run entries/flywheel_infer.py \
--task annotate \
--mode base \
--framework opencode \
--benchmark ras-eval-next \
--model provider/deepseek-v4-pro \
--api_key sk-xxx \
--base_url https://... \
--input_path data/output/flywheel-generate/dataset/generated.jsonl \
--output_dir data/output/flywheel-annotate \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--max_iterations 10 \
--limit 50 \
--disable_native_tools \
--parallel 8 \
--qps 1.0 \
--timeout 3000 \
--skip_exist_traceid
--mode base anota las especificaciones de finalización + seguridad; --mode attack anota las especificaciones de seguridad y requiere --benchmark agentdojo o skill_inject. Salida: data/output/flywheel-annotate/dataset/annotated.jsonl.
uv run entries/flywheel_infer.py \
--task generate \
--mode attack \
--framework opencode \
--attack_type toma \
--attack_model provider/deepseek-v4-pro \
--target_model provider/deepseek-v4-pro \
--api_key sk-xxx --base_url https://... \
--target_llm_api_key sk-xxx \
--target_llm_base_url https://... \
--input_path data/output/flywheel-annotate/dataset/annotated.jsonl \
--output_dir data/output/flywheel-attack \
--sandbox docker \
--os mac \
--image ras-eval-arm:latest \
--number_target_tool 1 \
--max_iterations 6 \
--max_restart 3 \
--limit 50 \
--parallel 2 \
--qps 1.0 \
--timeout 1200 \
--skip_exist_traceid
--attack_type: toma | tpa | cia | cia-tool. --model es el fallback del optimizador de ataques cuando se omite --attack_model. Las especificaciones de seguridad son redactadas por el propio pipeline de ataque. Salida: data/output/flywheel-attack/dataset/attack_generated.jsonl — este es el conjunto de datos final, listo para ser alimentado a entries/runtime_verification.py como --input_path (ver Ejecutar evaluación).