StepJack — Среда бенчмаркинга для оценки AI-агентов, работающих с компьютером, на устойчивость к многошаговым косвенным инъекциям промптов, с автоматической декомпозицией состязательных целей и изолированными тестовыми средами на базе AWS. | Kitploit

StepJack: бенчмарк безопасности компьютерных агентов против многошаговых косвенных промпт-инъекций

Установка

1. Настройка окружения Python

Сначала установите все зависимости и убедитесь, что у вас установлен Python 3.10.

conda create -n stepjack python=3.10
conda activate stepjack

pip install -r requirements.txt

2. Настройка среды песочницы

Мы используем среду AWS, предоставленную RedTeamCUA.

AWS

Настройте NETWORK_INTERFACE_MAP:

Настройте NETWORK_INTERFACE_MAP в в соответствии с вашими собственными экземплярами AWS.

aws_config.py

Задайте переменные окружения

Ключи API CUA

# For GPT 
unset OPENAI_BASE_URL
export OPENAI_API_KEY="sk-proj-XXXX"

# For Kimi
export KIMI_API_KEY='sk-XXXX'

# For Qwen
export OPENAI_BASE_URL="https://dashscope-us.aliyuncs.com/compatible-mode/v1"
export OPENAI_API_KEY="sk-XXXX"

# For Claude
export ANTHROPIC_API_KEY='sk-XXXX'

Учётные данные AWS

export AWS_REGION='XX'
export AWS_ACCESS_KEY='XX'
export AWS_SECRET_KEY='XX'

Запустите эксперименты

# For GPT
python run_gpt54_multienv.py \
   --observation_type screenshot \
   --agent_type GPT54Agent \
   --headless \
   --model gpt-5.4-mini-2026-03-17 \
   --result_dir ./results_gpt54 \
   --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
   --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
   --max_steps {15*k} \
   --sleep_after_execution 4 \
   --provider_name aws \
   --num_envs 12 \
   --aws_ami {reddit | agentcompany}

# For Kimi
python run_kimi_multienv.py \
   --observation_type screenshot \
   --agent_type KimiAgent \
   --headless \
   --model Kimi-K2.5 \
   --result_dir ./results_kimi \
   --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
   --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
   --max_steps {15*k} \
   --sleep_after_execution 4 \
   --provider_name aws \
   --num_envs 12 \
   --aws_ami {reddit | agentcompany}

# For Qwen
python run_qwen35vl_multienv.py \
   --observation_type screenshot \
   --agent_type Qwen35VLAgent \
   --headless \
   --model qwen3.5-plus-2026-02-15 \
   --coord relative \
   --enable_thinking \
   --result_dir ./results_qwen \
   --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
   --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
   --max_steps {15*k} \
   --sleep_after_execution 4 \
   --provider_name aws \
   --num_envs 12 \
   --aws_ami {reddit | agentcompany}

# For Claude
python run_claude_multienv.py \
   --observation_type screenshot \
   --action_space pyautogui \
   --agent_type AnthropicAgent \
   --api_provider anthropic \
   --headless \
   --model {claude-sonnet-4-6 | claude-haiku-4-5} \
   --result_dir ./results_claude \
   --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
   --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
   --max_steps {15*k} \
   --sleep_after_execution 4 \
   --provider_name aws \
   --num_envs 12 \
   --aws_ami {reddit | agentcompany}

Аргументы:

{subset}: может быть single_step (k=1), w_urgent (Urgent = Y), wo_urgent (Urgent = N).
{platform_instruction}: может быть forum, forum_follow, owncloud, owncloud_follow. Они соответствуют 2 платформам и 2 типам пользовательских инструкций.
{k}, {15*k}: количество шагов, $k \in {1,2,3}$. Допустимые комбинации (subset, k): single_step только с k=1; w_urgent и wo_urgent только с k \in \{2,3\}.
{reddit | agentcompany}: образ AMI AWS для запуска. Для платформы forum следует использовать , а для платформы — .

adv/TheAgentCompany_OwnCloud/file_to_upload/ — скопирован из RedTeamCUA (adv/TheAgentCompany_OwnCloud/file_to_upload/), исходно распространяется под лицензией Apache-2.0.
adv/upload_file/ — содержит две фикстуры SSH-ключей (system/authorized_keys, system/id_rsa), используемые в конфигурациях задач набора данных в качестве полезной нагрузки для загрузки. Создан StepJack (значения — строки-заглушки, а не настоящие ключи). Распространяется под лицензией, указанной в файле LICENSE в корневом каталоге этого дерева исходников.
adv/upload_file_dir/ — оригинальная разработка StepJack. Отсутствует в RedTeamCUA. Распространяется под лицензией, указанной в файле LICENSE в корневом каталоге этого дерева исходников.
dataset/ — адаптирован из evaluation_examples/ RedTeamCUA со значительными изменениями. Примеры оценки RedTeamCUA опубликованы под лицензией CC-BY-4.0 согласно их croissant_metadata.json. Модификации и дополнения StepJack к конфигурациям задач выпущены под лицензией, указанной в файле LICENSE в корневом каталоге этого дерева исходников.
desktop_env/ — скопирован/адаптирован из desktop_env/ RedTeamCUA, который сам является производным от OSWorld; оба вышестоящих исходных проекта распространяются под лицензией Apache-2.0. Заголовки в каждом исходном файле (.py / .sh / .yml / .service / .txt) фиксируют конкретное происхождение каждого файла (копия или модификация StepJack). Сопроводительные файлы документации (например, README.md, DOCKER_GUIDELINE.md, INSTALL_*.md) скопированы из RedTeamCUA.

reddit

owncloud

agentcompany

StepJack

Популярное

Эксперимент

Конвейер автоматической декомпозиции и добавление новых состязательных целей

Благодарности