prime-radiant-inc/superpowers-evalsПоведенческая оценочная лаборатория (Quorum) для проекта superpowers, который управляет реальными coding-agent CLI (Claude, Codex, Gemini, Kimi и другими) через QA-агента и оценивает их соблюдение workflow на основе критериев сценариев и детерминированных post-checks.
Лаборатория поведенческого оценивания для superpowers. Quorum управляет реальными CLI кодирующих агентов (Claude, Codex, Antigravity, Gemini, Kimi, OpenCode, Pi и Copilot) через QA-агента Gauntlet и оценивает их по критериям приемки сценариев и детерминированным пост-проверкам.
Код, CLI, пути и встроенный прозаический текст используют строчные буквы quorum; форма с заглавной буквы Quorum появляется в заголовках и таблице акторов.
Это не универсальный набор тестов. Это лаборатория оценивания для соответствия рабочим процессам: запуск навыков, поведение рабочего дерева, координация субагентов, рефлексы проверки, качество рецензирования и шаблоны формирования затрат.
quorum имеет два очень разных режима выполнения:
biome, tsc и bun test. Они не вызывают API моделей и не запускают CLI агентов.Публичный CI должен оставаться на статической/юнит-стороне этой линии. Никогда не добавляйте API-ключи, вызовы quorum run … в живом режиме или запуски агентов в опасном режиме в публичный CI.
Живые оценки запускают тестируемого кодирующего агента с широкими полномочиями:
--dangerously-skip-permissions.--dangerously-bypass-approvals-and-sandbox.--dangerously-skip-permissions и полагается на локальную аутентификацию браузера/связки ключей для agy.--skip-trust --approval-mode=yolo; аутентификация по API-ключу по умолчанию, с опциональной OAuth-аутентификацией для доверенных локальных запусков.--yolo.--dangerously-skip-permissions.--allow-all.quorum фиксирует HOME каждого кодирующего агента (плюс базовые каталоги XDG и TMPDIR) на одноразовый домашний каталог для каждого запуска по пути <run>/home — лаунчер вставляет токен $QUORUM_HOME_ENV, созданный src/agents/home-env.ts (xdgHomeEnv, единственный источник истины). Каталог конфигурации каждого агента находится внутри этого домашнего каталога (Claude .claude, Codex .codex, Gemini ., OpenCode ., Antigravity ., Copilot .copilot, Kimi .kimi-code, Pi .pi/agent), так что кодирующий агент находит свою конфигурацию через свой $HOME по умолчанию и никогда не видит реальные ~/.claude, ~/.codex, ~/.gemini, ~/.kimi-code, ~/.pi, ~/.copilot, ~/.config хоста или другие состояния, плагины или предыдущие сессии, связанные с домашним каталогом. Подготовка (provisioning) помещает конфигурацию — и учетные данные OAuth хоста, необходимые каждому агенту — в этот одноразовый домашний каталог перед запуском, так что логин во время выполнения не требуется. Copilot также размещает локальный плагин Superpowers в изолированном домашнем каталоге, использует разрешенное внешнее окружение и записывает файл .copilot-env с секретами с правами chmod 0600 внутри каталога запуска. Это сужает радиус поражения, но не является песочницей. Лаунчеры OpenCode и Copilot дополнительно используют разрешенные окружения, но живые кодирующие агенты по-прежнему имеют широкие полномочия по работе с файловой системой и выполнению команд.
Запускайте живые оценки только из доверенного локального окружения:
results/, сырым журналам сессий, артефактам состояния сессии/вызовов инструментов и входным данным Gauntlet-Agent как к конфиденциальным.Установите и запустите статические проверки:```bash bun install bun run check bun run quorum check
Запустите один локальный сценарий или сценарий экстренного доступа вне контейнера:```bash
export SUPERPOWERS_ROOT=/path/to/superpowers
export ANTHROPIC_API_KEY=...
bun run quorum run scenarios/triggering-writing-plans --coding-agent claude
bun run quorum show <run-dir>
Драйвер Gauntlet-Agent (QA драйвер) по умолчанию аутентифицируется в Anthropic с помощью ANTHROPIC_API_KEY. Чтобы управлять им из залогиненной подписки Claude, вместо этого установите CLAUDE_CODE_OAUTH_TOKEN (из claude setup-token) в окружении (например, .env); обвязка передаёт его, и gauntlet предпочитает его API-ключу. Примечание: у подписки есть лимиты использования, рассчитанные на интерактивное использование — высококонкурентные пакеты run-all могут их достичь, поэтому API-ключ остаётся лучшим вариантом для тяжёлой нагрузки.
Имена агентов: claude, codex, antigravity, gemini, kimi, opencode, pi и copilot. Не каждый сценарий действителен для каждого агента.
КРИТИЧЕСКОЕ ИЗМЕНЕНИЕ (ось учётных данных): claude-haiku и claude-sonnet больше не являются отдельными именами агентов. Чтобы запустить обвязку Claude против Sonnet или Haiku:```bash
bun run quorum run scenarios/ --coding-agent claude --credential sonnet
bun run quorum run scenarios/ --coding-agent claude --credential haiku
Учётные данные по умолчанию для агента `claude` — `opus`.
## Общее устройство для оценок
Общие удалённые интерактивные оценки предназначены для выполнения с доверенного хоста-устройства с одним одобренным набором учётных данных, точным указанием источника репозитория/ссылки, блокировками хоста и восстанавливаемыми записями заданий. Агенты должны использовать вспомогательное устройство (appliance helper) после его появления на настроенном хосте:```bash
evals-appliance doctor --json
evals-appliance prepare --json --superpowers-ref <branch-tag-or-sha>
evals-appliance run-all --json --detach \
--superpowers-ref <branch-tag-or-sha> \
-- --tier sentinel \
--coding-agents claude,codex,kimi \
--jobs 4
evals-appliance status --json <job-id>
evals-appliance show --json <job-id>
evals-appliance costs --json <job-id>
evals-appliance cancel --json <job-id>
Целевой интерфейс и правила эксплуатации описаны в docs/appliance-runbook.md и подкреплены docs/superpowers/specs/2026-06-18-shared-eval-appliance-design.md. doctor доступен только для чтения. prepare возвращает lock_busy вместо изменения ссылок, пока активна живая задача. Доступ к хосту и процедуры аварийного доступа для конкретных провайдеров намеренно не включены в этот публичный репозиторий; используйте приватный эксплуатационный справочник для этих деталей. Сырые команды bun run quorum ... и scripts/evals-container exec quorum ... остаются локальными или доверенными процедурами аварийного доступа для совместных живых оценок.
Среда выполнения Docker является основным рецептом для реальных запусков наборов тестов. Она сохраняет рабочие копии evals, проверяемую рабочую копию Superpowers, учетные данные, источники аутентификации и все артефакты запуска на хосте, в то время как quorum работает внутри полнофункционального контейнера Ubuntu workspace.