コンテナ外でローカルまたは緊急時シナリオを1つ実行してください：```bash
export SUPERPOWERS_ROOT=/path/to/superpowers
export ANTHROPIC_API_KEY=...
bun run quorum run scenarios/triggering-writing-plans --coding-agent claude
bun run quorum show <run-dir>

`claude` エージェントのデフォルト認証情報は `opus` です。

## 共有評価アプライアンス

共有リモートライブ評価は、信頼されたアプライアンスホストから実行されるように設計されており、1つの特権認証情報バンドル、厳密なリポジトリ/参照の出所、ホストロック、および復元可能なジョブレコードを持ちます。エージェントは、設定されたホスト上にアプライアンスヘルパーが存在する場合、それを使用する必要があります。```bash
evals-appliance doctor --json
evals-appliance prepare --json --superpowers-ref <branch-tag-or-sha>
evals-appliance run-all --json --detach \
  --superpowers-ref <branch-tag-or-sha> \
  -- --tier sentinel \
     --coding-agents claude,codex,kimi \
     --jobs 4
evals-appliance status --json <job-id>
evals-appliance show --json <job-id>
evals-appliance costs --json <job-id>
evals-appliance cancel --json <job-id>

次に、コンテナをビルド、起動、検証します:```bash
scripts/evals-container build
scripts/evals-container down || true
scripts/evals-container --env-file .env.container up
scripts/evals-container exec evals-tool-versions
scripts/evals-container exec quorum check

`--tier sentinel` なしで同じコマンドを実行すると、完全なレディスイートが実行されます。
`run-all` は各バッチを `results/batches/<batch-id>/` に書き込み、各実行を `results/<scenario>-<agent>-<os>-<timestamp>-<nonce>/` に書き込みます。バッチをレンダリングするには:```bash
scripts/evals-container exec quorum show <batch-id>

グループ化された全エージェントホストスイープ、エージェントごとの認証情報、認証マウントの詳細、およびトラブルシューティングについては、[docs/coding-agent-care-and-feeding.md](https://github.com/prime-radiant-inc/superpowers-evals/blob/HEAD/docs/coding-agent-care-and-feeding.md) を参照してください。

## Windows Runtime

Windows 11 での評価には、`--os windows` を使用します (Linux+KVM ホストのみ):```bash
bun run quorum run scenarios/<name> --coding-agent claude --os windows

`quorum check` は `credentials.yaml` と各エージェントの `default_credential` を検証します。

スケジューラは、その同時実行制限とレート制限ラッチを、認証情報の **limiterKey** で鍵付けします — 設定されている場合は認証情報の `base_url`、それ以外の場合は認証情報名とその `api` を連結したものです（例：`https://…/v1|openai-chat`、または `base_url` を持たないネイティブ認証情報では `opus|anthropic`）。同じ limiterKey を共有するセルは、1つの上限と1つのレート制限ラッチを共有します。いずれかのセルでレート制限応答が発生すると、そのエンドポイントに対してキューに入れられている残りのすべてのセルが直ちにスキップされます。

標準の名前付き認証情報（`credentials.yaml` を参照）：`opus`、`sonnet`、`haiku`（Claude ハーネス）、`codex_sub`（Codex サブスクリプション）、`kimi_default`、`openrouter_glm_5_2`（Pi デフォルト）、`pi_default`（ネイティブ Pi OAuth オプトイン）、`opencode_gpt5`、`gemini_default`、`serf_default`、`glm_5_2_chat`、`glm_5_2_responses`、`ollama_local`。

### 外部 Serf キャンペーン

短期間の Serf モデル/プロバイダキャンペーンは、リポジトリの正規の `credentials.yaml` ではなく、外部の認証情報ファイルを使用します。それを `quorum run`、`quorum run-all`、または `quorum check` に `--credentials-file` で明示的に渡します。実際のキャンペーン YAML とすべての生の実行アーティファクトは Git の外部に保管してください。YAML にはルーティングラベルと選択された API キーの環境変数名が含まれますが、キーの値は決して含まれません。

各キャンペーンプリセットは、正確に1つのモデルと1つのプロバイダを固定し、フォールバックを無効にし、プロンプト、サンプリング、推論、ツール、トークン制限のオーバーライドを含めてはなりません。その専用キーは、信頼できるランタイム認証情報バンドルを通じて提供します。キーはキャンペーンの意図したデータポリシーを強制し、キャンペーンの支出上限を持ち、共有容量のキャンペーンの場合は BYOK バインディングがない必要があります。BYOK 比較は、別のキーと候補ファイルを持つ別のキャンペーンです。

ディスパッチの前に、`run-all` は外部ファイルを一度解析し、その正規スナップショットを `results/batches/<batch-id>/credentials.snapshot.yaml` に書き込みます。すべての子プロセスはその不変のスナップショットを受け取ります。直接の `quorum run` は、同じ正規スナップショットをその実行ディレクトリに書き込みます。バッチ開始後にソース YAML を編集しても、後続のセルを変更することはできません。スナップショットには、スキーマで認識されたルーティングメタデータと環境変数名が含まれますが、秘密の値は含まれません。ただし、これらは機密性の高い実行アーティファクトの一部として残ります。

まずエージェントに依存しないスモークテストを実行し、その後、最終的なスモークテストの判定が `pass` である認証情報に対してのみ、高コストなシナリオを実行します。```bash
quorum run-all \
  --scenarios 00-quorum-smoke-hello-world \
  --include-drafts \
  --coding-agents serf \
  --credentials-file /secure/campaign.yaml \
  --credentials serf_example_a \
  --jobs 1

quorum run-all \
  --scenarios serf-builder-fractals \
  --coding-agents serf \
  --credentials-file /secure/campaign.yaml \
  --credentials serf_example_a \
  --jobs 1

引数なしの`quorum check`は、すべてのシナリオと`credentials.yaml`を検証します。
`run-all`は、各シナリオの`# coding-agents:`ディレクティブでフィルタリングされた、選択されたすべてのCoding-Agentに対して、含まれているすべてのシナリオを実行します。

## 判定とアーティファクト

quorumは3値の判定を生成します:

- `pass` - Gauntlet-Agentが合格し、すべてのポストチェックが合格しました。
- `fail` - Gauntlet-Agentが不合格、またはポストチェックが不合格になりました。
- `indeterminate` - セットアップ/プリチェック/キャプチャ/quorumの失敗、Gauntlet `investigate`、またはトレースチェックが存在する場合の空のトレース。

終了コードは`pass`が0、`fail`が1、`indeterminate`が2です。

各実行は`results/`の下に1つのディレクトリを生成します:```text
results/<scenario>-<coding-agent>-<os>-<timestamp>-<nonce>/
|-- verdict.json                     composed result; start here
|-- gauntlet-agent/                  Gauntlet-Agent evidence
|-- coding-agent-workdir/            files the Coding-Agent produced
|-- home/                            throwaway Coding-Agent HOME
|-- trajectory.json                  normalized ATIF trace
`-- coding-agent-token-usage.json    Coding-Agent token cost, when priced

`bun run check` は単一のゲートです（Biomeのlint/format + 完全厳格な `tsc` + `bun test`）。個別のステップは `bun run lint`, `bun run typecheck`, `bun test` です。

## アーキテクチャ

quorumは**Bun上のTypeScript**です。コンソールは `bun run quorum <cmd>`（[commander](https://github.com/tj/commander.js) CLI、`src/cli/index.ts` にあり、`quorum` バイナリとしても公開されています）。ゲートは `bun run check`（Biome + 完全厳格な `tsc` + `bun test`）です。

プロセスとファイルの境界を越えるデータ構造 — `verdict.json`、バッチインデックス、経済性、Gauntletの結果、エージェントYAML — は `src/contracts/` にある **zodスキーマ** であり、すべての境界で検証されるため、不正な外部ファイルはverdictを破損させる代わりに大きなエラーを出して失敗します。`cli/` 層はコマンドを解析し、`runner/` パイプライン（1シナリオ × 1コーディングエージェント）または `run-all/`（マトリックス）にディスパッチします。コーディングエージェントごとの違いは、エージェント名でキー付けされた2つの並行ファンアウトに存在します：`agents/` は使い捨ての実行ごとの `$HOME`（`<run>/home`）の下にエージェントの設定をシードし、`normalize/` はそのエージェントのセッションログを統一されたツールコールトレースに変換します。ライブなエージェントCLI呼び出しやその他の非隔離サブプロセスは `agents/command-runner.ts` のシームを通るため、ユニットスイートはフェイクを注入し、実際のCLIを起動しません。`scheduler/` は `run-all/` の下の共有並行エンジンです。ダッシュボードは別の読み取り専用パッケージで、`results/` と `grid-manifest.json` をスキャンします。`env.ts` は `process.env` を読み取る唯一のモジュールです。```text
src/
  cli/                  commander CLI: run, list, new, check, show, costs, run-all, grid-manifest
    index.ts              command wiring + run / costs / run-all / grid-manifest actions
    render.ts             verdict renderer for triage (quorum show)
    render-batch.ts       batch-matrix renderer (quorum show <batch>)
    resolve-target.ts     run/batch target resolution; scenario.ts scenario loading
  runner/               per-run orchestration (one scenario × one Coding-Agent)
    index.ts              setup → pre-checks → gauntlet drive → capture → post-checks → compose
    context.ts            populate the Gauntlet-Agent context dir (HOWTO + launch-agent shim)
    phase.ts              phase.json (setup/agent/checks) for the dashboard
    stopped.ts            SIGINT → stopped (indeterminate) verdict; errors.ts staged run-error stages
  agents/               per-Coding-Agent provisioning (resolveAgent dispatch)
    index.ts              agent registry + dispatch (incl. the inline Claude/Default adapters)
    command-runner.ts     injectable subprocess seam (live CLIs faked in tests)
    <agent>.ts            codex/gemini/kimi/opencode/pi/copilot/antigravity adapters
  normalize/            session-log → normalized tool-call trace, one module per dialect
  capture/              session-log snapshot/diff + tool-call capture + token usage; cwd-filter
  obol/                 obol cost estimation (session-log + gauntlet sidecar)
  economics.ts          token-cost composition → coding-agent-token-usage.json
  composer.ts           three-valued verdict from the gauntlet + checks layers
  checks/               sources prelude.sh + checks.sh, runs pre()/post(), collects check records
    prelude.sh            bare-verb DSL: defines each check verb as a bash function that
                          delegates to the TS dispatchers (no bin/ shims, no PATH prepend)
  scheduler/            central concurrency dispatcher (one global slot pool, per-harness limits + spacing)
  run-all/              scenario × Coding-Agent matrix over the scheduler; batch index
  setup-helpers/        scenario fixture builders + the `setup-helpers` CLI (dispatch registry)
  contracts/            zod schemas at the JSON boundaries (verdict, batch, economics, gauntlet, agent-config)
  scaffold.ts           `quorum new` / `quorum check`
  setup-step.ts         runs scenario setup.sh (sources prelude.sh via BASH_ENV so bare verbs resolve)
  story-meta.ts         story.md frontmatter (quorum_max_time, quorum_tier, status)
  env.ts                the single process.env boundary
  paths.ts              repo root, UTC stamps, nonces
  invariant.ts          assertNever exhaustiveness guard for closed unions
  check/                typed check verbs: fs-verbs.ts (file/git/env + bootstrap),
                        dispatch.ts (table + `not`), transcript-dispatch.ts, record.ts (sole emitter)
  cli/check-tool.ts     the dispatcher behind every check verb function (file-exists,
                        file-contains, command-succeeds, git-*, assert-checkout-clean,
                        requires-tool, not, files-exist, the *-installed/hook/extension
                        checks); check-transcript.ts and setup-helpers/cli.ts are the
                        other two dispatchers the prelude delegates to
  cli/list-check-verbs.ts  prints the FS_VERBS verb set the prelude loops over (drift-proof)
coding-agents/          per-Coding-Agent material:
  <name>.yaml             CLI config
  <name>-context/         HOWTO prose and launchers for the Gauntlet-Agent
scenarios/              scenarios (one directory each)
fixtures/               shared static fixture repos (e.g. template-repo/, sdd-*/)
test/                   bun test suite
docs/                   design notes, specs, plans, testing protocols, baselines
packages/dashboard/     read-only web matrix UI: scan/view, typed HTML templates, SSE bus, Bun.serve

Then use [docs/superpowers/skills/triaging-a-failing-eval.md](https://github.com/prime-radiant-inc/superpowers-evals/blob/HEAD/docs/superpowers/skills/triaging-a-failing-eval.md)
for the attribution atlas. For agent-specific auth, provisioning, and capture
checks, use [docs/coding-agent-care-and-feeding.md](https://github.com/prime-radiant-inc/superpowers-evals/blob/HEAD/docs/coding-agent-care-and-feeding.md).

For the current known-good baseline, see [docs/baselines/](https://github.com/prime-radiant-inc/superpowers-evals/blob/HEAD/docs/baselines/).

## コントリビューションルール

このリポジトリは `superpowers` の品質基準を継承しています。

- 1つのPRにつき1つの問題。
- 生成された実行アーティファクトやシークレットはコミットしないでください。
- 公開CIにライブ評価を追加しないでください。
- PRテンプレートを使用し、Coding-Agent設定、シェル実行、セットアップヘルパー、チェックツール、またはGauntlet-Agent入力を変更する際のセキュリティ/評価ラボのリスクを説明してください。
- 動作形成評価方法論の変更には、単なる散文ではなく証拠が必要です。

## 親サブモジュールのバンプ

`superpowers-evals` は `superpowers` によって `evals` サブモジュールとして使用されています。
ここで `main` にPRがマージされた後、親の `superpowers` リポジトリに対して `dev` をターゲットとしたフォローアップPRを開き、`evals` サブモジュールポインタをマージされた `superpowers-evals` コミットにバンプしてください。
その親サブモジュールバンプPRが存在するまで、`superpowers-evals` のマージが完全に伝播したとは見なさないでください。

---

セキュリティ報告 → [SECURITY.md](https://github.com/prime-radiant-inc/superpowers-evals/blob/HEAD/SECURITY.md)。