Superpowers Evals

Laboratorio de evaluación comportamental para superpowers. Quorum impulsa CLIs reales de agentes de codificación (Claude, Codex, Antigravity, Gemini, Kimi, OpenCode, Pi y Copilot) a través de un agente de control de calidad Gauntlet y los califica según los criterios de aceptación del escenario más comprobaciones posteriores deterministas.

El código, la CLI, las rutas y el texto en línea usan quorum en minúsculas; la forma capitalizada Quorum aparece en los encabezados y la tabla de actores.

No es un conjunto de pruebas genérico. Es un laboratorio de evaluación para el cumplimiento del flujo de trabajo: activación de habilidades, comportamiento del área de trabajo, coordinación de subagentes, reflejos de verificación, calidad de revisión y patrones de modelado de costos.

Modelo de Seguridad

quorum tiene dos modos de ejecución muy diferentes:

Las comprobaciones estáticas/de unidad son seguras para CI público. Ejecutan biome, tsc y bun test. No llaman a las API del modelo ni inician agentes CLI.
Las evaluaciones en vivo son operaciones de mantenedores de confianza. Inician Claude Code, Codex CLI, Antigravity CLI, Gemini CLI, Kimi Code, OpenCode CLI, Pi CLI o Copilot CLI en modos permisivos y recopilan transcripciones en bruto, llamadas a herramientas, estado del sistema de archivos y registros de sesión.

`quorum check` valida `credentials.yaml` y el `default_credential` de cada agente. El planificador basa su límite de concurrencia y su pestillo de límite de velocidad en la **limiterKey** de la credencial: el `base_url` de la credencial si está establecido, o en caso contrario el nombre de la credencial, concatenado con su `api` (por ejemplo, `https://…/v1|openai-chat`, o `opus|anthropic` para una credencial nativa sin `base_url`). Las celdas que comparten una limiterKey comparten un límite de concurrencia y un pestillo de límite de velocidad: una respuesta de límite de velocidad en cualquier celda salta inmediatamente todas las celdas restantes en cola para ese endpoint. Credenciales estándar con nombre (consulte `credentials.yaml`): `opus`, `sonnet`, `haiku` (Claude harness), `codex_sub` (Codex subscription), `kimi_default`, `openrouter_glm_5_2` (Pi default), `pi_default` (native Pi OAuth opt-in), `opencode_gpt5`, `gemini_default`, `serf_default`, `glm_5_2_chat`, `glm_5_2_responses`, `ollama_local`. ### Campañas externas de Serf Las campañas de corta duración del modelo/proveedor Serf utilizan un archivo de credenciales externo, no el `credentials.yaml` canónico del repositorio. Páselo explícitamente con `--credentials-file` a `quorum run`, `quorum run-all`, o `quorum check`. Mantenga el YAML real de la campaña y todos los artefactos de ejecución sin procesar fuera de Git: el YAML contiene etiquetas de enrutamiento y el nombre de la variable de entorno de la clave API seleccionada, nunca un valor de clave. Cada preset de campaña debe fijar exactamente un modelo y un proveedor, deshabilitar los fallbacks, y no contener anulaciones de prompt, muestreo, razonamiento, herramienta o límite de tokens. Proporcione su clave dedicada a través del paquete de credenciales de tiempo de ejecución de confianza. La clave debe cumplir con la política de datos prevista para la campaña, tener un límite de gasto de campaña y, para una campaña de capacidad compartida, no tener un enlace BYOK. Una comparación BYOK es una campaña separada con una clave separada y un archivo candidato. Antes del envío, `run-all` analiza el archivo externo una vez y escribe su instantánea canónica en `results/batches/<batch-id>/credentials.snapshot.yaml`; cada hijo recibe esa instantánea inmutable. Un `quorum run` directo escribe la misma instantánea canónica en su directorio de ejecución. Editar el YAML de origen después de que un lote comience no puede cambiar celdas posteriores. Las instantáneas contienen metadatos de enrutamiento conocidos por el esquema y nombres de variables de entorno, no valores secretos, pero siguen siendo parte de los artefactos de ejecución sensibles. Ejecute primero la prueba de humo neutral al agente, luego ejecute el escenario costoso solo para credenciales cuyo veredicto final de la prueba de humo sea `pass`:```bash quorum run-all \ --scenarios 00-quorum-smoke-hello-world \ --include-drafts \ --coding-agents serf \ --credentials-file /secure/campaign.yaml \ --credentials serf_example_a \ --jobs 1 quorum run-all \ --scenarios serf-builder-fractals \ --coding-agents serf \ --credentials-file /secure/campaign.yaml \ --credentials serf_example_a \ --jobs 1

`bun run check` es la única compuerta (Biome lint/format + full-strict `tsc` + `bun test`); los pasos individuales son `bun run lint`, `bun run typecheck` y `bun test`. ## Arquitectura quorum es **TypeScript on Bun**. La consola es `bun run quorum <cmd>` (una CLI de [commander](https://github.com/tj/commander.js) en `src/cli/index.ts`, también expuesta como el binario `quorum`); la compuerta es `bun run check` (Biome + full-strict `tsc` + `bun test`). Las formas que cruzan los límites de procesos y archivos — `verdict.json`, índices de lotes, economía, el resultado de Gauntlet, YAML del agente — son **esquemas zod** en `src/contracts/`, validados en cada límite, de modo que un archivo externo malformado falla ruidosamente en lugar de corromper un veredicto. La capa `cli/` analiza comandos y los despacha hacia el pipeline `runner/` (un escenario × un Coding-Agent) o `run-all/` (la matriz). Las diferencias por agente de codificación residen en dos abanicos paralelos clave por nombre de agente: `agents/` siembra la configuración del agente bajo el `$HOME` desechable por ejecución (`<run>/home`), y `normalize/` convierte el registro de sesión de ese agente en un rastro uniforme de llamadas a herramientas. Las llamadas en vivo agente-CLI y otros subprocesos no herméticos pasan por la costura `agents/command-runner.ts`, de modo que el conjunto de pruebas unitarias inyecta simulaciones y nunca lanza una CLI real. `scheduler/` es el motor de concurrencia compartido bajo `run-all/`. El panel es un paquete separado de solo lectura que escanea `results/` y `grid-manifest.json`. `env.ts` es el único módulo que lee `process.env`.```text src/ cli/ commander CLI: run, list, new, check, show, costs, run-all, grid-manifest index.ts command wiring + run / costs / run-all / grid-manifest actions render.ts verdict renderer for triage (quorum show) render-batch.ts batch-matrix renderer (quorum show <batch>) resolve-target.ts run/batch target resolution; scenario.ts scenario loading runner/ per-run orchestration (one scenario × one Coding-Agent) index.ts setup → pre-checks → gauntlet drive → capture → post-checks → compose context.ts populate the Gauntlet-Agent context dir (HOWTO + launch-agent shim) phase.ts phase.json (setup/agent/checks) for the dashboard stopped.ts SIGINT → stopped (indeterminate) verdict; errors.ts staged run-error stages agents/ per-Coding-Agent provisioning (resolveAgent dispatch) index.ts agent registry + dispatch (incl. the inline Claude/Default adapters) command-runner.ts injectable subprocess seam (live CLIs faked in tests) <agent>.ts codex/gemini/kimi/opencode/pi/copilot/antigravity adapters normalize/ session-log → normalized tool-call trace, one module per dialect capture/ session-log snapshot/diff + tool-call capture + token usage; cwd-filter obol/ obol cost estimation (session-log + gauntlet sidecar) economics.ts token-cost composition → coding-agent-token-usage.json composer.ts three-valued verdict from the gauntlet + checks layers checks/ sources prelude.sh + checks.sh, runs pre()/post(), collects check records prelude.sh bare-verb DSL: defines each check verb as a bash function that delegates to the TS dispatchers (no bin/ shims, no PATH prepend) scheduler/ central concurrency dispatcher (one global slot pool, per-harness limits + spacing) run-all/ scenario × Coding-Agent matrix over the scheduler; batch index setup-helpers/ scenario fixture builders + the `setup-helpers` CLI (dispatch registry) contracts/ zod schemas at the JSON boundaries (verdict, batch, economics, gauntlet, agent-config) scaffold.ts `quorum new` / `quorum check` setup-step.ts runs scenario setup.sh (sources prelude.sh via BASH_ENV so bare verbs resolve) story-meta.ts story.md frontmatter (quorum_max_time, quorum_tier, status) env.ts the single process.env boundary paths.ts repo root, UTC stamps, nonces invariant.ts assertNever exhaustiveness guard for closed unions check/ typed check verbs: fs-verbs.ts (file/git/env + bootstrap), dispatch.ts (table + `not`), transcript-dispatch.ts, record.ts (sole emitter) cli/check-tool.ts the dispatcher behind every check verb function (file-exists, file-contains, command-succeeds, git-*, assert-checkout-clean, requires-tool, not, files-exist, the *-installed/hook/extension checks); check-transcript.ts and setup-helpers/cli.ts are the other two dispatchers the prelude delegates to cli/list-check-verbs.ts prints the FS_VERBS verb set the prelude loops over (drift-proof) coding-agents/ per-Coding-Agent material: <name>.yaml CLI config <name>-context/ HOWTO prose and launchers for the Gauntlet-Agent scenarios/ scenarios (one directory each) fixtures/ shared static fixture repos (e.g. template-repo/, sdd-*/) test/ bun test suite docs/ design notes, specs, plans, testing protocols, baselines packages/dashboard/ read-only web matrix UI: scan/view, typed HTML templates, SSE bus, Bun.serve

Actor	Qué es	Dónde reside / sus archivos
Gauntlet	Framework de QA de propósito general; la CLI `gauntlet`. Un probador de caja negra.	repo `github.com/prime-radiant-inc/gauntlet`; en `PATH` como `gauntlet` (vía `bun link` o `GAUNTLET_ROOT`)
Gauntlet-Agent	El LLM dentro de Gauntlet que impulsa el Coding-Agent y se autoevalúa según los AC de la historia.	modelo p.ej. `claude-sonnet-4-6`; flujo de eventos → `<run>/gauntlet-agent/results/<runId>/run.jsonl`; veredicto → `result.{json,md}`
Coding-Agent	El agente bajo prueba — el SUT. Instancias: Claude, Codex, Antigravity, Gemini, Kimi, OpenCode, Pi, Copilot.	configuración + registro de sesión bajo su `$HOME` desechable en `<run>/home/…`; los archivos que escribe → `<run>/coding-agent-workdir/`
Quorum	El envoltorio de TypeScript/Bun. Posee la configuración, adaptación del Coding-Agent, verificaciones deterministas y el veredicto final.	repo `superpowers-evals/src/`; `<run>/verdict.json`

superpowers-evals

Más Populares

Acerca de

Riesgo de Evaluación en Vivo

Inicio Rápido

Tiempo de ejecución del contenedor

Actores Canónicos

Guías de Operador

Eje de Credenciales

run against a named credential

run-all against multiple credentials (incompatible cells are skipped)

Comandos Principales```bash

Verificaciones Seguras

Triaje