Évaluations Superpowers

Laboratoire d'évaluation comportementale pour superpowers. Quorum pilote les CLIs d'agents de codage réels (Claude, Codex, Antigravity, Gemini, Kimi, OpenCode, Pi et Copilot) via un agent QA Gauntlet et les évalue par rapport aux critères d'acceptation des scénarios et à des vérifications postérieures déterministes.

Le code, la CLI, les chemins et la prose en ligne utilisent tous le quorum en minuscules ; la forme capitalisée Quorum apparaît dans les titres et le tableau des acteurs.

Ceci n'est pas une suite de benchmarks générique. Il s'agit d'un laboratoire d'évaluation pour la conformité des workflows : déclenchement de compétences, comportement de l'arbre de travail, coordination des sous-agents, réflexes de vérification, qualité de la revue et modèles de façonnage des coûts.

Modèle de sécurité

quorum possède deux modes d'exécution très différents :

Vérifications statiques/unitaires sont sécurisées pour l'IC publique. Elles exécutent biome, tsc et bun test. Elles n'appellent pas d'API de modèles et ne lancent pas de CLI d'agents.

`quorum check` valide `credentials.yaml` et le `default_credential` de chaque agent. Le planificateur base son plafond de concurrence et son verrou de limite de débit sur le **limiterKey** de la credential — le `base_url` de la credential s'il est défini, sinon le nom de la credential, joint à son `api` (par exemple `https://…/v1|openai-chat`, ou `opus|anthropic` pour une credential native sans `base_url`). Les cellules partageant un même limiterKey partagent un plafond et un verrou de limite de débit : une réponse de limite de débit sur n'importe quelle cellule ignore immédiatement toutes les cellules restantes en file d'attente pour ce point de terminaison. Credentials nommées standard (voir `credentials.yaml`) : `opus`, `sonnet`, `haiku` (harnais Claude), `codex_sub` (abonnement Codex), `kimi_default`, `openrouter_glm_5_2` (Pi par défaut), `pi_default` (adhésion OAuth Pi native), `opencode_gpt5`, `gemini_default`, `serf_default`, `glm_5_2_chat`, `glm_5_2_responses`, `ollama_local`. ### Campagnes Serf externes Les campagnes éphémères de modèle/fournisseur Serf utilisent un fichier de credentials externe, et non le fichier canonique `credentials.yaml` du dépôt. Passez-le explicitement avec `--credentials-file` à `quorum run`, `quorum run-all` ou `quorum check`. Conservez le vrai YAML de campagne et tous les artefacts bruts d'exécution en dehors de Git : le YAML contient des étiquettes de routage et le nom de la variable d'environnement de la clé API sélectionnée, jamais une valeur de clé. Chaque préréglage de campagne doit épingler exactement un modèle et un fournisseur, désactiver les replis, et ne contenir aucune substitution de prompt, d'échantillonnage, de raisonnement, d'outil ou de limite de jetons. Fournissez sa clé dédiée via le bundle de credentials d'exécution de confiance. La clé doit appliquer la politique de données prévue par la campagne, avoir un plafond de dépenses de campagne, et, pour une campagne à capacité partagée, ne pas avoir de liaison BYOK. Une comparaison BYOK est une campagne séparée avec une clé séparée et un fichier candidat. Avant l'envoi, `run-all` analyse le fichier externe une fois et écrit son instantané canonique dans `results/batches/<batch-id>/credentials.snapshot.yaml` ; chaque enfant reçoit cet instantané immuable. Un `quorum run` direct écrit le même instantané canonique dans son répertoire d'exécution. Modifier le YAML source après le démarrage d'un lot ne peut pas modifier les cellules ultérieures. Les instantanés contiennent des métadonnées de routage connues du schéma et des noms de variables d'environnement, pas des valeurs secrètes, mais ils font toujours partie des artefacts d'exécution sensibles. Exécutez d'abord le test de fumée neutre pour l'agent, puis exécutez le scénario coûteux uniquement pour les credentials dont le verdict final du test de fumée est `pass` :```bash quorum run-all \ --scenarios 00-quorum-smoke-hello-world \ --include-drafts \ --coding-agents serf \ --credentials-file /secure/campaign.yaml \ --credentials serf_example_a \ --jobs 1 quorum run-all \ --scenarios serf-builder-fractals \ --coding-agents serf \ --credentials-file /secure/campaign.yaml \ --credentials serf_example_a \ --jobs 1

`bun run check` est la porte unique (Biome lint/format + full-strict `tsc` + `bun test`) ; les étapes individuelles sont `bun run lint`, `bun run typecheck`, et `bun test`. ## Architecture quorum est **TypeScript sur Bun**. La console est `bun run quorum <cmd>` (une CLI [commander](https://github.com/tj/commander.js) dans `src/cli/index.ts`, également exposée en tant que binaire `quorum`) ; la porte est `bun run check` (Biome + full-strict `tsc` + `bun test`). Les formes qui traversent les frontières entre processus et fichiers — `verdict.json`, les index de lots, les économies, le résultat du Gauntlet, le YAML d'agent — sont des **schémas zod** dans `src/contracts/`, validés à chaque frontière, de sorte qu'un fichier externe malformé échoue bruyamment au lieu de corrompre un verdict. La couche `cli/` analyse les commandes et les distribue dans le pipeline `runner/` (un scénario × un Coding-Agent) ou `run-all/` (la matrice). Les différences par Coding-Agent résident dans deux éventails parallèles indexés par nom d'agent : `agents/` alimente la configuration de l'agent sous le `$HOME` jetable par exécution (`<run>/home`), et `normalize/` transforme le journal de session de cet agent en une trace uniforme d'appels d'outils. Les appels en direct agent-CLI et autres sous-processus non hermétiques passent par la couture `agents/command-runner.ts`, de sorte que la suite de tests unitaires injecte des simulations et ne lance jamais une véritable CLI. `scheduler/` est le moteur de concurrence partagé sous `run-all/`. Le tableau de bord est un paquet séparé en lecture seule qui scanne `results/` et `grid-manifest.json`. `env.ts` est le seul module qui lit `process.env`.```text src/ cli/ commander CLI: run, list, new, check, show, costs, run-all, grid-manifest index.ts command wiring + run / costs / run-all / grid-manifest actions render.ts verdict renderer for triage (quorum show) render-batch.ts batch-matrix renderer (quorum show <batch>) resolve-target.ts run/batch target resolution; scenario.ts scenario loading runner/ per-run orchestration (one scenario × one Coding-Agent) index.ts setup → pre-checks → gauntlet drive → capture → post-checks → compose context.ts populate the Gauntlet-Agent context dir (HOWTO + launch-agent shim) phase.ts phase.json (setup/agent/checks) for the dashboard stopped.ts SIGINT → stopped (indeterminate) verdict; errors.ts staged run-error stages agents/ per-Coding-Agent provisioning (resolveAgent dispatch) index.ts agent registry + dispatch (incl. the inline Claude/Default adapters) command-runner.ts injectable subprocess seam (live CLIs faked in tests) <agent>.ts codex/gemini/kimi/opencode/pi/copilot/antigravity adapters normalize/ session-log → normalized tool-call trace, one module per dialect capture/ session-log snapshot/diff + tool-call capture + token usage; cwd-filter obol/ obol cost estimation (session-log + gauntlet sidecar) economics.ts token-cost composition → coding-agent-token-usage.json composer.ts three-valued verdict from the gauntlet + checks layers checks/ sources prelude.sh + checks.sh, runs pre()/post(), collects check records prelude.sh bare-verb DSL: defines each check verb as a bash function that delegates to the TS dispatchers (no bin/ shims, no PATH prepend) scheduler/ central concurrency dispatcher (one global slot pool, per-harness limits + spacing) run-all/ scenario × Coding-Agent matrix over the scheduler; batch index setup-helpers/ scenario fixture builders + the `setup-helpers` CLI (dispatch registry) contracts/ zod schemas at the JSON boundaries (verdict, batch, economics, gauntlet, agent-config) scaffold.ts `quorum new` / `quorum check` setup-step.ts runs scenario setup.sh (sources prelude.sh via BASH_ENV so bare verbs resolve) story-meta.ts story.md frontmatter (quorum_max_time, quorum_tier, status) env.ts the single process.env boundary paths.ts repo root, UTC stamps, nonces invariant.ts assertNever exhaustiveness guard for closed unions check/ typed check verbs: fs-verbs.ts (file/git/env + bootstrap), dispatch.ts (table + `not`), transcript-dispatch.ts, record.ts (sole emitter) cli/check-tool.ts the dispatcher behind every check verb function (file-exists, file-contains, command-succeeds, git-*, assert-checkout-clean, requires-tool, not, files-exist, the *-installed/hook/extension checks); check-transcript.ts and setup-helpers/cli.ts are the other two dispatchers the prelude delegates to cli/list-check-verbs.ts prints the FS_VERBS verb set the prelude loops over (drift-proof) coding-agents/ per-Coding-Agent material: <name>.yaml CLI config <name>-context/ HOWTO prose and launchers for the Gauntlet-Agent scenarios/ scenarios (one directory each) fixtures/ shared static fixture repos (e.g. template-repo/, sdd-*/) test/ bun test suite docs/ design notes, specs, plans, testing protocols, baselines packages/dashboard/ read-only web matrix UI: scan/view, typed HTML templates, SSE bus, Bun.serve

Acteur	Ce que c'est	Où il se trouve / ses fichiers
Gauntlet	Framework QA à usage général ; la CLI `gauntlet`. Un testeur boîte noire.	dépôt `github.com/prime-radiant-inc/gauntlet` ; dans `PATH` sous `gauntlet` (via `bun link` ou `GAUNTLET_ROOT`)
Gauntlet-Agent	Le LLM à l'intérieur de Gauntlet qui pilote l'Agent de Codage et s'auto-évalue par rapport aux ACs de l'histoire.	modèle p. ex. `claude-sonnet-4-6` ; flux d'événements → `<run>/gauntlet-agent/results/<runId>/run.jsonl` ; verdict → `result.{json,md}`
Coding-Agent	L'agent testé — le SUT. Instances : Claude, Codex, Antigravity, Gemini, Kimi, OpenCode, Pi, Copilot.	config + journal de session sous son `$HOME` temporaire à `<run>/home/…` ; les fichiers qu'il écrit → `<run>/coding-agent-workdir/`
Quorum	Le wrapper TypeScript/Bun. Possède la configuration, l'adaptation du Coding-Agent, les vérifications déterministes et le verdict final.	dépôt `superpowers-evals/src/` ; `<run>/verdict.json`

superpowers-evals

Populaires

À propos

Risque des évaluations en direct

Démarrage rapide

Conteneur d'exécution

Acteurs Canoniques

Guides de l'Opérateur

Axe d'Identifiants

run against a named credential

run-all against multiple credentials (incompatible cells are skipped)

Commandes principales```bash

Vérifications sécurisées

Triage