विवरण

व्यवहारिक मूल्यांकन प्रयोगशाला (Quorum) superpowers परियोजना के लिए जो वास्तविक कोडिंग-एजेंट CLI (Claude, Codex, Gemini, Kimi, और अन्य) को एक QA एजेंट के माध्यम से संचालित करती है और उन्हें परिदृश्य मानदंडों और नियतात्मक पोस्ट-चेक्स के विरुद्ध कार्यप्रवाह अनुपालन पर ग्रेड देती है।

Superpowers Evals

Behavioural evals lab for superpowers। Quorum वास्तविक कोडिंग-एजेंट CLI (Claude, Codex, Antigravity, Gemini, Kimi, OpenCode, Pi, और Copilot) को एक Gauntlet QA एजेंट के माध्यम से चलाता है और उन्हें परिदृश्य स्वीकृति मानदंडों और नियतात्मक पोस्ट-जांचों के विरुद्ध ग्रेड करता है।

कोड, CLI, पथ, और इनलाइन गद्य सभी lowercase quorum का उपयोग करते हैं; capitalized रूप Quorum शीर्षकों और एजेंट तालिका में दिखाई देता है।

यह एक सामान्य बेंचमार्क सूट नहीं है। यह वर्कफ़्लो अनुपालन के लिए एक मूल्यांकन प्रयोगशाला है: स्किल ट्रिगरिंग, वर्कट्री व्यवहार, सबएजेंट समन्वय, सत्यापन रिफ्लेक्सिस, समीक्षा गुणवत्ता, और लागत-आकार देने वाले पैटर्न।

Safety Model

quorum के दो बहुत अलग निष्पादन मोड हैं:

Static/unit checks सार्वजनिक CI के लिए सुरक्षित हैं। ये biome, tsc, और bun test चलाते हैं। ये मॉडल API को कॉल नहीं करते और एजेंट CLI लॉन्च नहीं करते।
Live evals trusted-maintainer संचालन हैं। ये Claude Code, Codex CLI, Antigravity CLI, Gemini CLI, Kimi Code, OpenCode CLI, Pi CLI, या Copilot CLI को अनुमेय मोड में लॉन्च करते हैं और कच्चे ट्रांसक्रिप्ट, टूल कॉल, फ़ाइलसिस्टम स्थिति, और सत्र लॉग एकत्र करते हैं।

`quorum check` `credentials.yaml` और प्रत्येक एजेंट के `default_credential` को मान्य करता है। शेड्यूलर अपनी समवर्ती सीमा (concurrency cap) और दर-सीमा लैच (rate-limit latch) को क्रेडेंशियल के **limiterKey** से जोड़ता है — क्रेडेंशियल का `base_url` यदि सेट हो, अन्यथा क्रेडेंशियल का नाम, उसके `api` से जुड़ा हुआ (जैसे `https://…/v1|openai-chat`, या `opus|anthropic` बिना `base_url` वाले मूल क्रेडेंशियल के लिए)। एक समान limiterKey साझा करने वाले सेल एक ही कैप और एक ही दर-सीमा लैच साझा करते हैं: किसी भी सेल पर दर-सीमा प्रतिक्रिया तुरंत उस एंडपॉइंट के सभी शेष कतारबद्ध सेल को छोड़ देती है। मानक नामांकित क्रेडेंशियल्स (`credentials.yaml` देखें): `opus`, `sonnet`, `haiku` (क्लॉड हार्नेस), `codex_sub` (Codex सब्सक्रिप्शन), `kimi_default`, `openrouter_glm_5_2` (Pi डिफ़ॉल्ट), `pi_default` (मूल Pi OAuth वैकल्पिक), `opencode_gpt5`, `gemini_default`, `serf_default`, `glm_5_2_chat`, `glm_5_2_responses`, `ollama_local`। ### बाहरी Serf अभियान अल्पकालिक Serf मॉडल/प्रदाता अभियान रिपॉजिटरी के विहित `credentials.yaml` के बजाय एक बाहरी क्रेडेंशियल फ़ाइल का उपयोग करते हैं। इसे `quorum run`, `quorum run-all`, या `quorum check` के साथ `--credentials-file` का उपयोग करके स्पष्ट रूप से पास करें। वास्तविक अभियान YAML और सभी कच्चे रन आर्टिफैक्ट को Git के बाहर रखें: YAML में रूटिंग लेबल और चयनित API-कुंजी पर्यावरण-चर का नाम होता है, कभी भी कुंजी मान नहीं। प्रत्येक अभियान प्रीसेट को एक ही मॉडल और एक ही प्रदाता को पिन करना चाहिए, फ़ॉलबैक अक्षम करने चाहिए, और इसमें कोई प्रॉम्प्ट, सैंपलिंग, रीज़निंग, टूल, या टोकन-सीमा ओवरराइड नहीं होना चाहिए। अपनी समर्पित कुंजी विश्वसनीय रनटाइम क्रेडेंशियल बंडल के माध्यम से प्रदान करें। कुंजी को अभियान के इच्छित डेटा नीति को लागू करना चाहिए, एक अभियान खर्च सीमा होनी चाहिए, और साझा-क्षमता वाले अभियान के लिए, कोई BYOK बंधन नहीं होना चाहिए। एक BYOK तुलना एक अलग अभियान है जिसमें एक अलग कुंजी और उम्मीदवार फ़ाइल होती है। प्रेषण से पहले, `run-all` बाहरी फ़ाइल को एक बार पार्स करता है और इसका विहित स्नैपशॉट `results/batches/<batch-id>/credentials.snapshot.yaml` पर लिखता है; प्रत्येक चाइल्ड को वह अपरिवर्तनीय स्नैपशॉट प्राप्त होता है। एक सीधा `quorum run` अपने रन निर्देशिका के अंतर्गत वही विहित स्नैपशॉट लिखता है। बैच शुरू होने के बाद स्रोत YAML को संपादित करने से बाद के सेल नहीं बदल सकते। स्नैपशॉट में स्कीमा-ज्ञात रूटिंग मेटाडेटा और पर्यावरण-चर के नाम होते हैं, गुप्त मान नहीं, लेकिन वे संवेदनशील रन आर्टिफैक्ट का हिस्सा बने रहते हैं। पहले एजेंट-तटस्थ स्मोक चलाएँ, फिर केवल उन क्रेडेंशियल के लिए महँगा परिदृश्य चलाएँ जिनका अंतिम स्मोक फैसला `pass` है:```bash quorum run-all \ --scenarios 00-quorum-smoke-hello-world \ --include-drafts \ --coding-agents serf \ --credentials-file /secure/campaign.yaml \ --credentials serf_example_a \ --jobs 1 quorum run-all \ --scenarios serf-builder-fractals \ --coding-agents serf \ --credentials-file /secure/campaign.yaml \ --credentials serf_example_a \ --jobs 1

`bun run check` एक एकल गेट है (Biome lint/format + full-strict `tsc` + `bun test`); अलग-अलग चरण हैं `bun run lint`, `bun run typecheck`, और `bun test`. ## आर्किटेक्चर quorum **Bun पर TypeScript** है। कंसोल `bun run quorum <cmd>` है (एक [commander](https://github.com/tj/commander.js) CLI `src/cli/index.ts` पर, जो `quorum` bin के रूप में भी उपलब्ध है); गेट `bun run check` है (Biome + full-strict `tsc` + `bun test`). प्रक्रिया और फ़ाइल सीमाओं को पार करने वाले आकार — `verdict.json`, बैच इंडेक्स, अर्थशास्त्र, Gauntlet परिणाम, एजेंट YAML — `src/contracts/` में **zod schemas** हैं, हर सीमा पर मान्य किए जाते हैं, ताकि एक विकृत बाहरी फ़ाइल किसी verdict को भ्रष्ट करने के बजाय ज़ोर से विफल हो जाए। `cli/` लेयर कमांड पार्स करती है और उन्हें `runner/` पाइपलाइन (एक परिदृश्य × एक Coding-Agent) या `run-all/` (मैट्रिक्स) में भेजती है। प्रति Coding-Agent अंतर दो समानांतर फैन-आउट में रहते हैं जो एजेंट नाम से कुंजीबद्ध हैं: `agents/` एजेंट के कॉन्फ़िग को प्रति-रन थ्रोअवे `$HOME` (`<run>/home`) के तहत सीड करता है, और `normalize/` उस एजेंट के सत्र लॉग को एक समान टूल-कॉल ट्रेस में बदलता है। लाइव एजेंट-CLI कॉल और अन्य गैर-हर्मेटिक उपप्रक्रियाएँ `agents/command-runner.ts` सीम के माध्यम से जाती हैं, इसलिए यूनिट सूट नकली इंजेक्ट करता है और कभी वास्तविक CLI लॉन्च नहीं करता। `scheduler/` `run-all/` के तहत साझा समवर्ती इंजन है। डैशबोर्ड एक अलग केवल-पढ़ने वाला पैकेज है जो `results/` और `grid-manifest.json` को स्कैन करता है। `env.ts` एकमात्र मॉड्यूल है जो `process.env` पढ़ता है।```text src/ cli/ commander CLI: run, list, new, check, show, costs, run-all, grid-manifest index.ts command wiring + run / costs / run-all / grid-manifest actions render.ts verdict renderer for triage (quorum show) render-batch.ts batch-matrix renderer (quorum show <batch>) resolve-target.ts run/batch target resolution; scenario.ts scenario loading runner/ per-run orchestration (one scenario × one Coding-Agent) index.ts setup → pre-checks → gauntlet drive → capture → post-checks → compose context.ts populate the Gauntlet-Agent context dir (HOWTO + launch-agent shim) phase.ts phase.json (setup/agent/checks) for the dashboard stopped.ts SIGINT → stopped (indeterminate) verdict; errors.ts staged run-error stages agents/ per-Coding-Agent provisioning (resolveAgent dispatch) index.ts agent registry + dispatch (incl. the inline Claude/Default adapters) command-runner.ts injectable subprocess seam (live CLIs faked in tests) <agent>.ts codex/gemini/kimi/opencode/pi/copilot/antigravity adapters normalize/ session-log → normalized tool-call trace, one module per dialect capture/ session-log snapshot/diff + tool-call capture + token usage; cwd-filter obol/ obol cost estimation (session-log + gauntlet sidecar) economics.ts token-cost composition → coding-agent-token-usage.json composer.ts three-valued verdict from the gauntlet + checks layers checks/ sources prelude.sh + checks.sh, runs pre()/post(), collects check records prelude.sh bare-verb DSL: defines each check verb as a bash function that delegates to the TS dispatchers (no bin/ shims, no PATH prepend) scheduler/ central concurrency dispatcher (one global slot pool, per-harness limits + spacing) run-all/ scenario × Coding-Agent matrix over the scheduler; batch index setup-helpers/ scenario fixture builders + the `setup-helpers` CLI (dispatch registry) contracts/ zod schemas at the JSON boundaries (verdict, batch, economics, gauntlet, agent-config) scaffold.ts `quorum new` / `quorum check` setup-step.ts runs scenario setup.sh (sources prelude.sh via BASH_ENV so bare verbs resolve) story-meta.ts story.md frontmatter (quorum_max_time, quorum_tier, status) env.ts the single process.env boundary paths.ts repo root, UTC stamps, nonces invariant.ts assertNever exhaustiveness guard for closed unions check/ typed check verbs: fs-verbs.ts (file/git/env + bootstrap), dispatch.ts (table + `not`), transcript-dispatch.ts, record.ts (sole emitter) cli/check-tool.ts the dispatcher behind every check verb function (file-exists, file-contains, command-succeeds, git-*, assert-checkout-clean, requires-tool, not, files-exist, the *-installed/hook/extension checks); check-transcript.ts and setup-helpers/cli.ts are the other two dispatchers the prelude delegates to cli/list-check-verbs.ts prints the FS_VERBS verb set the prelude loops over (drift-proof) coding-agents/ per-Coding-Agent material: <name>.yaml CLI config <name>-context/ HOWTO prose and launchers for the Gauntlet-Agent scenarios/ scenarios (one directory each) fixtures/ shared static fixture repos (e.g. template-repo/, sdd-*/) test/ bun test suite docs/ design notes, specs, plans, testing protocols, baselines packages/dashboard/ read-only web matrix UI: scan/view, typed HTML templates, SSE bus, Bun.serve

फिर [docs/superpowers/skills/triaging-a-failing-eval.md](https://github.com/prime-radiant-inc/superpowers-evals/blob/main/docs/superpowers/skills/triaging-a-failing-eval.md) का उपयोग करें एट्रिब्यूशन एटलस के लिए। एजेंट-विशिष्ट प्रमाणीकरण, प्रावधान और कैप्चर जाँचों के लिए, [docs/coding-agent-care-and-feeding.md](https://github.com/prime-radiant-inc/superpowers-evals/blob/main/docs/coding-agent-care-and-feeding.md) का उपयोग करें। वर्तमान ज्ञात-अच्छा बेसलाइन देखने के लिए, [docs/baselines/](https://github.com/prime-radiant-inc/superpowers-evals/blob/main/docs/baselines) देखें। ## योगदान नियम यह रिपॉजिटरी `superpowers` के गुणवत्ता मानक को प्राप्त करती है। - प्रति PR एक समस्या। - उत्पन्न रन आर्टिफैक्ट्स या सीक्रेट्स को कमिट न करें। - सार्वजनिक CI में लाइव इवैल्स न जोड़ें। - PR टेम्पलेट का उपयोग करें और उन परिवर्तनों के लिए सुरक्षा/इवैल-लैब जोखिम समझाएं जो Coding-Agent कॉन्फिग्स, शेल निष्पादन, सेटअप हेल्पर्स, चेक टूल्स, या Gauntlet-Agent इनपुट को छूते हैं। - व्यवहार-आकार देने वाली इवैल पद्धति में परिवर्तनों के लिए सिर्फ गद्य नहीं, बल्कि सबूत चाहिए। ## पैरेंट सबमॉड्यूल बंप `superpowers-evals` को `superpowers` द्वारा `evals` सबमॉड्यूल के रूप में उपभोग किया जाता है। यहाँ `main` में कोई PR मर्ज होने के बाद, पैरेंट `superpowers` रिपॉजिटरी में `dev` को लक्षित करते हुए एक अनुवर्ती PR खोलें जो `evals` सबमॉड्यूल पॉइंटर को मर्ज किए गए `superpowers-evals` कमिट पर बंप करता है। `superpowers-evals` मर्ज को पूरी तरह प्रचारित न मानें जब तक वह पैरेंट सबमॉड्यूल बंप PR मौजूद न हो। --- सुरक्षा रिपोर्टिंग → [SECURITY.md](https://github.com/prime-radiant-inc/superpowers-evals/blob/main/SECURITY.md).

अभिनेता	यह क्या है	यह कहाँ रहता है / इसकी फ़ाइलें
Gauntlet	सामान्य-उद्देश्य QA फ्रेमवर्क; `gauntlet` CLI. एक ब्लैक-बॉक्स परीक्षक।	repo `github.com/prime-radiant-inc/gauntlet`; `PATH` पर `gauntlet` के रूप में (`bun link` या `GAUNTLET_ROOT` के माध्यम से)
Gauntlet-Agent	Gauntlet के अंदर का LLM जो Coding-Agent को चलाता है और कहानी के ACs के विरुद्ध स्व-ग्रेड करता है।	मॉडल जैसे `claude-sonnet-4-6`; घटना स्ट्रीम → `<run>/gauntlet-agent/results/<runId>/run.jsonl`; फैसला → `result.{json,md}`
Coding-Agent	परीक्षण के तहत एजेंट — SUT। उदाहरण: Claude, Codex, Antigravity, Gemini, Kimi, OpenCode, Pi, Copilot।	इसके अस्थायी `$HOME` के तहत कॉन्फ़िग + सत्र लॉग `<run>/home/…` पर; यह जो फ़ाइलें लिखता है → `<run>/coding-agent-workdir/`
Quorum	TypeScript/Bun रैपर। सेटअप, Coding-Agent अनुकूलन, नियतात्मक जाँच, और अंतिम फैसले का मालिक है।	repo `superpowers-evals/src/`; `<run>/verdict.json`

superpowers-evals

सबसे लोकप्रिय

विवरण

Live Eval Risk

Quick Start

कंटेनर रनटाइम

प्रामाणिक अभिनेता

ऑपरेटर गाइड्स

क्रेडेंशियल अक्ष

run against a named credential

run-all against multiple credentials (incompatible cells are skipped)

मुख्य कमांड```bash

सुरक्षित जाँचें

त्रैज