shenli/distributed-system-testingKI-Agenten-Fähigkeiten für Tests verteilter Systeme
Zwei Fähigkeiten, die einem KI-Coding-Agenten helfen, aussagekräftige Tests zu entwerfen, sie auszuführen und die Ergebnisse zu erklären für Systeme, die Daten speichern oder über mehrere Prozesse oder Maschinen hinweg laufen.
Beginne mit einem Produktversprechen – etwa „sobald das Speichern erfolgreich war, sind die Daten auch nach einem Neustart noch vorhanden“ – und verwandle es in Tests, die dein Agent ausführen und prüfen kann. Verwende diese Fähigkeiten für Datenbanken, Warteschlangen, Workflow-Engines und Dienste, bei denen Wiederholungsversuche, gleichzeitige Anfragen oder Fehler Daten verlieren oder duplizieren könnten. Auch ein Dienst, der auf einer einzigen Maschine läuft, kann davon profitieren.
Du musst kein Testing-Experte sein. Beschreibe die Funktion und was weiterhin gelten soll; die Design-Fähigkeit hilft dabei, die Tests auszuwählen und zu erklären, warum sie wichtig sind.
Die Fähigkeiten bestehen aus Markdown-Anweisungen, Vorlagen und Referenzmaterial. Dein Coding-Agent befolgt sie mit den Testwerkzeugen und der Laufzeitumgebung deines Projekts. Dieses Repository enthält keinen Datenbank-Test-Runner und keinen fertigen Cluster.
| Fähigkeit | Übergib ihr | Sie erzeugt |
|---|---|---|
| Tests entwerfen | Eine Codebasis und die Änderung oder Funktion, die du testen möchtest | Einen Plan, der erklärt, was getestet werden soll, wie es geprüft wird und wie viel getestet werden sollte |
| Tests ausführen | Einen Plan und eine Testumgebung | Ergebnisse, unterstützende Logs und Daten, Schritte zur Reproduktion von Fehlern und einen Bericht |
Du kannst die Design-Fähigkeit eigenständig verwenden. Die Ausführung ist ein separater Schritt, der den gespeicherten Plan liest, sodass du die Arbeit und ihre Kosten überprüfen kannst, bevor du sie ausführst.
Beginne mit dem Schnellstart, der Codex-Einrichtung oder dem Leitfaden zur Testumgebung.
Füge dies in deinen Coding-Agenten ein:
Read https://raw.githubusercontent.com/shenli/distributed-system-testing/main/INSTALL.md
and follow the instructions to install or update
distributed-testing-skills for this agent.
Der Installationsleitfaden verwendet einen gemeinsamen Checkout unter
~/.local/share/distributed-testing-skills/ und konfiguriert Zeiger oder
Symlinks für Ihren Agenten. Verwenden Sie denselben Prompt erneut, um zu aktualisieren. Die expliziten Pfade
in den untenstehenden Prompts ermöglichen es Ihnen auch, eine Skill ohne automatische Erkennung zu laden.
Ersetzen Sie Ihren Installationspfad, wenn Sie einen anderen Speicherort gewählt haben.
Für Claude Code enthält das Repository außerdem eine Plugin-Installationsoption:
/plugin marketplace add shenli/distributed-system-testing
/plugin install distributed-testing-skills@distributed-testing-skills
Starten Sie Ihren Agenten in dem Repository, das Sie testen möchten. Für eine bestimmte Änderung:
Use ~/.local/share/distributed-testing-skills/skills/designing-distributed-system-tests/SKILL.md
Design a test plan for the current branch's changes to adding log entries,
retrying failed requests, and recovering after a crash.
Reuse the existing tests and setup instructions.
Save the plan to docs/testing-plans/append-recovery.md.
Ersetze das Beispielfeature durch deines. Für eine umfassendere Überprüfung frage nach einem projektweiten Plan und benenne die einzubeziehenden Teile. Dieser Modus überprüft bestehende Tests und identifiziert fehlende Abdeckung im gesamten System statt bei einer einzelnen Änderung.
Überprüfe die geprüften Zusicherungen, vorgeschlagenen Tests, erforderlichen Tools und Laufzeiten. Ein Tippfehler in der Dokumentation oder eine ähnlich geringfügige Änderung sollte eine leichtgewichtige Testempfehlung erhalten statt eines verteilten Testplans.
Use ~/.local/share/distributed-testing-skills/skills/executing-distributed-system-tests/SKILL.md
Run the small initial checks (the smoke tier) from
docs/testing-plans/append-recovery.md against this project's local test
environment. Keep temporary test scripts and results under
./test-sessions/. Use default mode; do not modify project source files.
Report what ran, what failed, and what remains untested.
Die Ausführungs-Skill ermittelt vorhandene Tools, fragt nach, was in Ihrer Umgebung verfügbar ist, und überprüft anschließend die Anforderungen. Fehlende Abhängigkeiten oder unwirksame simulierte Fehler müssen gemeldet und dürfen nicht stillschweigend als erfolgreiche Tests gezählt werden. Beginnen Sie klein und fordern Sie dann die längeren, gründlicheren Läufe an, die im Plan definiert sind.
Siehe USAGE.md für detaillierte Prompts, benutzerdefinierte Ausgabepfade und den Autorenmodus.
Führen Sie den obigen Installations-Prompt in Codex aus. Die Anleitung verlinkt beide Skill-Ordner
aus dem gemeinsamen Checkout in ~/.agents/skills/, wo Codex sie entdeckt.
Für eine reine Projektinstallation verwenden Sie stattdessen das .agents/skills/ dieses Projekts.
Diese Speicherorte und die Symlink-Unterstützung sind in der
offiziellen Codex-Skills-Dokumentation beschrieben.
Öffnen Sie das Projekt, das Sie testen möchten. Verwenden Sie in der Codex CLI oder der IDE-Erweiterung
/skills, um zu prüfen, ob beide Skills erscheinen, oder geben Sie $ ein, um eines auszuwählen. Wenn eine neu
installierte Skill nicht erscheint, starten Sie Codex neu. Sie können auch die expliziten
Dateipfad-Prompts im Schnellstart verwenden. Siehe die
offizielle Aufrufanleitung.
Bitten Sie Codex beispielsweise, einen Plan zu entwerfen:
$designing-distributed-system-tests
Design a test plan for this project's retry and recovery behavior.
I have Docker locally and can run disposable containers.
Start with normal operation, then simultaneous requests and restarts.
Save the plan to docs/testing-plans/retry-recovery.md.
Nach der Überprüfung führen Sie die ersten Tests aus:
$executing-distributed-system-tests
Run the smoke tier of docs/testing-plans/retry-recovery.md.
Use default mode and save results under ./test-sessions/.
Docker is available; use the project's documented container setup.
Report any missing tools or permissions and which tests they prevent.
Das Installieren einer Skill liefert Anweisungen, nicht Docker, Fernzugriff oder einen Testcluster. Codex muss in der Lage sein, die Umgebung zu erreichen, in der Befehle ausgeführt werden. Für Remote-Tests geben Sie ihm die Testhosts, Ihre bestehende Verbindungsmethode und die Einrichtungsbefehle des Projekts. Wenn kein Zugriff verfügbar ist, kann es den Plan dennoch entwerfen, aber nicht berichten, dass Remote-Tests ausgeführt wurden.
Verwenden Sie das kleinste Setup, das Ihre Frage beantworten kann. Dies sind Ausgangspunkte, die an Ihre Anwendung angepasst werden müssen, keine Hardwareanforderungen oder mitgelieferten Deployment-Rezepte.