jawh3/striatum-ctfForschungsartefakte für einen MCP-basierten LLM-Agenten, der CTF-Herausforderungen autonom löst, einschließlich Ablationsdaten, Analyseskripten und eines MCP-Stacks mit sechs Servern.
Artefakte für „STRIATUM-CTF: A Protocol-Driven Agentic Framework for Autonomous CTF Solving" (IEEE CARS 2026), Hugglestone, Chacko, Stoller, Schmidt und Liu, Florida State University.
Best Paper Award (1. Platz), IEEE CARS 2026. Preprint: arXiv:2603.22577.
Dieses Repository unterstützt die Replikation des Protokolls und der Analyse. Es ist kein schlüsselfertiges Exploit-Kit: Gemäß der Ethikerklärung des Papers werden keine Exploit-Payloads oder Angriffs-Template-Korpora veröffentlicht. Was das konkret bedeutet, ist unten unter Umfang und Ausschlüsse ausgeführt.
| Verzeichnis | Inhalt |
|---|---|
data/ | Die Ergebnistabelle der 180 Läufe (ablation_results.csv + Quell-.xlsx), die Matrix pro Challenge (Tabelle III), der Lösungsfortschritt im Live-CTF (Abb. 2), gerenderte Abbildungen und ein codebook.md. |
analysis/ | Skripte, die jede Statistik im Paper aus data/ reproduzieren. |
code/ | Der MCP-Stack aus sechs Servern: zwei hauseigene Server, ein Installer, der die drei Drittanbieter-Server auf ihre Studien-Commits pinnt, und die Host-Konfiguration. |
challenges/ | Herkunftsmanifest mit Verifikations-Hashes, ein Abrufskript für die weiterverteilbaren Challenges, Spec-Karten pro Challenge und die beiden Challenge-Quellen, die wir weitergeben dürfen. |
documentation_conditions/ | Die vier Ablationsbedingungen: das Minimal-Korpus vollständig, Datei-/Zeilen-/Token-Manifeste pro Bedingung (die Tabelle II reproduzieren) und ein Index mit einer Vorlage, die nur Überschriften enthält. |
cd analysis
pip install -r requirements.txt
python3 day1_analysis.py # Tables II & III, Wilson CIs, chi-square, subset analysis, durations
python3 day1_drill.py # provenance drill-down (public vs non-public)
python3 duration_and_gee.py # Kruskal-Wallis (p=0.77) and the GEE model (Wald chi2(3)=3.77, p=0.29)
python3 count_tokens.py # Table II line counts (exact) and token counts
Alle Tabellen II und III, die 95%-Wilson-Intervalle, die Omnibus-Tests, die
Analyse der nicht-saturierten Teilmenge, das GEE-Modell und die Dauerangaben
reproduzieren sich exakt aus data/. Die Zeilenzahlen von Tabelle II
reproduzieren sich exakt; die Tokenzahlen sind tokenizer-abhängig, und der
exakte Tokenizer der Arbeit wurde nicht aufgezeichnet (siehe
analysis/count_tokens.py und die Manifeste pro Bedingung).
Zwei unabhängige Gründe begrenzen, was ausgeliefert wird. Keiner davon ist ein Versehen.
Ethik (Paper §„Ethical Considerations"): keine Exploit-Payloads oder Angriffs-Template-Korpora. Daher zurückgehalten:
workspaces/-Baum (funktionierende
Exploits, Solver-Skripte und Lösungs-Write-ups) — die Ergebnisse pro Lauf
werden stattdessen als data/ablation_results.csv veröffentlicht;AUTONOMOUS_SOLVER_README.md,
TEMPLATE_COVERAGE.md), bei denen es sich um die Angriffs-Templates handelt,
die die Ethikerklärung nennt. Diese werden charakterisiert — Dateilisten,
Zeilen- und Tokenzahlen sowie ein Index nur mit Überschriften in
documentation_conditions/ —, sodass die unabhängige Variable der Ablation
dokumentiert ist, die Payloads jedoch nicht veröffentlicht werden;challenges/manifest.csv verifizieren).Konsequenz, klar ausgesprochen: Da die Korpora Templates/Baseline die Manipulation in der Studie mit 180 Läufen darstellen, ist diese Ablation aus diesem Repository nicht vollständig reproduzierbar — nur das Protokoll ist es. Das vollständige Solver-Protokoll ist für Forschende zur defensiven Nutzung auf Anfrage beim korrespondierenden Autor erhältlich.
Lizenzierung: Challenge-Binaries werden nicht gespiegelt, wo uns das Recht
zur Weiterverbreitung fehlt — picoCTF-Challenges (CMU, alle Rechte vorbehalten)
und die angr_ctf-Tutorials (GPL-3.0) werden von challenges/fetch_challenges.sh
aus dem Upstream abgerufen; Systembibliotheken (libc, ld-linux) werden nie
mitgeliefert. Siehe THIRD_PARTY_LICENSES.md.
Siehe CITATION.cff. Paper: IEEE Cyber Awareness and Research Symposium (CARS) 2026.
Eigener Code und eigene Dokumentation der Autoren: MIT (LICENSE). Komponenten
von Drittanbietern behalten ihre eigenen Lizenzen; siehe NOTICE und
THIRD_PARTY_LICENSES.md.