Agentic Evidence
Sicherheitsnachweise und Observability für agentische KI
Agentic Evidence ist ein OWASP-Open-Source-Referenzprojekt, das untersucht, wie Sicherheitsnachweise für die Ausführung agentischer KI gesammelt, korreliert und bewertet werden können.
Agent-Observability kann zeigen, dass ein Ereignis protokolliert wurde. Eine Sicherheitsuntersuchung muss feststellen, was geschehen ist, welche Identitäten und Berechtigungen beteiligt waren, welche Eingaben die Aktion beeinflusst haben, welche Richtlinienentscheidungen getroffen wurden und welche Schlussfolgerungen die verfügbaren Nachweise tatsächlich stützen.
Agentic Evidence konzentriert sich auf Nachweissuffizienz, Rekonstruktion der Ausführung und Sicherheitsuntersuchung. Es ergänzt Taxonomien und Testprojekte zur Agentensicherheit, anstatt sie zu duplizieren.
Projektstatus: Das Projekt befindet sich in der Inkubation, und die erste Implementierung wird geplant. Die in diesem Dokument beschriebene Architektur und die Befehle stellen das beabsichtigte MVP dar und können sich ändern, sobald Implementierungsentscheidungen finalisiert sind.
Ziele
- Agentenausführungen aus korrelierten Ausführungs- und Sicherheitsereignissen rekonstruieren.
- Aktionen mit Identitäten, Eingaben, abgerufenem Inhalt, Tool-Aufrufen, Autorisierungsentscheidungen und Ergebnissen verknüpfen.
- Die Provenienz von Nachweisen und Nachweislücken für Ermittler sichtbar machen.
- Aufzeigen, welche Schlussfolgerungen aus gesammelten Nachweisen gezogen werden können und welche nicht.
- Deterministische, wiederholbare Szenarien bereitstellen, die Mitwirkende lokal ausführen können.
- Eine erweiterbare Nachweis-Taxonomie und praktische Leitlinien für Sicherheitspraktiker veröffentlichen.
Erste Szenarien
- Harmlose Ausführung: Eine Baseline für einen normalen Agenten-Workflow etablieren.
- Retrieval-Vergiftung: Aufzeigen, wie abgerufener Inhalt eine Agentenaktion beeinflussen kann und ob die Nachweise diese Beziehung erfassen.
- Modifikation von Tool-Deskriptoren: Bewerten, ob die Nachweise feststellen können, welcher Tool-Deskriptor beobachtet oder verwendet wurde und ob Modifikationen erkennbar sind.
Szenarien sollten deterministisch sein und synthetische Daten verwenden. Das Projekt darf nicht behaupten, dass ein Angriff erkennbar ist, es sei denn, die Implementierung und die Tests stützen diese Behauptung.
Beabsichtigtes MVP
Die erste Version ist als lokale Referenzanwendung geplant, mit:
- Einem deterministischen Szenario-Runner.
- Einem versionierten JSON-Nachweisschema.
- OpenTelemetry-Ausführungstelemetrie und -Korrelation.
- Einem Nachweis-Recorder und einem lokalen Nachweisspeicher.
- Einer Schnittstelle für Sicherheitsuntersuchungen mit Ausführungszeitleisten, Ereignisdetails und Nachweislücken.
- Exportierbaren Nachweis-Bundles.
- Automatisierten Tests, Docker-Compose-Konfiguration und Dokumentation für Mitwirkende.
Vorgeschlagener Technologie-Stack
| Komponente | Vorgeschlagene Technologie |
|---|
| Anwendung/API | Python mit FastAPI oder Go, wo angemessen |
| Nachweisformat | Versioniertes JSON mit JSON Schema |
| Telemetrie | OpenTelemetry SDK und OTLP |
| Lokaler Speicher | SQLite und/oder JSON-Fixtures |
| Untersuchungs-UI | Streamlit oder eine gleichwertige leichtgewichtige UI |
| Lokale Bereitstellung | Docker Compose |
| Tests | pytest und Schema-Validierung |
| Kontinuierliche Integration | GitHub Actions |
Dies sind vorgeschlagene Implementierungsentscheidungen, keine Garantie, dass jede Komponente verfügbar ist. Architekturentscheidungen sollten im Repository dokumentiert und nur bei klarer technischer Begründung geändert werden.
Was dieses Projekt nicht ist
Die erste Version ist nicht als Folgendes gedacht:
- Ein produktives SIEM oder eine universelle Observability-Plattform.
- Eine Agenten-Laufzeitumgebung, ein Modellanbieter oder eine autonome Reaktions-Engine.
- Eine Garantie, dass ein Agent sicher ist oder dass aufgezeichnete Nachweise wahrheitsgemäß sind.
- Ein Ersatz für die Durchsetzung von Autorisierung, Laufzeitsicherheitskontrollen oder Incident Response.
- Abhängig von einem Live-LLM, Kubernetes oder Cloud-Infrastruktur.
Telemetrie ist für sich genommen kein Beweis. Ereignisse können fehlen, falsch korreliert oder von einer kompromittierten Komponente erzeugt worden sein. Die Anwendung muss zwischen beobachteten Aufzeichnungen, Behauptungen von Komponenten, unabhängig verifizierten Nachweisen und Unbekanntem unterscheiden.
Konzeptioneller Workflow
- Ein deterministisches Szenario ausführen.
- Ausführungs- und Sicherheitsereignisse generieren.
- Ereignisse mit einem Agentenlauf und Trace-Kontext korrelieren.
- Ereignisstrukturen validieren und Provenienz erfassen.
- Ausführungszeitlinien, Autorisierungsentscheidungen, Ergebnisse und Evidenzlücken untersuchen.
- Das Evidenzbündel exportieren und mit den erwarteten Szenariobefunden vergleichen.
Repository-Dokumentation
- Contributing: Beitragsbereiche, Prüfungen und die Definition of Done.
- Handoff: Aktueller Stand, Meilensteine mit Abnahmekriterien und offene Fragen.
- Glossary: Vertrauensstufen, Lücken, Behauptungen und andere gemeinsame Begriffe.
- Security Policy: Wie eine Schwachstelle vertraulich gemeldet wird.
- Resources: Standards, Spezifikationen und verwandte Sicherheitsprojekte.
- FAQ: Projektumfang, Evidenzvertrauen, Telemetrie-Einschränkungen und Fragen zu Beiträgen.
Projektprinzipien
- Evidenz vor Behauptungen: Befunde müssen durch explizite Evidenz gestützt werden.
- Unsicherheit sichtbar machen: Fehlende Evidenz ist ein Ergebnis, kein Grund, eine Schlussfolgerung zu erfinden.
- Reproduzierbarkeit: Szenarien müssen deterministische Eingaben und testbare erwartete Ergebnisse haben.
- Minimale Daten: Standardmäßig synthetische Eingaben verwenden und das Sammeln von Geheimnissen oder unnötigen personenbezogenen Daten vermeiden.
- Interoperabilität: Wo angemessen, dokumentierte Schemata und etablierte Telemetrie-Konventionen bevorzugen.
- Security by Design: Evidenzaufnahme, -speicherung, -exporte und die Untersuchungsschnittstelle als sicherheitskritische Komponenten behandeln.
Mitwirken
Beiträge sind in den folgenden Bereichen willkommen:
- Design und Validierung von Evidenz-Schemata.
- Agenten-Sicherheitsszenarien und reproduzierbare Testfälle.
- Telemetrie-Erfassung und Ereigniskorrelation.
- Evidenz-Provenienz, -Integrität und -Analyse.
- Verbesserungen der Untersuchungsschnittstelle.
- Automatisierte Tests und Dokumentation.
Vor dem Beginn umfangreicher Arbeiten:
- Bestehende Issues und die Meilensteine prüfen.
- Ein Issue eröffnen oder kommentieren, das die vorgeschlagene Änderung beschreibt.
- Pull Requests fokussiert halten und, wo zutreffend, Tests oder reproduzierbare Evidenz beifügen.
- Niemals Geheimnisse, echte Kundendaten oder sensible Produktions-Traces einreichen.
Die aktuellen Anforderungen finden sich in den Beitragsrichtlinien.
Lizenz
Das Projekt soll die Apache License 2.0 verwenden, vorbehaltlich der im Repository veröffentlichten Lizenzdatei. Die maßgeblichen Bedingungen sind der LICENSE-Datei des Repositories zu entnehmen.