KI-Sicherheits-Newsletter – Eine monatliche Zusammenfassung von Forschungsergebnissen, Erkenntnissen, Berichten, bevorstehenden Veranstaltungen sowie Tools und Ressourcen im Bereich KI-Sicherheit.
Eine Zusammenfassung der neuesten KI-Sicherheitsforschung, Einblicke, Berichte, anstehende Veranstaltungen sowie Tools und Ressourcen. Folgen Sie der AISecHub-Community und unserer LinkedIn-Gruppe für weitere Updates. Schauen Sie sich auch unser Projekt Awesome AI Security an.
Gesponsert von InnovGuard.com – Technology Risk & Cybersecurity Advisory – Innovieren und investieren Sie mit Zuversicht, führen Sie mit Sicherheit.
📌 Aktualisierung unserer Taxonomie: Fehlermodi in agentischen KI-Systemen Microsoft erweitert seine Taxonomie der agentischen KI-Fehlermodi aus der Red-Team-Arbeit und gibt Sicherheitsteams eine klarere Möglichkeit, über Werkzeugmissbrauch, übermäßige Handlungsfähigkeit (Agency), Speicherkontamination, Identitätsgrenzen und Lücken in der menschlichen Übersteuerung bei eingesetzten Agentensystemen nachzudenken.
📌 Miasma-Wurm trifft erneut Microsoft: Azure Functions Action und 72 weitere Repositories nach Supply-Chain-Angriff auf KI-Codierungsagenten deaktiviert StepSecurity dokumentiert eine Supply-Chain-Kampagne, die auf KI-Codierungsagenten-Workflows und GitHub-Repositories abzielt, mit dem defensiven Fokus auf Vertrauen in Abhängigkeiten, Aktionsherkunft, Repository-Schreibpfade und für Agenten sichtbare Anmeldeinformationen in CI/CD-Umgebungen.
📌 Der traurige Zustand der Skill-Verteilung Forscher von Trail of Bits umgingen die Prüfungen von ClawHub, Cisco skill-scanner und skills.sh mit Skill-Paketen, die Kürzung, Archiv-Indirektion, Bytecode-Vergiftung und Prompt-Injection-Framing verwendeten, und zeigten so, warum öffentliche Marktplätze für Agenten-Skills Kuratierung und Herkunftskontrollen benötigen, anstatt sich allein auf Scanner-Vertrauen zu verlassen.
📌 Codex CLI RCE: Prompt-Injection-Abschwächungen Cymulate erläutert das Prompt-Injection-Risiko in kommandozeilenbasierten Codierungsagenten, bei dem unvertrauter Text Dateischreibvorgänge oder Werkzeugausführungen steuern kann, sofern nicht Sandboxing, Genehmigungsgrenzen und Befehlseinschränkungen außerhalb des Modells durchgesetzt werden.
📌 Agentjacking: MCP-Injection entführt KI-Codierungsagenten Die Cloud Security Alliance fasst das Sentry-zu-MCP-„Agentjacking“-Muster zusammen, bei dem extern gesteuerte Telemetrie- oder Issue-Inhalte zu vertrautem Kontext für Codierungsagenten werden. Der nützliche defensive Ansatz besteht darin, Observability-, Bug-Report- und Integrationsdaten als unvertraute Agenteneingabe zu behandeln, nicht als neutrale Entwicklungsmetadaten.
📌 SearchLeak: Wie wir M365 Copilot in eine Ein-Klick-Datenexfiltrationswaffe verwandelten Varonis beschreibt eine Angriffskette für Microsoft 365 Copilot Enterprise, die Parameter-zu-Prompt-Injection, HTML-Rendering-Verhalten und Suchpfad-Missbrauch kombiniert, um sensible M365-Daten durch einen einzigen Klick zu exfiltrieren.
📌 AutoJack: Wie eine einzelne Seite den Host zur Ausführung eines KI-Agenten per RCE bringen kann Microsoft zeigt, wie eine bösartige Webseite, die von einem KI-Browsing-Agenten betrachtet wird, einen lokalen AutoGen-Studio-Dienst erreichen und durch unsicheres localhost-Vertrauen und Agentenaktionsverarbeitung eine Host-Prozessausführung auslösen kann.
📌 Mastra-npm-Supply-Chain-Angriff: 140+ Pakete durch easy-day-js-Typosquatting hintertürzt StepSecurity berichtet über eine Kompromittierung des npm-Ökosystems von Mastra durch eine typosquatted-Abhängigkeit mit einem obfuskierten postinstall-Dropper, die Agent-, RAG-, MCP- und Workflow-Pakete in KI-Anwendungsstapeln betrifft.
📌 Breaking LiteLLM: Von einem Benutzer mit niedrigen Privilegien zum Administrator und RCE Obsidian dokumentiert einen verketteten LiteLLM-Privilegieneskalations- und RCE-Pfad und zeigt, wie ein Zugang mit niedrigen Privilegien zu einem KI-Gateway zu administrativer Kontrolle über Provider-Geheimnisse, Proxy-Richtlinien und Laufzeit-Agentenfunktionen werden kann.
📌 Amazon Q-Schwachstelle: Kompromittierung durch MCP-Auto-Ausführung Wiz analysiert ein Problem mit der Amazon Q VS Code-Erweiterung, bei dem eine im Arbeitsbereich vertraute MCP-Konfiguration in einem geklonten Repository automatisch angreiferkontrolliertes Verhalten laden und Entwicklerausführungspfade sowie Cloud-Anmeldeinformationen offenlegen konnte.
📌 macOS.Gaslight: Rust-Backdoor richtet Prompt-Injection gegen den Analysten, nicht gegen die Sandbox SentinelOne dokumentiert eine Rust-Backdoor, die Prompt-Injection-Inhalte für Analysten und KI-gestützte Werkzeuge platziert und den Angriff von der Sandbox-Escape hin zur Manipulation des Menschen und des Modells verschiebt, die die Malware überprüfen.
📌 Computer-Use und TOCTOU: Was Sie klicken, ist nicht das, was Sie bekommen! Johann Rehberger demonstriert eine Wettlaufbedingung bei Computer-Use-Agenten, bei der sich der Bildschirm ändert, nachdem das Modell ihn beobachtet hat, aber bevor der Klick landet, und so eine harmlos aussehende Interaktion in eine Outlook-Sendeaktion verwandelt. Dies macht die Pixel- oder Zustands-Neuvalidierung vor der Aktion zu einer zentralen Kontrolle.
📌 Der Vibe-Coding-Spektrum-Ansatz für KI-gestützte Softwareentwicklung Das britische NCSC stellt KI-gestütztes Codieren als Risikospektrum dar und trennt risikoarme Prototypen von generiertem Code, der Authentifizierung, Autorisierung, sensible Daten, sicherheitskritisches Verhalten oder kritische Infrastruktur berührt.
📌 Prompt Injection und Agent Runtime Security: Ein praktisches Bedrohungsmodell TMLS betrachtet Prompt Injection als ein Laufzeitsicherheitsproblem und ordnet Angriffe über Werkzeugvermittlung, Speicher, ausgehende Kanäle und Lücken in der menschlichen Genehmigung zu. Die praktische Kernerkenntnis ist, Kontrollen in Fähigkeitsvermittler, Sandbox-Ausführung, Whitelists und Audit-Pfade zu verlagern, anstatt den Prompt-Text als Sicherheitsgrenze zu behandeln.
