microsoft/ai-red-teaming-playground-labsKI-Red-Teaming-Übungsplattform mit Labs zur Durchführung von KI-Red-Teaming-Schulungen, einschließlich Infrastruktur.
Dieses Repository enthält die Herausforderungen (Challenges) für die Labs, die im Kurs „KI-Red-Teaming in der Praxis" verwendet werden. Der Kurs wurde ursprünglich auf der Black Hat USA 2024 von Dr. Amanda Minnich und Gary Lopez unterrichtet. Martin Pouliot kümmerte sich um die Infrastruktur und das Scoring der Challenges. Die Challenges wurden von Dr. Amanda Minnich, Gary Lopez und Martin Pouliot entworfen. Diese Challenges stehen jedem zur Verfügung. Die Playground-Umgebung basiert auf Chat Copilot und wurde für den Kurs modifiziert.
Diese Challenges werden außerdem in der Microsoft Learn Limited Series: AI Red Teaming 101 referenziert, die am 9. Juli 2025 veröffentlicht wurde. In der folgenden Tabelle der Challenges finden Sie den jeweiligen Video-Link zu jeder Challenge aus der Serie. Während der Microsoft Build im Mai 2025 wurden mehrere dieser Challenges durch das Python Risk Identification Tool (PyRIT) automatisiert, ein Open-Source-Framework, das Sicherheitsexperten und Ingenieuren helfen soll, Risiken in generativen KI-Systemen proaktiv zu identifizieren. Dieses Repository enthält die entsprechenden Jupyter-Notebooks, die zeigen, wie PyRIT zum Lösen der Challenges für Labs 1 und 5 verwendet wird. Sie sehen außerdem ein Notebook für „Lab 13", das keine zugehörige Challenge besitzt, da es sich ausschließlich um ein Notebook handelt.
Diese Challenges sollen Sicherheitsexperten beibringen, KI-Systeme systematisch einem Red Teaming zu unterziehen. Sie gehen über traditionelle Sicherheitsfehler hinaus, indem sie neuartige Fehlerbilder aus dem adversarialen maschinellen Lernen und der Responsible AI (RAI) einbeziehen, was einen ganzheitlichen Ansatz zur Identifizierung potenzieller Probleme ermöglicht, bevor ein KI-System bereitgestellt wird.
