KI-Red-Teaming-Playground-Labs

Dieses Repository enthält die Herausforderungen (Challenges) für die Labs, die im Kurs „KI-Red-Teaming in der Praxis" verwendet werden. Der Kurs wurde ursprünglich auf der Black Hat USA 2024 von Dr. Amanda Minnich und Gary Lopez unterrichtet. Martin Pouliot kümmerte sich um die Infrastruktur und das Scoring der Challenges. Die Challenges wurden von Dr. Amanda Minnich, Gary Lopez und Martin Pouliot entworfen. Diese Challenges stehen jedem zur Verfügung. Die Playground-Umgebung basiert auf Chat Copilot und wurde für den Kurs modifiziert.

Diese Challenges werden außerdem in der Microsoft Learn Limited Series: AI Red Teaming 101 referenziert, die am 9. Juli 2025 veröffentlicht wurde. In der folgenden Tabelle der Challenges finden Sie den jeweiligen Video-Link zu jeder Challenge aus der Serie. Während der Microsoft Build im Mai 2025 wurden mehrere dieser Challenges durch das Python Risk Identification Tool (PyRIT) automatisiert, ein Open-Source-Framework, das Sicherheitsexperten und Ingenieuren helfen soll, Risiken in generativen KI-Systemen proaktiv zu identifizieren. Dieses Repository enthält die entsprechenden Jupyter-Notebooks, die zeigen, wie PyRIT zum Lösen der Challenges für Labs 1 und 5 verwendet wird. Sie sehen außerdem ein Notebook für „Lab 13", das keine zugehörige Challenge besitzt, da es sich ausschließlich um ein Notebook handelt.

Was Sie lernen werden

Diese Challenges sollen Sicherheitsexperten beibringen, KI-Systeme systematisch einem Red Teaming zu unterziehen. Sie gehen über traditionelle Sicherheitsfehler hinaus, indem sie neuartige Fehlerbilder aus dem adversarialen maschinellen Lernen und der Responsible AI (RAI) einbeziehen, was einen ganzheitlichen Ansatz zur Identifizierung potenzieller Probleme ermöglicht, bevor ein KI-System bereitgestellt wird.

Challenges

Erste Schritte

Voraussetzungen

• Docker installiert
• Python 3.8+ installiert
• Option 1: Azure OpenAI Endpoint mit einem API-Schlüssel
• Option 2: OpenAI API Key zur Verwendung der Standard-OpenAI-API
• Für Azure OpenAI: Eine Azure-Foundry-Bereitstellung mit dem Namen text-embedding-ada-002, die das Modell text-embedding-ada-002 sowie das von Ihnen gewünschte Modell verwendet. Z. B. gpt-4o

Konfiguration

Option 1: Verwenden von Azure OpenAI (docker-compose.yaml)

Sie können die Umgebungsvariablen für den Azure-OpenAI-Endpunkt in der Datei .env festlegen. Bitte verwenden Sie die Datei .env.example als Vorlage.

Option 2: Verwenden der Standard-OpenAI-API (docker-compose-openai.yaml)

Wenn Sie die Standard-OpenAI-API verwenden möchten, müssen Sie die folgenden Umgebungsvariablen konfigurieren:

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

Ausführen der Playground-Labs

Option 1: Mit Azure OpenAI

Der einfachste Weg, die Playground-Labs auszuführen, ist die Verwendung der in diesem Repository enthaltenen Docker Compose-Datei. Dadurch werden alle Komponenten gestartet, die zum Ausführen der Playground-Umgebung mit 12 Challenges benötigt werden.

docker-compose up

Option 2: Mit der Standard-OpenAI-API

Um die Standard-OpenAI-API anstelle von Azure OpenAI zu verwenden, nutzen Sie die Datei docker-compose-openai.yaml:

docker compose -f docker-compose-openai.yaml up

Zugriff auf die Challenges

Sobald die Challenges ausgeführt werden, können Sie über die folgende URL darauf zugreifen: http://localhost:5000/login?auth=[YOUR-AUTH-KEY].

Unter macOS müssen Sie auf http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] zugreifen, da localhost auf IPv6 abgebildet wird und die Container auf IPv4 lauschen.

Ändern der Challenges

Wenn Sie die Challenges ändern möchten, können Sie dies durch Ändern der Datei challenges/challenges.json tun. Diese Datei enthält die Beschreibung der Challenges und ihrer Ziele. Anschließend können Sie das Skript generate.py verwenden, um die neue Docker-Compose-Datei mit den neuen Challenges und deren Konfiguration zu generieren.

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

Komponenten

Die Playground-Umgebung verwendet die folgenden Komponenten:

Obligatorische Komponenten

• challenge-home: Die Startseite für die Playground-Umgebung. Sie listet alle Challenges auf und bietet einen Link zur Challenge-Umgebung. Im BlackHat-Kurs wurde diese Startseite nicht verwendet. Die Challenges wurden in der CTFd-Plattform aufgelistet. In diesem Repository wird diese Startseite stattdessen verwendet, um die Abhängigkeiten zu begrenzen und eine bessere Erfahrung zu bieten. Die Startseite verfolgt weder den Fortschritt der Spieler noch stellt sie eine Bestenliste bereit.
• chat-copilot: Dies ist die Hauptkomponente der Playground-Umgebung. Es handelt sich um eine Webanwendung, die eine Chat-Oberfläche zur Interaktion mit den KI-Modellen bereitstellt. Sie basiert stark auf dem Projekt Chat Copilot. Diese Komponente kann für verschiedene Challenges konfiguriert werden. Für jede Challenge wird eine Instanz von chat-copilot bereitgestellt.

Optionale Komponenten

• ctfd: CTFd ist eine Capture-The-Flag-Plattform (CTF), die zum Hosten der Challenges verwendet wird. Sie dient dazu, den Fortschritt der Spieler zu verfolgen und eine Bestenliste bereitzustellen, und ist die empfohlene Methode, um eine größere Veranstaltung auszurichten. Der in diesem Repository enthaltene Code kümmert sich darum, die Challenges automatisch in der Plattform zu erstellen und die Flags in Ihrem Namen zu übermitteln.
• chat-score: Dies ist die Chat-Bewertungsanwendung, mit der die Challenges im Kurs bewertet werden. Sie ermöglichte Prüfern, die eingereichten Konversationen zu sehen, zu bewerten und Feedback zu geben. Wenn Sie die Challenges nur ausprobieren, können Sie diese Komponente ignorieren und selbst entscheiden, ob die Challenge abgeschlossen wurde oder nicht. Diese Anwendung muss mit CTFd verwendet werden, da dort die Flags übermittelt werden. In diesem Repository wird diese Anwendung nicht verwendet. Der Code ist im Repository als Referenz enthalten.
• picture-submission: Dies ist eine Anwendung zum Übermitteln von Bildern. Diese Komponente wurde für die Labs verwendet, bei denen ein von einem KI-Modell generiertes Bild eingereicht werden musste. Diese Komponente sendete Bilder an die chat-score-Komponente, um sie bewerten zu lassen. Diese Komponente wird in diesem Repository nicht verwendet. Der Code ist im Repository als Referenz enthalten.
• loadbalancer: Dies ist ein Load Balancer, der verwendet wurde, um die Anfragen per Round-Robin auf mehrere Azure-OpenAI-Endpunkte zu verteilen. Diese Komponente wurde entwickelt, um die von dieser API bereitgestellten Header zur Anzahl der verbleibenden Anfragen zu nutzen. Auf diese Weise konnten wir die Kapazität des Systems erhöhen und nicht durch einen einzelnen Endpunkt in der Rate begrenzt werden. Diese Komponente wird in diesem Repository nicht verwendet. Der Code ist im Repository als Referenz enthalten.

Bereitstellung

Ursprünglich wurden diese Challenges in Kubernetes in Azure bereitgestellt. Die Kubernetes-Bereitstellungsdateien sind als Referenz im Repository enthalten. Sie befinden sich im Ordner k8s. Die Bereitstellung erfolgte mithilfe des Skripts deploy.py. Dieses Skript verwendete die Kubernetes-Vorlage und nahm die erforderlichen Änderungen für die Challenges vor, die wir basierend auf einer einzigen JSON-Datei mit der Challenge-Beschreibung bereitstellen mussten.

Verwandte Inhalte

• PyRIT-Website
• Tritt dem PyRIT-Discord bei
• Microsoft AI Red Team Übersicht