🍕 Willkommen im PwnzzAI(/pəʊnzɑː/) Shop – Der verwundbare Pizzaladen! 💻

Im PwnzzAI Shop serviert jedes Stück eine Portion ganzheitlicher KI-Sicherheitsschulung. Diese praxisorientierte Lernplattform bereitet Fachkräfte darauf vor, den Schutz von KI-Technologien im weiteren Sinne zu verstehen – vermittelt durch ein ansprechendes, praxisnahes Pizzaladen-Szenario.

Genau wie eine falsche Zutat eine Pizza verderben kann, kann ein fehlerhafter Prompt oder eine unzureichende Architektur KI-Technologien für schwerwiegende Bedrohungen anfällig machen, darunter Informationslecks, Diebstahl geistigen Eigentums oder unberechtigter Zugriff.

Hier erkunden Sie praktische Beispiele dafür, wie Schwachstellen entstehen, ausgenutzt und entschärft werden. Für einige Seiten müssen Sie sich als alice/alice oder bob/bob anmelden. Greifen Sie zu einem Stück, stürzen Sie sich hinein und entdecken Sie, wie köstlich das Lernen über KI-Sicherheit sein kann.

Inhaltsverzeichnis

• Über
  • Umfang und Lernziele
• Einrichtungsanleitung
  • Option 1: Docker (PwnzzAI + Ollama)
  • Falls das Standard-Image nicht geladen wird (lokal bauen)
  • Option 2: Docker (Ihr eigenes Ollama + PwnzzAI-Image)
  • Option 3: Quellcode selbst ausführen
  • Fehlerbehebung: Ollama-Verbindung (WSL + Docker)
  • Workshop-Hosts: OpenAI, Claude, Gemini oder andere Cloud-Modelle auswählen
• Funktionen
• KI-Sicherheitsabdeckung
  • Lernrahmen
  • Implementierte Schwachstellen
  • Modellunterstützung

Über

Der PwnzzAI Shop ist eine praxisorientierte Lernplattform, die gezielt für die Schulung zum Schutz von KI-Technologien entwickelt wurde. Diese bewusst unsichere, auf Flask basierende Webanwendung präsentiert eine umfangreiche Reihe von KI-Sicherheitsschwachstellen durch ein immersives Pizzaladen-Erlebnis.

Gründungspartner: OWASP AI Exchange

Umfang und Lernziele

PwnzzAI ist als umfassende, sich weiterentwickelnde Lernplattform konzipiert, die an der AI-Exchange-Risikotaxonomie ausgerichtet ist. Ihr Umfang erweitert sich schrittweise im Gleichschritt mit den Sicherheitsanalyse-Frameworks und Verteidigungsempfehlungen des OWASP AI Exchange, wodurch langfristige Relevanz gewährleistet wird, während KI-Sicherheitspraktiken reifer werden. Das Projekt integriert derzeit die OWASP Top 10 für LLMs, mit einer Architektur, die bewusst auf die Risikoklassifikationen des AI Exchange abgebildet ist. Im Laufe der Zeit soll PwnzzAI zu einem strukturierten Lern-Ökosystem heranreifen, das Folgendes unterstützt:

• Ausbildung in KI-Schutz und -Verteidigung, einschließlich selbstgesteuerter Lernpfade

• Praxisnahe Sicherheitstrainingsprogramme mit praktischen, szenariobasierten Übungen

• Teamorientierte Lerninitiativen für Sicherheitsingenieure und -praktiker

• Ende-zu-Ende-KI-Sicherheitsausbildung über Design, Entwicklung, Bereitstellung und Betrieb

Einrichtungsanleitung

Wählen Sie eine dieser 3 Möglichkeiten, um PwnzzAI auszuführen:

1. Docker mit beiden Images (PwnzzAI + Ollama)
2. Docker mit Ihrem eigenen lokalen/entfernten Ollama und nur dem PwnzzAI-Image
3. Den Quellcode selbst ausführen

Bevor Sie beginnen (alle Optionen)

1. Installieren Sie Docker Desktop von https://www.docker.com/products/docker-desktop.
2. Öffnen Sie Docker Desktop und warten Sie, bis angezeigt wird, dass Docker läuft.
3. Installieren Sie Git, falls Sie es noch nicht haben.
4. Klonen Sie dieses Repository und wechseln Sie hinein:

git clone https://github.com/OWASP/PwnzzAI.git
cd PwnzzAI

Optional: ein Cloud-Modell konfigurieren (OpenAI / Gemini / Claude)

Die Labore laufen standardmäßig mit einem kostenlosen lokalen Modell. Um auch die Cloud-Modell-Tabs (OpenAI / Gemini / Claude) zu nutzen, benötigen Sie zwei Dinge – einen API-Schlüssel und einen Modellnamen:

• API-Schlüssel – kann zur Laufzeit über die Lab-Setup-Seite in der App eingegeben oder in .env gesetzt werden (OPENAI_API_KEY=...). Der Schlüssel aus dem Lab-Setup hat Vorrang.
• Modellname – hat keine UI; er muss aus .env stammen. Es gibt keinen Standardwert im Code, daher schlagen Aufrufe mit LLM Provider NOT provided fehl, wenn er nicht gesetzt ist.

Erstellen Sie .env aus der Vorlage und entfernen Sie die Auskommentierung der Modellzeile:

cp .env.example .env
# then edit .env and set, for example:
#   OPENAI_MODEL=gpt-4o-mini
#   (or LITELLM_MODEL=gemini/gemini-2.5-flash, etc.)

Starten Sie die App nach dem Bearbeiten von .env neu. Eine vollständige Anleitung zu Providern und Modellen finden Sie unter Workshop-Hosts: OpenAI, Claude, Gemini oder andere Cloud-Modelle auswählen.

Option 1: Docker (PwnzzAI + Ollama)

Verwenden Sie diese Option, wenn Docker sowohl die PwnzzAI-App als auch Ollama für Sie ausführen soll.

1. Starten Sie beide Container:

docker compose up -d

2. Überprüfen Sie, dass beide Dienste laufen:

docker compose ps

3. Öffnen Sie die App in Ihrem Browser:

http://localhost:8080

4. Gehen Sie in der App zur Seite „Basics“ und führen Sie das Ollama-Setup aus, um Modelle zu laden.

5. Verfolgen Sie bei Bedarf die Logs:

# App logs
docker compose logs -f pwnzzai-app

# Ollama logs (optional)
docker compose logs -f ollama

6. Stoppen Sie alles, wenn Sie fertig sind:

docker compose down

7. Optionaler vollständiger Reset (entfernt auch gespeicherte Ollama-Modelle):

docker compose down -v

Wenn Sie das App-Image unter einem anderen Registry-Pfad veröffentlichen, überschreiben Sie den Imagenamen beim Start:

PWNZZAI_IMAGE=ghcr.io/owasp/pwnzzai:latest docker compose up -d

Falls das Standard-Image nicht geladen wird (lokal bauen)

docker compose verwendet das Standard-pwnzzai-app-Image aus docker-compose.yml (überschreibbar mit PWNZZAI_IMAGE). Wenn docker compose up beim Laden dieses Images mit denied, unauthorized oder Ähnlichem fehlschlägt, erfordert die Registry möglicherweise eine Anmeldung oder Ihr Konto verfügt nicht über Pull-Zugriff. Sie können trotzdem alles aus diesem Repository ausführen, indem Sie das App-Image lokal bauen und compose darauf verweisen lassen.

Vom Repository-Stammverzeichnis aus:

docker build -t pwnzzai-local:dev .
PWNZZAI_IMAGE=pwnzzai-local:dev docker compose up -d

Windows PowerShell:

docker build -t pwnzzai-local:dev .
$env:PWNZZAI_IMAGE="pwnzzai-local:dev"; docker compose up -d

Öffnen Sie dann http://localhost:8080. Der erste Ladevorgang kann kurz fehlschlagen, während Flask im Container startet; warten Sie ein paar Sekunden und aktualisieren Sie die Seite, wenn Sie einen Verbindungsfehler sehen.

Wenn Sie Zugriff auf das Registry-Image haben, können Sie sich zuerst authentifizieren (Beispiel für GitHub Container Registry):

docker login ghcr.io

Derselbe PWNZZAI_IMAGE=pwnzzai-local:dev-Ansatz gilt für Option 2, wenn Sie docker-compose.external-ollama.yml verwenden und auf denselben Pull-Fehler stoßen.

Option 2: Docker (Ihr eigenes Ollama + PwnzzAI-Image)

Verwenden Sie diese Option, wenn Ollama bereits woanders läuft und Sie nur PwnzzAI in Docker ausführen möchten.

Wenn Sie Ollama unter WSL und PwnzzAI in Docker ausführen, finden Sie in OLLAMA_CONNECTION_TROUBLESHOOTING.md Lösungen zu Verbindungsproblemen (Connection refused, host.docker.internal, Bindung und Env-Validierung).

1. Lassen Sie Ihren Ollama-Dienst weiterlaufen.

2. Wenn sich Ollama auf einem entfernten Rechner befindet, setzen Sie vor dem Start OLLAMA_HOST (überspringen Sie dies, wenn Ollama auf demselben Rechner wie Docker läuft und unter dem Standardwert in docker-compose.external-ollama.yml, http://host.docker.internal:11434, erreichbar ist).

Linux/macOS:

export OLLAMA_HOST=http://your-ollama-server:11434

Windows PowerShell:

$env:OLLAMA_HOST="http://your-ollama-server:11434"

3. Starten Sie PwnzzAI mit der Compose-Datei für externes Ollama:

docker compose -f docker-compose.external-ollama.yml up -d

Wenn das Standard-App-Image nicht von GHCR geladen wird, bauen Sie es lokal und setzen Sie PWNZZAI_IMAGE wie in Falls das Standard-Image nicht geladen wird (lokal bauen) beschrieben.

4. Rufen Sie http://localhost:8080 in Ihrem Browser auf, um die Anwendung zu sehen. Beginnen Sie auf der Seite „Basic“ und richten Sie Ihr Labor ein.

5. Verfolgen Sie bei Bedarf die App-Logs:

docker compose -f docker-compose.external-ollama.yml logs -f pwnzzai-app

6. Stoppen Sie es, wenn Sie fertig sind:

docker compose -f docker-compose.external-ollama.yml down

Option 3: Quellcode selbst ausführen

Verwenden Sie diese Option, wenn Sie Python direkt ausführen möchten (ohne Docker für die App).

1. Installieren Sie Python 3.11.
2. Erstellen und aktivieren Sie eine virtuelle Umgebung.

Linux/macOS:

python -m venv venv
source venv/bin/activate

Windows PowerShell:

python -m venv venv
.\venv\Scripts\Activate.ps1

3. Installieren Sie die Abhängigkeiten:

./install.sh

4. Stellen Sie sicher, dass Ollama verfügbar ist: http://localhost:11434 oder ein anderer Endpunkt über OLLAMA_HOST.

5. Führen Sie die App aus:

flask run --host=0.0.0.0 --port=8080

6. Öffnen Sie:

http://localhost:8080

Wenn Sie weitere Details benötigen, schauen Sie sich diese Anleitung an, die die Einrichtung Schritt für Schritt zeigt.

Funktionen

• Pizza-Service: Stöbern Sie durch appetitliche Pizzen, entdecken Sie Kundenfeedback, hinterlassen Sie Kommentare und geben Sie virtuelle Bestellungen auf!
• Umfangreiche Schwachstellen-Präsentationen: Aktive Demonstrationen über die OWASP LLM Top 10 und die Bedrohungskategorien des AI Exchange hinweg, einschließlich Bedrohungen der Modelleingabe, Bedrohungen zur Entwicklungszeit, Laufzeit-Sicherheitsbedrohungen und KI-Risiken auf Systemebene.
• Lernorientiertes Design: Entdecken Sie Ausnutzungsmethoden und Verteidigungsansätze anhand transparenter Beschreibungen, die für strukturierte Schulungsprogramme entwickelt und an der Bedrohungstaxonomie des AI Exchange ausgerichtet sind.
• Multi-Provider-Implementierung: Jede Demonstration funktioniert sowohl mit kommerziellem OpenAI als auch mit den kostenlosen Ollama-Frameworks, sodass die Zugänglichkeit für alle Teilnehmer gewährleistet ist.
• Standardbasierte Inhalte: Lehrmaterialien, die mit dem OWASP AI Exchange synchronisiert sind und als grundlegende Basis für aufkommende KI-Sicherheitsstandards wie ISO/IEC 27090 und prEN 18282 dienen.

KI-Sicherheitsabdeckung

Diese Plattform präsentiert ein breites Spektrum an KI-Schutzherausforderungen, ausgerichtet an der umfassenden Bedrohungstaxonomie des OWASP AI Exchange. Die aktuelle Implementierung deckt die OWASP Top 10 für LLM-Anwendungen und die zentralen Bedrohungskategorien des AI Exchange ab, mit einer erweiterbaren Architektur für die zukünftige Abdeckung weiterer KI-Risiken.

Lernrahmen

Jede in PwnzzAI demonstrierte Schwachstelle umfasst:

1. Aktive Demonstrationen, die die Funktionsweise der Schwachstelle veranschaulichen
2. Ausnutzungsszenarien, die interaktive Angriffsübungen bieten
3. Abgehärtete Alternativen, die Verteidigungsansätze im Detail beschreiben

Implementierte Schwachstellen:

Gemäß den Bedrohungen des OWASP AI Exchange und der OWASP Top 10 für LLM-Anwendungen 2025:

1. Prompt Injection AI Exchange: Direkte Prompt-Injection, Indirekte Prompt-Injection, Top 10: LLM-01.

   • Direkte Prompt-Injection: Systemanweisungen durch manipulierte Benutzereingaben umgehen, um das Modellverhalten zu beeinflussen.
   • Indirekte Prompt-Injection: Externe Datenquellen ausnutzen, um bösartige Anweisungen einzuschleusen und Modellantworten zu manipulieren.
   • AI-Exchange-Kontext: Bedrohungen der Modelleingabe, bei denen Angreifer Anweisungen konstruieren, um das Modell zu täuschen.

2. Datenoffenlegung AI Exchange: Offenlegung sensibler Daten in der Modellausgabe , Top 10: LLM-02

• Extrahierung von Trainingsdaten, Systeminformationen und Anmeldeinformationen über Modellausgaben.
• AI-Exchange-Kontext: Die Ausgabe des Modells kann sensible Daten aus dem Trainingssatz oder der Eingabe enthalten (einschließlich möglicher Augmentierungsdaten).

3. Lieferketten-Schwachstellen AI Exchange: Supply-Chain-Modellvergiftung, Top 10: LLM 03

• Sicherheitsrisiken bei Modellen und Plugins von Drittanbietern durch kompromittierte Anbieter.
• AI-Exchange-Kontext: Lieferketten-Bedrohungen zur Entwicklungszeit, einschließlich vergifteter vortrainierter Modelle, beschädigter Datenquellen und kompromittiertem Modell-Hosting.

4. Daten- und Modellvergiftung AI Exchange: Datenvergiftung, Modellvergiftung, Top 10: LLM04

   • Demonstriert, wie bösartige Trainingsdaten Modellantworten und -verhalten beeinflussen.
   • AI-Exchange-Kontext: Bedrohungen zur Entwicklungszeit, bei denen die Manipulation von Trainingsdaten oder die direkte Manipulation von Modellparametern zu unerwünschtem Modellverhalten führt.

5. Unsachgemäße Ausgabebehandlung AI Exchange: Ausgabe enthält konventionelle Injection, Top 10:LLM05

   • Nicht validierte LLM-Ausgaben, die in nachgelagerten Systemen zu XSS und anderen Injection-Angriffen führen.
   • AI-Exchange-Kontext: Textuelle Modellausgaben können konventionelle Injection-Angriffe wie XSS (Cross-Site-Scripting) enthalten, die bei der Verarbeitung eine Schwachstelle erzeugen können (z. B. Anzeige auf einer Website, Ausführen eines Befehls).

6. Übermäßige Autonomie AI Exchange: Minimale Modellprivilegien, Aufsicht, Top 10:LLM06

   • Überprivilegierte LLM-Operationen und autonome Aktionen ohne angemessene Einschränkungen.
   • AI-Exchange-Kontext: Kontrollen zur Begrenzung der Auswirkungen, die unerwünschtes Modellverhalten durch Privilegienverwaltung und menschliche Aufsicht einschränken – besonders kritisch für agentische KI-Systeme.

7. System-Prompt-Leckage AI Exchange: Offenlegung sensibler Informationen, Top 10:LLM07

   • Extrahierung geheimer Informationen, die in System-Prompts eingebettet sind, mithilfe von Manipulationstechniken.
   • AI-Exchange-Kontext: Bedrohungen der Modellnutzung, bei denen Angreifer vertrauliche Anweisungen oder Konfigurationsdaten durch manipulierte Eingaben extrahieren.

• Angriffe zur Ressourcenerschöpfung und Techniken zur Umgehung des Rate Limitings, die einen Denial of Service verursachen.
• AI-Exchange-Kontext: Bedrohungen der Modellverfügbarkeit durch Ressourcenerschöpfung mittels übermäßiger oder manipulierter Eingaben.

und,

11. Modelldiebstahl (AI Exchange: Modell-Exfiltration, Frühere Versionen der Top 10
    • Modellextraktion und Diebstahl geistigen Eigentums durch API-Missbrauch und das Sammeln von Eingabe-Ausgabe-Paaren.
    • AI-Exchange-Kontext: Angreifer sammeln Eingaben und Ausgaben eines bestehenden Modells und verwenden diese Kombinationen, um ein neues Modell zu trainieren und das ursprüngliche Modell zu replizieren

Modellunterstützung:

• OpenAI-Modelle: GPT-3.5/GPT-4-Demonstrationen über die OpenAI-API.
• Ollama-Modelle: Kostenlose Modelle wie Mistral 7B und LLaMA 3.2 1B sind über Ollama zugänglich.

⚠️ Nur für Bildungszwecke: Diese Anwendung enthält absichtlich eingebaute Sicherheitsschwachstellen. Nicht in Produktionsumgebungen verwenden.