À propos

PwnzzAI Shop est une plateforme d'apprentissage pratique, délibérément conçue pour l'enseignement de la protection des technologies d'IA. Cette application web Flask volontairement non sécurisée présente un large éventail de faiblesses de sécurité de l'IA à travers une expérience immersive de pizzeria.

Partenaire fondateur : OWASP AI Exchange

Portée et objectifs d'apprentissage

PwnzzAI est conçu comme une plateforme d'apprentissage complète et évolutive, alignée sur la taxonomie des risques de l'AI Exchange. Son périmètre s'étend progressivement au rythme des cadres d'analyse de sécurité et des recommandations défensives de l'OWASP AI Exchange, garantissant une pertinence durable à mesure que les pratiques de sécurité de l'IA mûrissent. Le projet intègre actuellement le Top 10 OWASP pour les LLM, avec une architecture délibérément alignée sur les classifications de risques de l'AI Exchange. À terme, PwnzzAI vise à devenir un écosystème d'apprentissage structuré qui prend en charge :

• La formation à la protection et à la défense de l'IA, y compris des parcours d'apprentissage en autonomie

• Des programmes de formation pratique à la sécurité avec des exercices concrets basés sur des scénarios

• Des initiatives d'apprentissage en équipe pour les ingénieurs et professionnels de la sécurité

• Une éducation à la sécurité de l'IA de bout en bout, couvrant la conception, le développement, le déploiement et l'exploitation

Instructions d'installation

Choisissez l'une de ces 3 façons d'exécuter PwnzzAI :

1. Docker avec les deux images (PwnzzAI + Ollama)
2. Docker avec votre propre Ollama local/distant et uniquement l'image PwnzzAI
3. Exécuter le code source vous-même

Avant de commencer (toutes les options)

1. Installez Docker Desktop depuis https://www.docker.com/products/docker-desktop.
2. Ouvrez Docker Desktop et attendez qu'il indique que Docker est en cours d'exécution.
3. Installez Git si vous ne l'avez pas déjà.
4. Clonez ce dépôt et placez-vous dedans :

Facultatif : configurer un modèle cloud (OpenAI / Gemini / Claude)

Les ateliers fonctionnent dès le départ avec un modèle local gratuit. Pour utiliser également les onglets modèle cloud (OpenAI / Gemini / Claude), vous avez besoin de deux éléments : une clé API et un nom de modèle :

• Clé API — peut être saisie au moment de l'exécution via la page Lab Setup de l'application, ou définie dans .env (OPENAI_API_KEY=...). La clé saisie dans Lab Setup a priorité.
• Nom du modèle — aucune interface ne permet de le saisir ; il doit provenir de .env. Il n'y a pas de valeur par défaut dans le code, donc les appels échouent avec LLM Provider NOT provided s'il n'est pas défini.

Créez .env à partir du modèle fourni et décommentez la ligne du modèle :

Redémarrez l'application après avoir modifié .env. Pour un guide complet sur les fournisseurs et les modèles, consultez Hôtes d'atelier : choisir OpenAI, Claude, Gemini ou d'autres modèles cloud.

Option 1 : Docker (PwnzzAI + Ollama)

Utilisez cette option si vous souhaitez que Docker exécute à la fois l'application PwnzzAI et Ollama pour vous.

1. Démarrez les deux conteneurs :

2. Vérifiez que les deux services sont en cours d'exécution :

3. Ouvrez l'application dans votre navigateur :

4. Dans l'application, allez sur la page Basics et exécutez la configuration d'Ollama pour télécharger les modèles.

5. Consultez les journaux si nécessaire :

6. Arrêtez tout lorsque vous avez terminé :

7. Réinitialisation complète facultative (supprime également les modèles Ollama enregistrés) :

Si vous publiez l'image de l'application sous un autre chemin de registre, remplacez le nom de l'image au démarrage :

Si l'image par défaut ne se télécharge pas (compilation locale)

docker compose utilise l'image pwnzzai-app par défaut de docker-compose.yml (remplaçable avec PWNZZAI_IMAGE). Si docker compose up échoue avec denied, unauthorized ou une erreur similaire lors du téléchargement de l'image, le registre peut exiger une connexion ou votre compte peut ne pas disposer des droits de téléchargement. Vous pouvez tout de même tout exécuter depuis ce dépôt en compilant localement l'image de l'application et en pointant compose vers cette image.

Depuis la racine du dépôt :

Windows PowerShell :

Ouvrez ensuite http://localhost:8080. Le premier chargement peut échouer brièvement pendant que Flask démarre dans le conteneur ; attendez quelques secondes et actualisez si vous voyez une erreur de connexion.

Si vous avez bien accès à l'image du registre, vous pouvez vous authentifier au préalable (exemple pour GitHub Container Registry) :

La même approche PWNZZAI_IMAGE=pwnzzai-local:dev s'applique à l'option 2 si vous utilisez docker-compose.external-ollama.yml et rencontrez la même erreur de téléchargement.

Option 2 : Docker (votre propre Ollama + image PwnzzAI)

Utilisez cette option si Ollama est déjà en cours d'exécution ailleurs et que vous souhaitez exécuter uniquement PwnzzAI dans Docker.

Si vous exécutez Ollama sur WSL et PwnzzAI dans Docker, consultez OLLAMA_CONNECTION_TROUBLESHOOTING.md pour les correctifs de connectivité (Connection refused, host.docker.internal, liaison et validation de l'environnement).

1. Laissez votre service Ollama en cours d'exécution.

2. Si Ollama se trouve sur une machine distante, définissez OLLAMA_HOST avant de démarrer (ignorez cette étape si Ollama se trouve sur la même machine que Docker et qu'il est accessible à l'adresse par défaut dans docker-compose.external-ollama.yml, http://host.docker.internal:11434).

Linux/macOS :

Windows PowerShell :

3. Démarrez PwnzzAI avec le fichier compose external-Ollama :

Si l'image d'application par défaut ne se télécharge pas depuis GHCR, compilez-la localement et définissez PWNZZAI_IMAGE comme dans Si l'image par défaut ne se télécharge pas (compilation locale).

4. Rendez-vous sur http://localhost:8080 dans votre navigateur pour voir l'application. Commencez par la page Basic et configurez votre atelier.

5. Consultez les journaux de l'application si nécessaire :

6. Arrêtez-le lorsque vous avez terminé :

Option 3 : exécuter le code source soi-même

Utilisez cette option si vous souhaitez exécuter Python directement (sans Docker pour l'application).

1. Installez Python 3.11.
2. Créez et activez un environnement virtuel.

Linux/macOS :

Windows PowerShell :

3. Installez les dépendances :

4. Assurez-vous qu'Ollama est disponible : http://localhost:11434 ou un autre point de terminaison via OLLAMA_HOST.

5. Exécutez l'application :

6. Ouvrez :

Si vous avez besoin de plus de détails, regardez cette vidéo pas à pas , qui montre l'installation étape par étape.

Fonctionnalités

• Service de pizzas : parcourez des pizzas appétissantes, explorez les avis des clients, ajoutez des commentaires et passez des commandes virtuelles !
• Vitrines étendues de faiblesses : démonstrations actives couvrant le Top 10 OWASP pour les LLM et les catégories de menaces de l'AI Exchange, notamment les menaces sur les entrées des modèles, les menaces au moment du développement, les menaces de sécurité à l'exécution et les risques IA au niveau système.
• Conception axée sur l'apprentissage : découvrez les méthodes d'exploitation et les approches défensives grâce à des descriptions transparentes, conçues pour des programmes d'enseignement structurés et alignées sur la taxonomie des menaces de l'AI Exchange.
• Implémentation multi-fournisseurs : chaque démonstration fonctionne avec les frameworks commerciaux OpenAI et les frameworks gratuits Ollama, garantissant l'accessibilité à tous les participants.
• Contenu fondé sur les normes : supports pédagogiques synchronisés avec OWASP AI Exchange, qui sert de base fondatrice aux normes émergentes de sécurité de l'IA telles que l'ISO/IEC 27090 et la prEN 18282.

Couverture de la sécurité de l'IA

Cette plateforme présente un large spectre de défis de protection de l'IA, alignés sur la taxonomie complète des menaces de l'OWASP AI Exchange. L'implémentation actuelle couvre le Top 10 OWASP pour les applications LLM et les catégories de menaces fondamentales de l'AI Exchange, avec une architecture extensible conçue pour la couverture des futurs risques liés à l'IA.

Cadre pédagogique

Chaque faiblesse présentée dans PwnzzAI comprend :

1. Des démonstrations actives illustrant les mécanismes de la vulnérabilité
2. Des scénarios d'exploitation proposant des exercices d'attaque interactifs
3. Des alternatives durcies détaillant les approches défensives

Vulnérabilités implémentées :

Selon les menaces de l'OWASP AI Exchange et le Top 10 OWASP pour les applications LLM 2025 :

1. Injection de prompt AI Exchange : injection directe de prompt, injection indirecte de prompt, Top 10 : LLM-01.

   • Injection directe de prompt : contourner les instructions système grâce à des entrées utilisateur spécialement conçues pour manipuler le comportement du modèle.
   • Injection indirecte de prompt : exploiter des sources de données externes pour injecter des instructions malveillantes et manipuler les réponses du modèle.
   • Contexte AI Exchange : menaces sur les entrées du modèle, où les attaquants élaborent des instructions pour tromper le modèle.

2. Divulgation de données AI Exchange : divulgation de données sensibles dans la sortie du modèle , Top 10 : LLM-02

• Extraction de données d'entraînement, d'informations système et d'identifiants via les sorties du modèle.
• Contexte AI Exchange : la sortie du modèle peut contenir des données sensibles provenant de l'ensemble d'entraînement ou de l'entrée (qui peut inclure des données d'augmentation).

3. Vulnérabilités de la chaîne d'approvisionnement AI Exchange : empoisonnement de modèles dans la chaîne d'approvisionnement, Top 10 : LLM 03

• Risques de sécurité liés aux modèles et plugins tiers provenant de fournisseurs compromis.
• Contexte AI Exchange : menaces sur la chaîne d'approvisionnement au moment du développement, notamment les modèles pré-entraînés empoisonnés, les sources de données corrompues et l'hébergement de modèles compromis.

4. Empoisonnement des données et des modèles AI Exchange : empoisonnement des données, empoisonnement des modèles, Top 10 : LLM04

   • Montre comment des données d'entraînement malveillantes affectent les réponses et le comportement du modèle.
   • Contexte AI Exchange : menaces au moment du développement où la manipulation des données d'entraînement ou la falsification directe des paramètres du modèle conduit à un comportement indésirable du modèle.

5. Gestion inappropriée des sorties AI Exchange : la sortie contient une injection conventionnelle, Top 10 : LLM05

   • Sorties LLM non validées conduisant à des attaques XSS et à d'autres injections dans les systèmes en aval.
   • Contexte AI Exchange : la sortie textuelle du modèle peut contenir des attaques d'injection conventionnelles telles que le XSS (cross-site scripting), ce qui peut créer une vulnérabilité lorsqu'elle est traitée (par exemple, affichée sur un site web, exécutée comme commande).

6. Agence excessive AI Exchange : privilège minimal du modèle, Supervision, Top 10 : LLM06

   • Opérations LLM sur-privilégiées et actions autonomes sans contraintes appropriées.
   • Contexte AI Exchange : contrôles de limitation d'impact visant à restreindre les comportements indésirables du modèle grâce à la gestion des privilèges et à la supervision humaine, particulièrement critiques pour les systèmes d'IA agentiques.

7. Fuite du prompt système AI Exchange : divulgation d'informations sensibles, Top 10 : LLM07

   • Extraction d'informations secrètes intégrées dans les prompts système grâce à des techniques de manipulation.
   • Contexte AI Exchange : menaces liées à l'utilisation du modèle, où les attaquants extraient des instructions confidentielles ou des données de configuration via des entrées élaborées.

8. Faiblesse des vecteurs et des embeddings AI Exchange : fuite directe de données d'augmentation, Top 10 : LLM08

   • Accès non autorisé aux embeddings contenant des informations sensibles dans les systèmes RAG ou les bases de données vectorielles.
   • Contexte AI Exchange : menaces liées aux données d'augmentation, où les référentiels de recherche ou les magasins d'embeddings divulguent des informations confidentielles.

9. Désinformation AI Exchange : manipulation des données d'augmentation, Top 10 : LLM09

   • Prise de décisions critiques sans supervision humaine conduisant à une désinformation nuisible ou à des hallucinations.
   • Contexte AI Exchange : risques de comportement indésirable du modèle nécessitant des contrôles de supervision, de l'explicabilité et une surveillance continue pour garantir l'exactitude et la sécurité.

10. Consommation illimitée AI Exchange : épuisement des ressources IA, Top 10 : LLM10

• Attaques par épuisement des ressources et contournement de la limitation de débit provoquant un déni de service.
• Contexte AI Exchange : menaces sur la disponibilité du modèle par l'épuisement des ressources via des entrées excessives ou spécialement conçues.

et,

11. Vol de modèle (AI Exchange : exfiltration de modèles, Versions antérieures du Top 10
    • Extraction de modèles et vol de propriété intellectuelle via l'abus d'API et la collecte d'entrées et de sorties.
    • Contexte AI Exchange : l'attaquant collecte les entrées et les sorties d'un modèle existant et utilise ces combinaisons pour entraîner un nouveau modèle, afin de répliquer le modèle original

Modèles pris en charge :

• Modèles OpenAI : démonstrations GPT-3.5/GPT-4 via l'API OpenAI.
• Modèles Ollama : des modèles gratuits, tels que Mistral 7B et LLaMA 3.2 1B, sont accessibles via Ollama.

⚠️ Usage pédagogique uniquement : cette application contient des vulnérabilités de sécurité intentionnelles. Ne l'utilisez pas dans des environnements de production.