Laboratoires d'expérimentation en AI Red Teaming

Ce dépôt contient les défis des laboratoires utilisés dans le cours « AI Red Teaming en pratique ». Le cours a été initialement dispensé lors de la conférence Black Hat USA 2024 par Dr. Amanda Minnich et Gary Lopez. Martin Pouliot a géré l'infrastructure et la notation des défis. Les défis ont été conçus par Dr. Amanda Minnich, Gary Lopez et Martin Pouliot. Ces défis sont librement accessibles à tous. L'environnement d'expérimentation est basé sur Chat Copilot et a été modifié pour être utilisé dans le cours.

Ces défis sont également référencés dans la série limitée Microsoft Learn : AI Red Teaming 101, publiée le 9 juillet 2025. Dans le tableau des défis ci-dessous, vous trouverez le lien vidéo correspondant à chaque défi de la série. Lors du Microsoft Build de mai 2025, plusieurs de ces défis ont été automatisés par le Python Risk Identification Tool (PyRIT), un framework open source conçu pour donner aux professionnels et aux ingénieurs de la sécurité les moyens d'identifier de manière proactive les risques dans les systèmes d'IA générative. Ce dépôt contient les Jupyter Notebooks correspondants, montrant comment utiliser PyRIT pour résoudre les défis des Labs 1 et 5. Vous verrez également un notebook pour « Lab 13 », qui n'est associé à aucun défi car il s'agit d'un notebook uniquement.

Ce que vous apprendrez

Ces défis sont conçus pour apprendre aux professionnels de la sécurité à mener systématiquement des opérations de red teaming sur des systèmes d'IA. Ils vont au-delà des défaillances de sécurité traditionnelles en intégrant de nouvelles formes de défaillances liées à l'apprentissage automatique adversarial et à l'IA responsable (RAI), ce qui permet une approche holistique pour identifier les problèmes potentiels avant le déploiement d'un système d'IA.

Défis

Pour commencer

Prérequis

• Docker installé
• Python 3.8+ installé
• Option 1 : un point de terminaison Azure OpenAI avec une clé API
• Option 2 : une clé API OpenAI pour utiliser l'API OpenAI standard
• Pour Azure OpenAI : un déploiement Azure Foundry nommé text-embedding-ada-002 utilisant le modèle text-embedding-ada-002, ainsi que le modèle que vous prévoyez d'utiliser. Ex. : gpt-4o

Configuration

Option 1 : Utilisation d'Azure OpenAI (docker-compose.yaml)

Vous pouvez définir les variables d'environnement pour le point de terminaison Azure OpenAI dans le fichier .env. Utilisez le fichier .env.example comme modèle.

Option 2 : Utilisation de l'API OpenAI standard (docker-compose-openai.yaml)

Si vous préférez utiliser l'API OpenAI standard, vous devez configurer les variables d'environnement suivantes :

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

Lancement des laboratoires d'expérimentation

Option 1 : Avec Azure OpenAI

Le moyen le plus simple de lancer les laboratoires d'expérimentation est d'utiliser le fichier Docker Compose inclus dans ce dépôt. Ceci démarrera tous les composants nécessaires pour exécuter l'environnement d'expérimentation avec un ensemble de 12 défis.

docker-compose up

Option 2 : Avec l'API OpenAI standard

Pour utiliser l'API OpenAI standard au lieu d'Azure OpenAI, utilisez le fichier docker-compose-openai.yaml :

docker compose -f docker-compose-openai.yaml up

Accéder aux défis

Une fois les défis lancés, vous pouvez y accéder à l'adresse suivante : http://localhost:5000/login?auth=[YOUR-AUTH-KEY].

Sur macOS, vous devrez accéder à http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] car localhost est mappé sur IPv6 alors que les conteneurs écoutent sur IPv4.

Modifier les défis

Si vous souhaitez modifier les défis, vous pouvez le faire en modifiant le fichier challenges/challenges.json. Ce fichier contient la description des défis et leurs objectifs. Vous pouvez ensuite utiliser le script generate.py pour générer le nouveau fichier docker-compose avec les nouveaux défis et leur configuration.

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

Composants

L'environnement d'expérimentation utilise les composants suivants :

Composants obligatoires

• challenge-home : la page d'accueil de l'environnement d'expérimentation. Elle répertorie tous les défis et fournit un lien vers l'environnement des défis. Dans le cours Black Hat, cette page d'accueil n'était pas utilisée. Les défis étaient répertoriés dans la plateforme CTFd. Dans ce dépôt, cette page d'accueil est utilisée à la place afin de limiter les dépendances et d'offrir une meilleure expérience. La page d'accueil ne suit pas la progression des joueurs et ne fournit pas de classement.
• chat-copilot : c'est le composant principal de l'environnement d'expérimentation. C'est une application web qui fournit une interface de discussion pour interagir avec les modèles d'IA. Elle est fortement basée sur le projet Chat Copilot. Ce composant peut être configuré pour différents défis. Une instance de chat-copilot est déployée pour chaque défi.

Composants facultatifs

• ctfd : CTFd est une plateforme Capture The Flag (CTF) utilisée pour héberger les défis. Elle permet de suivre la progression des joueurs et d'afficher un classement, et c'est la méthode recommandée pour organiser un événement de plus grande envergure. Le code inclus dans ce dépôt se charge de créer automatiquement les défis dans la plateforme et de soumettre les flags en votre nom.
• chat-score : c'est l'application de notation des échanges utilisée pour évaluer les défis du cours. Elle permettait aux évaluateurs de voir les conversations soumises, de les noter et de fournir des commentaires. Si vous testez simplement les défis, vous pouvez ignorer ce composant et décider vous-même si le défi est réussi ou non. Cette application doit être utilisée avec CTFd, car c'est ainsi que les flags sont soumis. Cette application n'est pas utilisée dans ce dépôt ; le code est inclus dans le dépôt à titre de référence.
• picture-submission : c'est une application utilisée pour soumettre des images. Ce composant servait aux laboratoires qui exigeaient la soumission d'une image générée par un modèle d'IA. Ce composant envoyait les images au composant chat-score pour qu'elles soient notées. Ce composant n'est pas utilisé dans ce dépôt ; le code est inclus dans le dépôt à titre de référence.
• loadbalancer : c'est un équilibreur de charge utilisé pour répartir les requêtes en round-robin entre plusieurs points de terminaison Azure OpenAI. Ce composant a été créé pour exploiter les en-têtes fournis par cette API concernant le nombre de requêtes restantes. Ainsi, nous pouvions augmenter la capacité du système sans être limités en débit par un seul point de terminaison. Ce composant n'est pas utilisé dans ce dépôt ; le code est inclus dans le dépôt à titre de référence.

Déploiement

À l'origine, ces défis étaient déployés sur Kubernetes dans Azure. Les fichiers de déploiement Kubernetes sont inclus dans le dépôt à titre de référence. Ils se trouvent dans le dossier k8s. Le déploiement était effectué à l'aide du script deploy.py. Ce script utilisait le modèle Kubernetes et effectuait les modifications nécessaires en fonction des défis à déployer, à partir d'un seul fichier JSON contenant la description des défis.

Contenu associé

• Site web de PyRIT
• Rejoindre le Discord PyRIT
• Présentation de l'AI Red Team de Microsoft