Laboratorios de Práctica de AI Red Teaming

Este repositorio contiene los retos para los laboratorios utilizados en el curso "AI Red Teaming in Practice". El curso se impartió originalmente en Black Hat USA 2024 por Dr. Amanda Minnich y Gary Lopez. Martin Pouliot se encargó de la infraestructura y la puntuación de los retos. Los retos fueron diseñados por Dr. Amanda Minnich, Gary Lopez y Martin Pouliot. Estos retos están disponibles para que cualquiera los utilice. El entorno de práctica está basado en Chat Copilot y fue modificado para usarse en el curso.

Estos retos también se mencionan en la serie limitada de Microsoft Learn: AI Red Teaming 101, publicada el 9 de julio de 2025. En la tabla de retos que aparece a continuación, encontrarás el enlace al vídeo correspondiente de la serie para cada reto. Durante Microsoft Build de mayo de 2025, varios de estos retos se automatizaron mediante el Python Risk Identification Tool (PyRIT), un framework de código abierto creado para capacitar a los profesionales e ingenieros de seguridad a identificar de forma proactiva riesgos en los sistemas de IA generativa. Este repositorio contiene los Jupyter Notebooks correspondientes que muestran cómo usar PyRIT para resolver los retos de los Laboratorios 1 y 5. También verás un notebook para "Lab 13", que no tiene un reto asociado, ya que es solo notebook.

Lo Que Aprenderás

Estos retos están diseñados para enseñar a los profesionales de la seguridad a realizar red teaming sistemático en sistemas de IA. Van más allá de los fallos de seguridad tradicionales al incorporar fallos novedosos de aprendizaje automático adversarial y de IA Responsable (RAI), lo que permite un enfoque holístico para identificar posibles problemas antes de que se implemente un sistema de IA.

Retos

Primeros Pasos

Requisitos Previos

• Tener instalado Docker
• Tener instalado Python 3.8+
• Opción 1: Un Azure OpenAI Endpoint con una api-key
• Opción 2: Una OpenAI API Key para usar la API estándar de OpenAI
• Para Azure OpenAI: una implementación de Azure Foundry llamada text-embedding-ada-002 que use el modelo text-embedding-ada-002, además del modelo que tengas previsto usar. Ej.: gpt-4o

Configuración

Opción 1: Usar Azure OpenAI (docker-compose.yaml)

Puedes definir las variables de entorno para el endpoint de Azure OpenAI en el archivo .env. Usa el archivo .env.example como plantilla.

Opción 2: Usar la API estándar de OpenAI (docker-compose-openai.yaml)

Si prefieres usar la API estándar de OpenAI, debes configurar las siguientes variables de entorno:

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

Ejecutar los Laboratorios de Práctica

Opción 1: Con Azure OpenAI

La forma más sencilla de ejecutar los laboratorios de práctica es usar el archivo de Docker Compose incluido en este repositorio. Esto iniciará todos los componentes necesarios para ejecutar el entorno de práctica con un conjunto de 12 retos.

docker-compose up

Opción 2: Con la API estándar de OpenAI

Para usar la API estándar de OpenAI en lugar de Azure OpenAI, usa el archivo docker-compose-openai.yaml:

docker compose -f docker-compose-openai.yaml up

Acceder a los Retos

Una vez que los retos estén en ejecución, puedes acceder a ellos mediante la siguiente url: http://localhost:5000/login?auth=[YOUR-AUTH-KEY].

En macOS necesitarás acceder a http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] porque localhost se asigna a IPv6 y los contenedores están escuchando en IPv4.

Modificar los Retos

Si quieres modificar los retos, puedes hacerlo cambiando el archivo challenges/challenges.json. Este archivo contiene la descripción de los retos y sus objetivos. Luego puedes usar el script generate.py para generar el nuevo archivo docker-compose con los nuevos retos y su configuración.

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

Componentes

El entorno de práctica utiliza los siguientes componentes:

Componentes Obligatorios

• challenge-home: La página de inicio del entorno de práctica. Enumera todos los retos y proporciona un enlace al entorno del reto. En el curso de BlackHat, esta página de inicio no se usó; los retos se listaban en la plataforma CTFd. En este repositorio, se usa esta página de inicio en su lugar para limitar las dependencias y ofrecer una mejor experiencia. La página de inicio no rastrea el progreso de los jugadores ni proporciona una tabla de clasificación.
• chat-copilot: Este es el componente principal del entorno de práctica. Es una aplicación web que proporciona una interfaz de chat para interactuar con los modelos de IA. Se basa en gran medida en el proyecto Chat Copilot. Este componente se puede configurar para múltiples retos diferentes. Hay una instancia de chat-copilot desplegada para cada reto.

Componentes Opcionales

• ctfd: CTFd es una plataforma Capture The Flag (CTF) que se utiliza para alojar los retos. Se usa para rastrear el progreso de los jugadores y proporcionar una tabla de clasificación, y es la forma recomendada de organizar un evento más grande. El código incluido en este repositorio se encarga de crear automáticamente los retos en la plataforma y de enviar las flags en tu nombre.
• chat-score: Es la aplicación de puntuación de chat que se utiliza para puntuar los retos del curso. Permitía a los revisores ver las conversaciones enviadas, puntuarlas y proporcionar comentarios. Si solo estás probando los retos, puedes ignorar este componente y decidir por ti mismo si el reto se completó o no. Esta aplicación debe usarse con CTFd, ya que así es como se envían las flags. En este repositorio, esta aplicación no se usa. El código se incluye en el repositorio como referencia.
• picture-submission: Es una aplicación que se utiliza para enviar imágenes. Este componente se usaba para los laboratorios que requerían enviar una imagen generada por un modelo de IA. Este componente enviaba las imágenes al componente chat-score para que fueran puntuadas. Este componente no se usa en este repositorio. El código se incluye en el repositorio como referencia.
• loadbalancer: Es un balanceador de carga que se utilizaba para distribuir las solicitudes en round-robin entre múltiples Azure OpenAI Endpoints. Este componente se creó para aprovechar los encabezados que proporciona esta API sobre cuántas solicitudes quedaban. De esta manera podíamos aumentar la capacidad del sistema y no ser limitados por la tasa de un único endpoint. Este componente no se usa en este repositorio. El código se incluye en el repositorio como referencia.

Implementación

Originalmente, estos retos se desplegaron en Kubernetes en Azure. Los archivos de despliegue de Kubernetes se incluyen en el repositorio como referencia. Se encuentran en la carpeta k8s. El despliegue se realizó con la ayuda del script deploy.py. Este script usaba la plantilla de Kubernetes y realizaba los cambios necesarios para los retos que necesitábamos desplegar, basándose en un único archivo JSON que contenía la descripción del reto.

Contenido Relacionado

• Sitio web de PyRIT
• Únete al Discord de PyRIT
• Descripción general del Microsoft AI Red Team