Laboratórios de Playground de Red Teaming de IA

Este repositório contém os desafios para os laboratórios usados no curso "AI Red Teaming in Practice". O curso foi originalmente ministrado no Black Hat USA 2024 pela Dra. Amanda Minnich e Gary Lopez. Martin Pouliot cuidou da infraestrutura e da pontuação dos desafios. Os desafios foram projetados pela Dra. Amanda Minnich, Gary Lopez e Martin Pouliot. Estes desafios estão disponíveis para qualquer pessoa usar. O ambiente de playground é baseado no Chat Copilot e foi modificado para ser usado no curso.

Estes desafios também são referenciados na Série Limitada Microsoft Learn: AI Red Teaming 101, lançada em 9 de julho de 2025. Na tabela de desafios abaixo, você encontrará o link relevante do vídeo para cada desafio da série. Durante o Microsoft Build em maio de 2025, vários desses desafios foram automatizados pelo Python Risk Identification Tool (PyRIT), que é um framework de código aberto criado para capacitar profissionais de segurança e engenheiros a identificar proativamente riscos em sistemas generativos de IA. Este repositório contém os Jupyter Notebooks correspondentes mostrando como usar o PyRIT para resolver os desafios dos Laboratórios 1 e 5. Você também verá um notebook para o "Lab 13", que não possui um desafio associado, pois é apenas um notebook.

O que você aprenderá

Estes desafios são projetados para ensinar profissionais de segurança a fazer red team sistematicamente em sistemas de IA. Eles vão além das falhas de segurança tradicionais ao incorporar novas falhas de aprendizado de máquina adversarial e de IA Responsável (RAI), permitindo uma abordagem holística para identificar possíveis problemas antes da implantação de um sistema de IA.

Desafios

Como Começar

Pré-requisitos

• Docker instalado
• Python 3.8+ instalado
• Opção 1: endpoint do Azure OpenAI Endpoint com uma chave de API
• Opção 2: Chave da API OpenAI para usar a API padrão da OpenAI
• Para Azure OpenAI: uma implantação do Azure Foundry chamada text-embedding-ada-002 usando o modelo text-embedding-ada-002, bem como o modelo que você pretende usar. Ex.: gpt-4o

Configuração

Opção 1: Com Azure OpenAI (docker-compose.yaml)

Você pode definir as variáveis de ambiente para o endpoint do Azure OpenAI no arquivo .env. Use o arquivo .env.example como modelo.

Opção 2: Com a API Padrão da OpenAI (docker-compose-openai.yaml)

Se preferir usar a API padrão da OpenAI, você precisa configurar as seguintes variáveis de ambiente:

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

Executando os Laboratórios de Playground

Opção 1: Com Azure OpenAI

A maneira mais fácil de executar os laboratórios de playground é usar o arquivo Docker Compose incluído neste repositório. Isso iniciará todos os componentes necessários para executar o ambiente de playground com um conjunto de 12 desafios.

docker-compose up

Opção 2: Com a API Padrão da OpenAI

Para usar a API padrão da OpenAI em vez do Azure OpenAI, use o arquivo docker-compose-openai.yaml:

docker compose -f docker-compose-openai.yaml up

Acessando os Desafios

Quando os desafios estiverem em execução, você pode acessá-los usando a seguinte url: http://localhost:5000/login?auth=[YOUR-AUTH-KEY].

No macOS, você precisará acessar http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] porque localhost é mapeado para IPv6 e os contêineres estão escutando em IPv4.

Alterando os Desafios

Se você quiser alterar os desafios, pode fazê-lo alterando o arquivo challenges/challenges.json. Este arquivo contém a descrição dos desafios e seus objetivos. Você pode então usar o script generate.py para gerar o novo arquivo docker-compose com os novos desafios e sua configuração.

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

Componentes

O ambiente de playground usa os seguintes componentes:

Componentes Obrigatórios

• challenge-home: A página de destino do ambiente de playground. Ela lista todos os desafios e fornece um link para o ambiente do desafio. No curso da BlackHat, esta página de destino não foi usada. Os desafios estavam listados na plataforma CTFd. Neste repositório, esta página de destino é usada em vez disso para limitar as dependências e proporcionar uma melhor experiência. A página de destino não rastreia o progresso dos jogadores e não fornece um leaderboard.
• chat-copilot: Este é o principal componente do ambiente de playground. É um aplicativo web que fornece uma interface de chat para interagir com os modelos de IA. É fortemente baseado no projeto Chat Copilot. Este componente pode ser configurado para vários desafios diferentes. Há uma instância do chat-copilot implantada para cada desafio.

Componentes Opcionais

• ctfd: CTFd é uma plataforma Capture The Flag (CTF) usada para hospedar os desafios. Ela é usada para rastrear o progresso dos jogadores e fornecer um leaderboard, sendo a maneira recomendada de hospedar um evento maior. O código incluído neste repositório cuida da criação automática dos desafios na plataforma e do envio das flags em seu nome.
• chat-score: Este é o aplicativo de pontuação de chat usado para pontuar os desafios no curso. Isso permitia que revisores vissem as conversas enviadas, as pontuassem e fornecessem feedback. Se você está apenas experimentando os desafios, pode ignorar este componente e decidir por si mesmo se o desafio foi concluído ou não. Este aplicativo precisa ser usado com CTFd, pois é assim que as flags são enviadas. Neste repositório, este aplicativo não é usado. O código está incluído no repositório para referência.
• picture-submission: Este é um aplicativo usado para enviar imagens. Este componente foi usado para os laboratórios que exigiam o envio de uma imagem gerada por um modelo de IA. Este componente enviava imagens para o componente chat-score para serem pontuadas. Este componente não é usado neste repositório. O código está incluído no repositório para referência.
• loadbalancer: Este é um balanceador de carga que foi usado para fazer round-robin das requisições para múltiplos Azure OpenAI Endpoints. Este componente foi criado para aproveitar os cabeçalhos fornecidos por esta API sobre quantas requisições restavam. Dessa forma, podíamos aumentar a capacidade do sistema e não ser limitados por um único endpoint. Este componente não é usado neste repositório. O código está incluído no repositório para referência.

Implantação

Originalmente, estes desafios foram implantados no Kubernetes no Azure. Os arquivos de implantação do Kubernetes estão incluídos no repositório para referência. Eles estão localizados na pasta k8s. A implantação foi feita com a ajuda do script deploy.py. Este script usava o modelo do Kubernetes e fazia as alterações necessárias para quais desafios precisávamos implantar com base em um único arquivo JSON que continha a descrição dos desafios.

Conteúdo Relacionado

• Site do PyRIT
• Participe do Discord do PyRIT
• Visão Geral do Microsoft AI Red Team