AI Red Teaming Playground Labs

このリポジトリには、コース「AI Red Teaming in Practice」で使用されるラボのチャレンジが含まれています。このコースは元々、Black Hat USA 2024 で Dr. Amanda Minnich と Gary Lopez によって教えられました。Martin Pouliot がチャレンジのインフラストラクチャとスコアリングを担当しました。チャレンジは Dr. Amanda Minnich、Gary Lopez、Martin Pouliot によって設計されました。これらのチャレンジは誰でも利用できます。プレイグラウンド環境は Chat Copilot に基づいており、コースで使用するために変更されています。

これらのチャレンジは、2025年7月9日にリリースされた Microsoft Learn Limited Series: AI Red Teaming 101 でも参照されています。以下のチャレンジ表には、このシリーズの各チャレンジに関連するビデオリンクが記載されています。2025年5月のMicrosoft Buildでは、これらのチャレンジのいくつかが Python Risk Identification Tool (PyRIT) によって自動化されました。PyRITは、セキュリティ専門家やエンジニアが生成AIシステムのリスクを事前に特定できるようにするために構築されたオープンソースフレームワークです。このリポジトリには、PyRITを使用してLab 1およびLab 5のチャレンジを解決する方法を示す 対応するJupyter Notebook が含まれています。また、「Lab 13」用のノートブックもあります。これはノートブックのみであり、関連するチャレンジはありません。

学習内容

これらのチャレンジは、セキュリティ専門家がAIシステムを体系的にレッドチーミングできるようにするために設計されています。新しい敵対的機械学習や責任あるAI（RAI）の障害を取り入れることで、従来のセキュリティ障害を超え、AIシステムを展開する前に潜在的な問題を特定するための包括的なアプローチを可能にします。

チャレンジ

はじめに

前提条件

• Docker がインストールされていること
• Python 3.8+ がインストールされていること
• オプション1: api-keyを持つ Azure OpenAI エンドポイント
• オプション2: 標準のOpenAI APIを使用するための OpenAI APIキー
• Azure OpenAIの場合: 使用予定のモデルに加えて、モデル text-embedding-ada-002 を使用する text-embedding-ada-002 という名前のAzure Foundryデプロイメントが必要です。例: gpt-4o

構成

オプション1: Azure OpenAIを使用する場合 (docker-compose.yaml)

Azure OpenAIエンドポイントの環境変数は .env ファイルで設定できます。.env.example ファイルをテンプレートとして使用してください。

オプション2: 標準のOpenAI APIを使用する場合 (docker-compose-openai.yaml)

標準のOpenAI APIを使用したい場合は、以下の環境変数を設定する必要があります:

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

プレイグラウンドラボの実行

オプション1: Azure OpenAIを使用する場合

プレイグラウンドラボを実行する最も簡単な方法は、このリポジトリに含まれている Docker Compose ファイルを使用することです。これにより、12のチャレンジを含むプレイグラウンド環境の実行に必要なすべてのコンポーネントが起動します。

docker-compose up

オプション2: 標準のOpenAI APIを使用する場合

Azure OpenAIの代わりに標準のOpenAI APIを使用するには、docker-compose-openai.yaml ファイルを使用します:

docker compose -f docker-compose-openai.yaml up

チャレンジへのアクセス

チャレンジが起動したら、次のURLでアクセスできます: http://localhost:5000/login?auth=[YOUR-AUTH-KEY]。

macOSでは、localhostがIPv6にマップされ、コンテナがIPv4でリッスンしているため、http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] にアクセスする必要があります。

チャレンジの変更

チャレンジを変更したい場合は、challenges/challenges.json ファイルを変更することで変更できます。このファイルには、チャレンジの説明とその目的が含まれています。その後、スクリプト generate.py を使用して、新しいチャレンジとその構成を含む新しいdocker-composeファイルを生成できます。

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

コンポーネント

プレイグラウンド環境は以下のコンポーネントを使用します:

必須コンポーネント

• challenge-home: プレイグラウンド環境のランディングページです。すべてのチャレンジを一覧表示し、チャレンジ環境へのリンクを提供します。BlackHatコースでは、このランディングページは使用されませんでした。チャレンジはCTFdプラットフォームに一覧表示されていました。このリポジトリでは、依存関係を制限し、より良いエクスペリエンスを提供するために、代わりにこのランディングページを使用しています。ランディングページはプレイヤーの進捗を追跡せず、リーダーボードも提供しません。
• chat-copilot: プレイグラウンド環境の主要コンポーネントです。AIモデルと対話するためのチャットインターフェースを提供するWebアプリケーションです。Chat Copilot プロジェクトをベースに大幅に変更されています。このコンポーネントは複数の異なるチャレンジ用に構成できます。各チャレンジごとに1つのchat-copilotインスタンスがデプロイされます。

オプションコンポーネント

• ctfd: CTFdは、チャレンジを開催するために使用されるCapture The Flag（CTF）プラットフォームです。プレイヤーの進捗を追跡し、リーダーボードを提供するために使用され、より大規模なイベントを開催する際の推奨方法です。このリポジトリに含まれるコードは、プラットフォーム内でチャレンジを自動的に作成し、代わりにフラグを送信します。
• chat-score: コース内のチャレンジを採点するために使用されるチャット採点アプリケーションです。レビュアーは、提出された会話を確認し、採点してフィードバックを提供できます。チャレンジを試しているだけの場合は、このコンポーネントは無視して、チャレンジが完了したかどうかを自分で判断できます。このアプリケーションは、フラグが送信される方法であるため、CTFdと一緒に使用する必要があります。このリポジトリでは、このアプリケーションは使用されていません。コードは参考用としてリポジトリに含まれています。
• picture-submission: 画像を提出するために使用されるアプリケーションです。このコンポーネントは、AIモデルによって生成された画像の提出を必要とするラボで使用されました。このコンポーネントは、採点のために画像をchat-scoreコンポーネントに送信します。このコンポーネントはこのリポジトリでは使用されていません。コードは参考用としてリポジトリに含まれています。
• loadbalancer: 複数のAzure OpenAIエンドポイントへのリクエストをラウンドロビンで振り分けるために使用されたロードバランサーです。このコンポーネントは、このAPIが提供する残りリクエスト数に関するヘッダーを活用できるように作成されました。これにより、システムの容量を増やし、単一のエンドポイントによるレート制限を受けないようにできました。このコンポーネントはこのリポジトリでは使用されていません。コードは参考用としてリポジトリに含まれています。

デプロイ

元々、これらのチャレンジはAzureのKubernetesにデプロイされていました。Kubernetesのデプロイファイルは参考用としてリポジトリに含まれており、k8s フォルダにあります。デプロイは deploy.py スクリプトを使用して行われました。このスクリプトは、チャレンジの説明を含む単一のJSONファイルに基づいて、Kubernetesテンプレートを使用し、デプロイが必要なチャレンジに必要な変更を加えていました。

関連コンテンツ

• PyRITウェブサイト
• PyRIT Discordに参加
• Microsoft AIレッドチーム概要