Laboratori Playground di AI Red Teaming

Questo repository contiene le sfide per i laboratori utilizzati nel corso "AI Red Teaming in Practice". Il corso è stato originariamente tenuto al Black Hat USA 2024 da Dr. Amanda Minnich e Gary Lopez. Martin Pouliot si è occupato dell'infrastruttura e del punteggio delle sfide. Le sfide sono state progettate da Dr. Amanda Minnich, Gary Lopez e Martin Pouliot. Queste sfide sono disponibili per chiunque voglia utilizzarle. L'ambiente playground è basato su Chat Copilot ed è stato modificato per essere utilizzato nel corso.

Queste sfide sono inoltre citate nella Microsoft Learn Limited Series: AI Red Teaming 101, pubblicata il 9 luglio 2025. Nella tabella delle sfide qui sotto troverai il link video pertinente a ciascuna sfida della serie. Durante il Microsoft Build di maggio 2025, alcune di queste sfide sono state automatizzate dal Python Risk Identification Tool (PyRIT), un framework open source creato per consentire a professionisti della sicurezza e ingegneri di identificare in modo proattivo i rischi nei sistemi di intelligenza artificiale generativa. Questo repository contiene i Jupyter Notebook corrispondenti che mostrano come utilizzare PyRIT per risolvere le sfide dei Laboratori 1 e 5. Vedrai anche un notebook per "Lab 13", che non ha una sfida associata in quanto è solo notebook.

Cosa imparerai

Queste sfide sono progettate per insegnare ai professionisti della sicurezza a sottoporre sistematicamente i sistemi di IA a red teaming. Vanno oltre i tradizionali guasti di sicurezza incorporando nuove tecniche di machine learning avversario e guasti di Intelligenza Artificiale Responsabile (RAI), consentendo un approccio olistico all'identificazione di potenziali problemi prima che un sistema di IA venga distribuito.

Sfide

Per Iniziare

Prerequisiti

• Docker installato
• Python 3.8+ installato
• Opzione 1: endpoint Azure OpenAI Endpoint con una chiave API
• Opzione 2: Chiave API OpenAI per usare l'API OpenAI standard
• Per Azure OpenAI: una distribuzione Azure Foundry denominata text-embedding-ada-002 che utilizza il modello text-embedding-ada-002, oltre al modello che intendi utilizzare. Es.: gpt-4o

Configurazione

Opzione 1: Utilizzo di Azure OpenAI (docker-compose.yaml)

Puoi impostare le variabili d'ambiente per l'endpoint Azure OpenAI nel file .env. Utilizza il file .env.example come modello.

Opzione 2: Utilizzo dell'API OpenAI standard (docker-compose-openai.yaml)

Se preferisci utilizzare l'API OpenAI standard, devi configurare le seguenti variabili d'ambiente:

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

Esecuzione dei Playground Labs

Opzione 1: Con Azure OpenAI

Il modo più semplice per eseguire i playground labs è utilizzare il file Docker Compose incluso in questo repository. Questo avvierà tutti i componenti necessari per eseguire l'ambiente playground con un set di 12 sfide.

docker-compose up

Opzione 2: Con l'API OpenAI standard

Per utilizzare l'API OpenAI standard invece di Azure OpenAI, usa il file docker-compose-openai.yaml:

docker compose -f docker-compose-openai.yaml up

Accesso alle sfide

Una volta che le sfide sono in esecuzione, puoi accedervi utilizzando il seguente URL: http://localhost:5000/login?auth=[YOUR-AUTH-KEY].

Su macOS dovrai accedere a http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] perché localhost viene mappato su IPv6 mentre i container sono in ascolto su IPv4.

Modificare le sfide

Se desideri modificare le sfide, puoi farlo modificando il file challenges/challenges.json. Questo file contiene la descrizione delle sfide e i loro obiettivi. Puoi quindi utilizzare lo script generate.py per generare il nuovo file docker-compose con le nuove sfide e la loro configurazione.

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

Componenti

L'ambiente playground utilizza i seguenti componenti:

Componenti obbligatori

• challenge-home: la landing page per l'ambiente playground. Elenca tutte le sfide e fornisce un collegamento all'ambiente della sfida. Nel corso BlackHat questa landing page non è stata utilizzata; le sfide erano elencate nella piattaforma CTFd. In questo repository, questa landing page viene utilizzata al posto di CTFd per limitare le dipendenze e offrire un'esperienza migliore. La landing page non traccia i progressi dei giocatori e non fornisce una classifica.
• chat-copilot: è il componente principale dell'ambiente playground. È un'applicazione web che fornisce un'interfaccia chat per interagire con i modelli di IA. È ampiamente basato sul progetto Chat Copilot. Questo componente può essere configurato per diverse sfide. Viene distribuita un'istanza di chat-copilot per ogni sfida.

Componenti opzionali

• ctfd: CTFd è una piattaforma Capture The Flag (CTF) utilizzata per ospitare le sfide. Serve a tracciare i progressi dei giocatori e a fornire una classifica ed è il modo consigliato per organizzare un evento più grande. Il codice incluso in questo repository si occupa di creare automaticamente le sfide nella piattaforma e di inviare le flag per tuo conto.
• chat-score: è l'applicazione di valutazione delle chat utilizzata per assegnare il punteggio alle sfide del corso. Consentiva ai revisori di vedere le conversazioni inviate, valutarle e fornire feedback. Se stai solo provando le sfide, puoi ignorare questo componente e decidere da solo se la sfida è stata completata o meno. Questa applicazione deve essere utilizzata con CTFd, poiché è così che vengono inviate le flag. In questo repository questa applicazione non viene utilizzata; il codice è incluso nel repository come riferimento.
• picture-submission: è un'applicazione utilizzata per inviare immagini. Questo componente veniva usato per i laboratori che richiedevano l'invio di un'immagine generata da un modello di IA. Questo componente inviava le immagini al componente chat-score per la valutazione. Questo componente non viene utilizzato in questo repository; il codice è incluso nel repository come riferimento.
• loadbalancer: è un bilanciatore di carico utilizzato per distribuire le richieste in round-robin su più endpoint Azure OpenAI. Questo componente è stato creato per sfruttare le intestazioni fornite da questa API sul numero di richieste rimanenti. In questo modo potevamo aumentare la capacità del sistema e non essere limitati nella velocità di risposta da un singolo endpoint. Questo componente non viene utilizzato in questo repository; il codice è incluso nel repository come riferimento.

Distribuzione

Originariamente, queste sfide venivano distribuite in Kubernetes su Azure. I file di distribuzione Kubernetes sono inclusi nel repository come riferimento. Si trovano nella cartella k8s. La distribuzione è stata effettuata con l'aiuto dello script deploy.py. Questo script utilizzava il template Kubernetes e apportava le modifiche necessarie per le sfide da distribuire, basandosi su un singolo file JSON che conteneva la descrizione delle sfide.

Contenuti correlati

• Sito web di PyRIT
• Unisciti al Discord di PyRIT
• Panoramica del Microsoft AI Red Team