AI रेड टीमिंग प्लेग्राउंड लैब्स

इस रिपॉजिटरी में "AI Red Teaming in Practice" पाठ्यक्रम में उपयोग किए जाने वाले labs की चुनौतियाँ शामिल हैं। यह पाठ्यक्रम मूल रूप से Black Hat USA 2024 में Dr. Amanda Minnich और Gary Lopez द्वारा पढ़ाया गया था। Martin Pouliot ने चुनौतियों के लिए बुनियादी ढाँचे और स्कोरिंग को संभाला। चुनौतियाँ Dr. Amanda Minnich, Gary Lopez और Martin Pouliot द्वारा डिज़ाइन की गई थीं। ये चुनौतियाँ किसी के भी उपयोग के लिए उपलब्ध हैं। Playground वातावरण Chat Copilot पर आधारित है और इसे पाठ्यक्रम में उपयोग के लिए संशोधित किया गया था।

ये चुनौतियाँ Microsoft Learn Limited Series: AI Red Teaming 101 में भी संदर्भित हैं, जो 9 जुलाई 2025 को जारी की गई थी। नीचे दी गई चुनौतियों की तालिका में, आपको श्रृंखला की प्रत्येक चुनौती के लिए प्रासंगिक वीडियो लिंक मिलेगा। मई 2025 में Microsoft Build के दौरान, इनमें से कई चुनौतियों को Python Risk Identification Tool (PyRIT) द्वारा स्वचालित किया गया था, जो एक ओपन-सोर्स फ्रेमवर्क है जिसे सुरक्षा पेशेवरों और इंजीनियरों को जनरेटिव AI सिस्टम में जोखिमों की पहचान करने में सशक्त बनाने के लिए बनाया गया है। इस रिपॉजिटरी में संबंधित Jupyter Notebooks शामिल हैं, जो दिखाते हैं कि Labs 1 और 5 की चुनौतियों को हल करने के लिए PyRIT का उपयोग कैसे करें। आपको "Lab 13" के लिए एक notebook भी दिखाई देगा, जिसमें कोई संबद्ध चुनौती नहीं है क्योंकि यह केवल notebook-आधारित है।

आप क्या सीखेंगे

ये चुनौतियाँ सुरक्षा पेशेवरों को AI सिस्टम की व्यवस्थित रूप से रेड टीमिंग करने के लिए प्रशिक्षित करने के लिए डिज़ाइन की गई हैं। ये पारंपरिक सुरक्षा विफलताओं से आगे बढ़कर नवीन प्रतिकूल मशीन लर्निंग और Responsible AI (RAI) विफलताओं को शामिल करती हैं, जिससे AI सिस्टम को तैनात करने से पहले संभावित समस्याओं की पहचान करने के लिए एक समग्र दृष्टिकोण सक्षम होता है।

चुनौतियाँ

आरंभ करना

आवश्यक शर्तें

• Docker स्थापित होना चाहिए
• Python 3.8+ स्थापित होना चाहिए
• विकल्प 1: Azure OpenAI Endpoint एंडपॉइंट एक api-key के साथ
• विकल्प 2: मानक OpenAI API उपयोग करने के लिए OpenAI API Key
• Azure OpenAI के लिए: एक Azure Foundry डिप्लॉयमेंट जिसका नाम text-embedding-ada-002 हो, जो मॉडल text-embedding-ada-002 का उपयोग करता हो, साथ ही वह मॉडल जिसे आप उपयोग करना चाहते हैं। जैसे: gpt-4o

कॉन्फ़िगरेशन

विकल्प 1: Azure OpenAI का उपयोग करना (docker-compose.yaml)

आप .env फ़ाइल में Azure OpenAI एंडपॉइंट के लिए environment variables सेट कर सकते हैं। कृपया .env.example फ़ाइल को टेम्पलेट के रूप में उपयोग करें।

विकल्प 2: मानक OpenAI API का उपयोग करना (docker-compose-openai.yaml)

यदि आप मानक OpenAI API का उपयोग करना पसंद करते हैं, तो आपको निम्नलिखित environment variables कॉन्फ़िगर करने होंगे:

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

Playground Labs चलाना

विकल्प 1: Azure OpenAI के साथ

Playground labs चलाने का सबसे आसान तरीका इस रिपॉजिटरी में शामिल Docker Compose फ़ाइल का उपयोग करना है। यह 12 चुनौतियों के साथ playground वातावरण चलाने के लिए आवश्यक सभी घटकों को प्रारंभ करेगा।

docker-compose up

विकल्प 2: मानक OpenAI API के साथ

Azure OpenAI के बजाय मानक OpenAI API का उपयोग करने के लिए, docker-compose-openai.yaml फ़ाइल का उपयोग करें:

docker compose -f docker-compose-openai.yaml up

चुनौतियों तक पहुँच

चुनौतियाँ चालू होने के बाद आप निम्नलिखित url का उपयोग करके उन तक पहुँच सकते हैं: http://localhost:5000/login?auth=[YOUR-AUTH-KEY]।

macOS पर आपको http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] तक पहुँचने की आवश्यकता होगी क्योंकि localhost IPv6 पर मैप होता है और कंटेनर IPv4 पर सुन रहे हैं।

चुनौतियों को बदलना

यदि आप चुनौतियों को बदलना चाहते हैं, तो आप challenges/challenges.json फ़ाइल को बदलकर ऐसा कर सकते हैं। इस फ़ाइल में चुनौतियों का विवरण और उनके उद्देश्य होते हैं। फिर आप नई चुनौतियों और उनके कॉन्फ़िगरेशन के साथ नई docker-compose फ़ाइल उत्पन्न करने के लिए generate.py स्क्रिप्ट का उपयोग कर सकते हैं।

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

घटक

Playground वातावरण निम्नलिखित घटकों का उपयोग करता है:

अनिवार्य घटक

• challenge-home: Playground वातावरण का लैंडिंग पृष्ठ। यह सभी चुनौतियों को सूचीबद्ध करता है और चुनौती वातावरण का लिंक प्रदान करता है। BlackHat पाठ्यक्रम में, इस लैंडिंग पृष्ठ का उपयोग नहीं किया गया था। चुनौतियाँ CTFd प्लेटफ़ॉर्म पर सूचीबद्ध थीं। इस रिपॉजिटरी में, निर्भरताओं को सीमित करने और बेहतर अनुभव प्रदान करने के लिए इस लैंडिंग पृष्ठ का उपयोग किया जाता है। लैंडिंग पृष्ठ खिलाड़ियों की प्रगति को ट्रैक नहीं करता है और कोई लीडरबोर्ड प्रदान नहीं करता है।
• chat-copilot: यह playground वातावरण का मुख्य घटक है। यह एक वेब एप्लिकेशन है जो AI मॉडल के साथ बातचीत करने के लिए चैट इंटरफ़ेस प्रदान करता है। यह Chat Copilot प्रोजेक्ट पर काफी हद तक आधारित है। इस घटक को कई अलग-अलग चुनौतियों के लिए कॉन्फ़िगर किया जा सकता है। प्रत्येक चुनौती के लिए chat-copilot का एक इंस्टेंस तैनात किया जाता है।

वैकल्पिक घटक

• ctfd: CTFd एक Capture The Flag (CTF) प्लेटफ़ॉर्म है जिसका उपयोग चुनौतियों को होस्ट करने के लिए किया जाता है। इसका उपयोग खिलाड़ियों की प्रगति को ट्रैक करने और लीडरबोर्ड प्रदान करने के लिए किया जाता है, और यह बड़े आयोजन की मेजबानी करने का अनुशंसित तरीका है। इस रिपॉजिटरी में शामिल कोड प्लेटफ़ॉर्म पर चुनौतियों को स्वचालित रूप से बनाने और आपकी ओर से फ़्लैग सबमिट करने का ध्यान रखता है।
• chat-score: यह चैट-स्कोरिंग एप्लिकेशन है जिसका उपयोग पाठ्यक्रम में चुनौतियों को स्कोर करने के लिए किया जाता है। यह समीक्षकों को सबमिट की गई बातचीत देखने, उन्हें स्कोर करने और प्रतिक्रिया प्रदान करने की अनुमति देता है। यदि आप केवल चुनौतियों को आज़मा रहे हैं, तो आप इस घटक को अनदेखा कर सकते हैं और स्वयं निर्णय ले सकते हैं कि चुनौती पूरी हुई या नहीं। इस एप्लिकेशन का उपयोग CTFd के साथ किया जाना आवश्यक है क्योंकि फ़्लैग इसी तरह सबमिट किए जाते हैं। इस रिपॉजिटरी में, इस एप्लिकेशन का उपयोग नहीं किया जाता है। कोड संदर्भ के लिए रिपॉजिटरी में शामिल किया गया है।
• picture-submission: यह एक एप्लिकेशन है जिसका उपयोग चित्र सबमिट करने के लिए किया जाता है। इस घटक का उपयोग उन labs के लिए किया गया था जिनमें AI मॉडल द्वारा उत्पन्न चित्र सबमिट करना आवश्यक था। यह घटक स्कोर करने के लिए चित्रों को chat-score घटक को भेजता था। इस घटक का उपयोग इस रिपॉजिटरी में नहीं किया जाता है। कोड संदर्भ के लिए रिपॉजिटरी में शामिल किया गया है।
• loadbalancer: यह एक लोड बैलेंसर है जिसका उपयोग कई Azure OpenAI एंडपॉइंट्स पर अनुरोधों को round-robin तरीके से भेजने के लिए किया गया था। यह घटक इसलिए बनाया गया था ताकि यह इस API द्वारा प्रदान किए गए शेष अनुरोधों की संख्या वाले headers का लाभ उठा सके। इस तरह हम सिस्टम की क्षमता बढ़ा सकते थे और एक ही एंडपॉइंट द्वारा rate limit नहीं होते थे। इस घटक का उपयोग इस रिपॉजिटरी में नहीं किया जाता है। कोड संदर्भ के लिए रिपॉजिटरी में शामिल किया गया है।

परिनियोजन

मूल रूप से, ये चुनौतियाँ Azure में Kubernetes पर तैनात की गई थीं। Kubernetes डिप्लॉयमेंट फ़ाइलें संदर्भ के लिए रिपॉजिटरी में शामिल हैं। वे k8s फ़ोल्डर में स्थित हैं। परिनियोजन deploy.py स्क्रिप्ट की सहायता से किया गया था। यह स्क्रिप्ट Kubernetes टेम्पलेट का उपयोग करती थी और चुनौती विवरण वाली एकल JSON फ़ाइल के आधार पर आवश्यक परिवर्तन करती थी कि हमें कौन सी चुनौतियाँ तैनात करनी हैं।

संबंधित सामग्री

• PyRIT Website
• PyRIT Discord से जुड़ें
• Microsoft AI रेड टीम अवलोकन