مختبرات ساحة الاختبار الهجومي للذكاء الاصطناعي

يحتوي هذا المستودع على التحديات الخاصة بالمختبرات المستخدمة في دورة "الاختبار الهجومي للذكاء الاصطناعي عمليًا". قُدمت الدورة في الأصل في Black Hat USA 2024 بواسطة الدكتورة أماندا مينيتش وغاري لوبيز. تولى مارتن بوليوت البنية التحتية وتسجيل النتائج للتحديات. صُممت التحديات بواسطة الدكتورة أماندا مينيتش وغاري لوبيز ومارتن بوليوت. هذه التحديات متاحة لأي شخص لاستخدامها. تعتمد بيئة ساحة الاختبار على Chat Copilot وتم تعديلها لاستخدامها في الدورة.

تتم الإشارة إلى هذه التحديات أيضًا في السلسلة المحدودة من Microsoft Learn: أساسيات الاختبار الهجومي للذكاء الاصطناعي 101، التي صدرت في 9 يوليو 2025. في جدول التحديات أدناه، ستجد رابط الفيديو ذا الصلة بكل تحدٍّ من السلسلة. خلال Microsoft Build في مايو 2025، تمت أتمتة العديد من هذه التحديات بواسطة أداة تحديد المخاطر بلغة بايثون (PyRIT)، وهي إطار عمل مفتوح المصدر صُمم لتمكين المتخصصين في الأمن والمهندسين من تحديد المخاطر بشكل استباقي في أنظمة الذكاء الاصطناعي التوليدي. يحتوي هذا المستودع على دفاتر Jupyter المقابلة التي تعرض كيفية استخدام PyRIT لحل تحديات المختبرين 1 و5. ستجد أيضًا دفتر ملاحظات لـ "المختبر 13"، والذي لا يحتوي على تحدٍّ مرتبط به لأنه مخصص للدفتر فقط.

ما الذي ستتعلمه

صُممت هذه التحديات لتعليم المتخصصين في الأمن كيفية إجراء اختبار هجومي منهجي على أنظمة الذكاء الاصطناعي. وهي تتجاوز الإخفاقات الأمنية التقليدية من خلال دمج أساليب جديدة في التعلم الآلي الخصامي وإخفاقات الذكاء الاصطناعي المسؤول (RAI)، مما يتيح اتباع نهج شامل لتحديد المشكلات المحتملة قبل نشر نظام الذكاء الاصطناعي.

التحديات

البدء

المتطلبات الأساسية

• تم تثبيت Docker
• تم تثبيت Python 3.8+
• الخيار 1: نقطة نهاية Azure OpenAI Endpoint مع مفتاح api-key
• الخيار 2: مفتاح OpenAI API لاستخدام واجهة برمجة تطبيقات OpenAI القياسية
• بالنسبة إلى Azure OpenAI: نشر Azure Foundry باسم text-embedding-ada-002 باستخدام النموذج text-embedding-ada-002، بالإضافة إلى النموذج الذي تنوي استخدامه. مثال: gpt-4o

الإعداد

الخيار 1: استخدام Azure OpenAI (docker-compose.yaml)

يمكنك تعيين متغيرات البيئة لنقطة نهاية Azure OpenAI في ملف .env. يُرجى استخدام ملف .env.example كقالب.

الخيار 2: استخدام واجهة برمجة تطبيقات OpenAI القياسية (docker-compose-openai.yaml)

إذا كنت تفضل استخدام واجهة برمجة تطبيقات OpenAI القياسية، فستحتاج إلى تكوين متغيرات البيئة التالية:

export OPENAI_API_KEY="your-openai-api-key"
export OPENAI_TEXT_MODEL="gpt-4o"  # or the model of your choice
export OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
export AUTH_KEY="your-auth-key"
export SECRET_KEY="your-secret-key"

تشغيل مختبرات ساحة الاختبار

الخيار 1: باستخدام Azure OpenAI

أسهل طريقة لتشغيل مختبرات ساحة الاختبار هي استخدام ملف Docker Compose المرفق في هذا المستودع. سيؤدي ذلك إلى تشغيل جميع المكونات اللازمة لتشغيل بيئة ساحة الاختبار مع مجموعة من 12 تحديًا.

docker-compose up

الخيار 2: باستخدام واجهة برمجة تطبيقات OpenAI القياسية

لاستخدام واجهة برمجة تطبيقات OpenAI القياسية بدلاً من Azure OpenAI، استخدم ملف docker-compose-openai.yaml:

docker compose -f docker-compose-openai.yaml up

الوصول إلى التحديات

بمجرد تشغيل التحديات، يمكنك الوصول إليها باستخدام عنوان URL التالي: http://localhost:5000/login?auth=[YOUR-AUTH-KEY].

على نظام macOS، ستحتاج إلى الوصول إلى http://127.0.0.1:5000/login?auth=[YOUR-AUTH-KEY] لأن localhost يُعيَّن إلى IPv6 بينما تستمع الحاويات على IPv4.

تغيير التحديات

إذا كنت ترغب في تغيير التحديات، يمكنك القيام بذلك عن طريق تعديل ملف challenges/challenges.json. يحتوي هذا الملف على وصف التحديات وأهدافها. يمكنك بعد ذلك استخدام البرنامج النصي generate.py لإنشاء ملف docker-compose الجديد مع التحديات الجديدة وإعداداتها.

cd challenges
python -m venv .env
source .env/bin/activate
pip install -r requirements.txt
python generate.py challenges.json

المكونات

تستخدم بيئة ساحة الاختبار المكونات التالية:

المكونات الإلزامية

• challenge-home: الصفحة الرئيسية لبيئة ساحة الاختبار. تعرض جميع التحديات وتوفر رابطًا لبيئة التحدي. في دورة BlackHat، لم تُستخدم هذه الصفحة الرئيسية. كانت التحديات مُدرجة في منصة CTFd. في هذا المستودع، تُستخدم هذه الصفحة الرئيسية بدلاً من ذلك للحد من الاعتماديات وتوفير تجربة أفضل. لا تتعقب الصفحة الرئيسية تقدم اللاعبين ولا توفر لوحة صدارة.
• chat-copilot: هذا هو المكوّن الرئيسي لبيئة ساحة الاختبار. وهو تطبيق ويب يوفر واجهة محادثة للتفاعل مع نماذج الذكاء الاصطناعي. يعتمد بشكل كبير على مشروع Chat Copilot. يمكن تكوين هذا المكوّن للعديد من التحديات المختلفة. يتم نشر نسخة واحدة من chat-copilot لكل تحدٍّ.

المكونات الاختيارية

• ctfd: CTFd هي منصة "التقاط العلم" (Capture The Flag - CTF) تُستخدم لاستضافة التحديات. وهي تُستخدم لتتبع تقدم اللاعبين وتوفير لوحة صدارة، وهي الطريقة الموصى بها لاستضافة حدث أكبر. يتولى الكود الموجود في هذا المستودع إنشاء التحديات تلقائيًا في المنصة وتقديم الأعلام نيابةً عنك.
• chat-score: هذا هو تطبيق تسجيل المحادثات المستخدم لتسجيل نتائج التحديات في الدورة. وقد سمح للمراجعين برؤية المحادثات المُرسلة وتسجيلها وتقديم ملاحظاتهم. إذا كنت تجرّب التحديات فقط، يمكنك تجاهل هذا المكوّن ويمكنك أن تقرر بنفسك ما إذا كان التحدي قد اكتمل أم لا. يحتاج هذا التطبيق إلى استخدامه مع CTFd لأنها الطريقة التي تُرسل بها الأعلام. في هذا المستودع، لا يُستخدم هذا التطبيق. الكود مضمّن في المستودع للرجوع إليه.
• picture-submission: هذا تطبيق يُستخدم لتقديم الصور. استُخدم هذا المكوّن في المختبرات التي تتطلب تقديم صورة تم إنشاؤها بواسطة نموذج ذكاء اصطناعي. كان هذا المكوّن يرسل الصور إلى مكوّن chat-score لتقييمها. لا يُستخدم هذا المكوّن في هذا المستودع. الكود مضمّن في المستودع للرجوع إليه.
• loadbalancer: هذا موازن تحميل كان يستخدم لتوزيع الطلبات بالتناوب على نقاط نهاية Azure OpenAI المتعددة. أُنشئ هذا المكوّن للاستفادة من الرؤوس التي توفرها هذه الواجهة حول عدد الطلبات المتبقية. بهذه الطريقة يمكننا زيادة سعة النظام وعدم التعرض لتقييد معدل الطلبات من نقطة نهاية واحدة. لا يُستخدم هذا المكوّن في هذا المستودع. الكود مضمّن في المستودع للرجوع إليه.

النشر

في الأصل، تم نشر هذه التحديات في Kubernetes على Azure. ملفات نشر Kubernetes مضمّنة في المستودع للرجوع إليها، وهي موجودة في مجلد k8s. تم النشر بمساعدة البرنامج النصي deploy.py. كان هذا البرنامج النصي يستخدم قالب Kubernetes ويجري التغييرات اللازمة لتحديد التحديات التي نحتاج إلى نشرها بناءً على ملف JSON واحد يحتوي على وصف التحدي.

محتوى ذو صلة

• موقع PyRIT
• انضم إلى Discord الخاص بـ PyRIT
• نظرة عامة على فريق الاختبار الأحمر للذكاء الاصطناعي من Microsoft