قائمة رائعة لأمن الذكاء الاصطناعي

قائمة منسّقة لأطر ومعايير وموارد تعليمية وأدوات مفتوحة المصدر رائعة متعلقة بأمن الذكاء الاصطناعي.

إذا كنت ترغب في المساهمة، أنشئ PR أو تواصل معي @ottosulin.

جدول المحتويات

• موارد تعليمية
  • قراءات وأدلة
  • دورات ومختبرات وCTFs
  • بودكاست
• الحوكمة وإدارة المخاطر
  • الأطر
  • المعايير والتحقق
  • التصنيفات والمصطلحات وقواعد بيانات المخاطر
  • قوائم التحقق والإرشادات العملية
• تقنيات الهجوم والفريق الأحمر
  • التعلم الآلي الخصامي والنماذج الكلاسيكية
  • الفريق الأحمر لـ LLM وGenAI
  • الذكاء الاصطناعي الوكيلي وأدوات هجوم MCP
  • الأمن الهجومي بمساعدة الذكاء الاصطناعي
  • التخفي والقنوات السرية
• المعايير المرجعية والتقييمات
• الدفاع وضوابط الأمان
  • حواجز الإدخال/الإخراج
  • أمن وقت تشغيل الوكيل والعزل
  • أمن MCP
  • فحص النماذج والمخرجات
  • الأمن الدفاعي بمساعدة الذكاء الاصطناعي
  • الخصوصية والحوسبة السرية
  • أمن البيانات وسلسلة التوريد
• مهارات أمن الذكاء الاصطناعي الوكيلي
• نماذج الذكاء الاصطناعي المركّزة على الأمن

موارد تعليمية

قراءات وأدلة

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - مركز موارد NIST للذكاء الاصطناعي الموثوق والمسؤول
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - دليل مرجعي يربط تهديدات GenAI بضوابط الدفاع المقابلة.
• NCSC Guidelines for Secure AI System Development - إرشادات عملية شارك في تأليفها NCSC (المملكة المتحدة) وCISA لتطوير الذكاء الاصطناعي بشكل آمن، تغطي التصميم والتطوير والنشر والتشغيل.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - مسار عمل التحالف من أجل الذكاء الاصطناعي الآمن (Coalition for Secure AI) لإعداد المدافعين لتهديدات عصر الذكاء الاصطناعي.

دورات ومختبرات وCTFs

• Damn Vulnerable MCP Server - تنفيذ معرّض للثغرات بشكل متعمد لبروتوكول سياق النموذج (MCP) لأغراض تعليمية.
• otto-support - تنفيذ خادم MCP معرّض للثغرات باستخدام mcp-go مع مصادقة متعددة المستويات (4 أدوار)، و19 أداة، وحاوية معزولة مدمجة مع Claude Code للتدريب على تصعيد الامتيازات وإساءة استخدام الأدوات.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - مجموعة من الخوادم المعرّضة للثغرات بشكل متعمد لتعلّم اختبار اختراق خوادم MCP.
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot هو منصة تفاعلية لالتقاط العلم (CTF) في الأمن الوكيلي تحاكي ثغرات واقعية في أنظمة الذكاء الاصطناعي الوكيلي باستخدام تطبيق محاكٍ يركز على الخدمات المالية.
• AI-Red-Teaming-Playground-Labs - مختبرات تدريب الفريق الأحمر للذكاء الاصطناعي لتشغيل تدريبات الفريق الأحمر للذكاء الاصطناعي بما في ذلك البنية التحتية.
• Damn Vulnerable LLM Agent - وكيل LLM معرّض للثغرات بشكل متعمد لتعلّم حقن الأوامر وإساءة استخدام الأدوات وأمن الوكلاء
• • LLMVault - مختبر أمني مفتوح المصدر بأسلوب CTF لأمن LLM لتعلّم OWASP LLM Top 10 من خلال تمارين تطبيقية معرّضة للثغرات تغطي حقن الأوامر وهجمات RAG وتسريب أوامر النظام وإساءة استخدام الأدوات وأمن الوكلاء.

بودكاست

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - بودكاست أسبوعي من Black Hills Information Security يستكشف كيف يحوّل الذكاء الاصطناعي الأمن السيبراني—يغطي التهديدات الناشئة والأدوات والاتجاهات بمعرفة عملية قابلة للتنفيذ.
• GenAI Security podcast

الحوكمة وإدارة المخاطر

الأطر

• NIST AI Risk Management Framework
• ISO/IEC 42001 Artificial Intelligence Management System
• ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management
• Google Secure AI Framework (SAIF)
• ENISA Multilayer Framework for Good Cybersecurity Practices for AI
• OWASP Artificial Intelligence Maturity Assessment
• CSA AI Model Risk Framework
• CSA Maestro AI Threat Modeling Framework
• CSA AI Controls Matrix - مصفوفة ضوابط شاملة لأنظمة الذكاء الاصطناعي تغطي الحوكمة والمخاطر والامتثال.
• OWASP Agentic AI Top 10 - أفضل 10 للذكاء الاصطناعي الوكيلي يعمل كأساس للفريق الأحمر في OWASP وCSA.
• OWASP GenAI Crosswalk - مخطط ربط تفاعلي يربط مخاطر OWASP GenAI (LLM Top 10، Agentic Top 10، DSGAI 2026) بـ 25 إطاراً صناعياً مع تقييم التغطية وتحليل الفجوات.
• NIST SP 800-218A Secure Software Development Practices for Generative AI and Dual-Use Foundation Models - امتداد لـ SSDF (SP 800-218) مع ممارسات محددة لتطوير GenAI والنماذج الأساسية ثنائية الاستخدام.
• NIST AI 600-1 Generative AI Profile - ملف مرافق لـ NIST AI RMF 1.0 مع إجراءات مخاطر محددة لأنظمة الذكاء الاصطناعي التوليدي بما في ذلك مخاطر فريدة مثل الهلوسة وتسميم البيانات والخصوصية.