أمان الذكاء الاصطناعي الرائع

قائمة منسقة لأطر العمل والمعايير وموارد التعلم والأدوات مفتوحة المصدر الرائعة المتعلقة بأمن الذكاء الاصطناعي.

إذا كنت ترغب في المساهمة، قم بإنشاء طلب سحب (PR) أو تواصل معي @ottosulin.

جدول المحتويات

• موارد التعلم
  • قراءة وأدلة
  • دورات ومختبرات وتحديات CTF
  • بودكاست
• الحوكمة وإدارة المخاطر
  • الأطر
  • المعايير والتحقق
  • التصنيفات والمصطلحات وقواعد بيانات المخاطر
  • قوائم التحقق والإرشادات العملية
• تقنيات الهجوم والفرق الحمراء
  • التعلم الآلي العدائي والنماذج التقليدية
  • الفرق الحمراء لنماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي
  • أدوات هجوم الذكاء الاصطناعي العاملي وبروتوكول MCP
  • الأمن الهجومي بمساعدة الذكاء الاصطناعي
  • الإخفاء والقنوات الخفية
• المعايير والتقييمات
• الدفاع وضوابط الأمن
  • حواجز الحماية للإدخال/الإخراج
  • أمان بيئة تشغيل العامل والعزل
  • أمان بروتوكول MCP
  • فحص النماذج والقطع الأثرية
  • الأمن الدفاعي بمساعدة الذكاء الاصطناعي
  • الخصوصية والحوسبة السرية
  • أمن البيانات وسلسلة التوريد
• مهارات أمن الذكاء الاصطناعي العاملي
• نماذج الذكاء الاصطناعي الموجهة للأمن

موارد التعلم

قراءة وأدلة

• OWASP ML TOP 10
• OWASP LLM TOP 10
• دليل OWASP لأمن وخصوصية الذكاء الاصطناعي
• NIST AIRC - مركز موارد NIST للذكاء الاصطناعي الجدير بالثقة والمسؤول
• أفضل 10 ممارسات لأمن عمليات تعلم الآلة (MLSecOps) من معهد الأخلاقيات في الذكاء الاصطناعي والتعلم الآلي
• OWASP: نمذجة تهديدات الأنظمة متعددة العوامل
• OWASP: ورقة غش – دليل عملي لاستخدام خوادم MCP التابعة لجهات خارجية بشكل آمن 1.0
• بوصلة التهديدات والدفاع للذكاء الاصطناعي التوليدي من OWASP - دليل مرجعي يربط تهديدات الذكاء الاصطناعي التوليدي بضوابط الدفاع المقابلة.
• إرشادات NCSC لتطوير أنظمة الذكاء الاصطناعي الآمنة - إرشادات عملية شاركت في تأليفها NCSC (المملكة المتحدة) وCISA لتطوير الذكاء الاصطناعي بشكل آمن، تغطي التصميم والتطوير والنشر والتشغيل.

دورات ومختبرات وتحديات CTF

• خادم MCP شديد الضعف - تنفيذ ضعيف عمدًا لبروتوكول سياق النموذج (MCP) للأغراض التعليمية.
• otto-support - تنفيذ خادم MCP ضعيف باستخدام mcp-go مع مصادقة متدرجة (4 أدوار)، و19 أداة، وحاوية معزولة مدمجة مع Claude Code لممارسة تصعيد الامتيازات وسوء استخدام الأدوات.
• تمرين OWASP WrongSecrets LLM
• مختبر خوادم MCP الضعيفة - مجموعة من الخوادم الضعيفة عمدًا لتعلم اختبار اختراق خوادم MCP.
• تطبيق FinBot لالتقاط العلم (CTF) للذكاء الاصطناعي العاملي - FinBot هو منصة تفاعلية من نوع "التقاط العلم" (CTF) لأمن الذكاء الاصطناعي العاملي تحاكي ثغرات العالم الحقيقي في أنظمة الذكاء الاصطناعي العاملي باستخدام تطبيق يحاكي خدمات مالية.
• مختبرات ساحة تدريب الفرق الحمراء للذكاء الاصطناعي - مختبرات ساحة تدريب للفرق الحمراء للذكاء الاصطناعي لتشغيل تدريبات الفرق الحمراء بما في ذلك البنية التحتية.
• وكيل LLM شديد الضعف - وكيل LLM ضعيف عمدًا لتعلم حقن الأوامر وسوء استخدام الأدوات وأمن الوكيل.
• LLMVault - مختبر أمن LLM مفتوح المصدر من نوع CTF لتعلم أفضل 10 ممارسات OWASP LLM من خلال تمارين ضعيفة عملية تغطي حقن الأوامر وهجمات RAG وتسريب الأوامر النظامية وسوء استخدام الأدوات وأمن الوكيل.

بودكاست

• بودكاست MLSecOps
• بودكاست أمن الذكاء الاصطناعي
• عمليات أمن الذكاء الاصطناعي - بودكاست أسبوعي من Black Hills Information Security يستكشف كيف يحول الذكاء الاصطناعي الأمن السيبراني، ويغطي التهديدات والأدوات والاتجاهات الناشئة بمعرفة عملية قابلة للتنفيذ.
• بودكاست أمن الذكاء الاصطناعي التوليدي

الحوكمة وإدارة المخاطر

الأطر

• إطار NIST لإدارة مخاطر الذكاء الاصطناعي
• ISO/IEC 42001 نظام إدارة الذكاء الاصطناعي
• ISO/IEC 23894:2023 تكنولوجيا المعلومات — الذكاء الاصطناعي — إرشادات حول إدارة المخاطر
• إطار Google للأمن الذكي للذكاء الاصطناعي (SAIF)
• إطار ENISA متعدد الطبقات للممارسات الجيدة للأمن السيبراني للذكاء الاصطناعي
• تقييم نضج الذكاء الاصطناعي من OWASP
• إطار CSA لإدارة مخاطر نماذج الذكاء الاصطناعي
• إطار نمذجة تهديدات الذكاء الاصطناعي العاملي Maestro من CSA
• مصفوفة ضوابط CSA للذكاء الاصطناعي - مصفوفة ضوابط شاملة لأنظمة الذكاء الاصطناعي تغطي الحوكمة والمخاطر والامتثال.
• أفضل 10 ممارسات للذكاء الاصطناعي العاملي من OWASP - أفضل 10 ممارسات للذكاء الاصطناعي العاملي تعمل كنواة للفرق الحمراء في OWASP وCSA.

المعايير والتحقق

• معيار OWASP للتحقق من أمن الذكاء الاصطناعي
• خدمة أسماء الوكلاء من OWASP
• معيار OWASP لمراقبة الوكلاء
• AI Verify - إطار وأدوات اختبار ذكاء اصطناعي مدعومة من حكومة سنغافورة للتحقق من خصائص أنظمة الذكاء الاصطناعي مقابل أطر الحوكمة.

التصنيفات والمصطلحات وقواعد بيانات المخاطر

• NIST AI 100-2e2023 - تصنيف ومصطلحات التعلم الآلي العدائي
• MITRE ATLAS
  • وكيل قاعدة معرفة ATLAS - مساعد ذكاء اصطناعي مفتوح المصدر لاستكشاف قاعدة معرفة ATLAS باستخدام اللغة الطبيعية، وخادم MCP، وسير عمل وكيل قابل للتخصيص.
• AVIDML
• مستودع مخاطر الذكاء الاصطناعي من MIT
• قاعدة بيانات حوادث الذكاء الاصطناعي
• ISO/IEC 22989:2022 تكنولوجيا المعلومات — الذكاء الاصطناعي — مفاهيم ومصطلحات الذكاء الاصطناعي
• مسرد مصطلحات NIST للذكاء الاصطناعي
• تصنيف حقن الأوامر من Arcanum - نظام تصنيف شامل لهجمات حقن الأوامر يغطي أهداف الهجوم وتقنياته وأساليب التمويه ونواقل الإدخال. يصنف الأهداف والأساليب وتقنيات الإبهام وأسطح الهجوم لهجمات حقن الأوامر.
• تصنيف تهديدات LLM من CSA
• نظام OWASP لتسجيل نقاط ضعف الذكاء الاصطناعي (AIVSS) - نظام تسجيل للثغرات الخاصة بالذكاء الاصطناعي، يوسع مفاهيم CVSS لأبعاد مخاطر الذكاء الاصطناعي.

قوائم التحقق والإرشادات العملية

• قائمة التحقق من الأمن السيبراني والحوكمة لتطبيقات LLM من OWASP
• دليل OWASP لأمن وخصوصية الذكاء الاصطناعي
• دليل مركز التميز لأمن LLM والذكاء الاصطناعي التوليدي من OWASP
• الذكاء الاصطناعي العاملي من OWASP – التهديدات والتخفيفات
• مشهد حلول أمن الذكاء الاصطناعي من OWASP
• دليل الاستجابة للحوادث في الذكاء الاصطناعي التوليدي من OWASP
• أفضل ممارسات أمن البيانات لـ LLM والذكاء الاصطناعي التوليدي من OWASP
• تأمين تطبيقات الذكاء الاصطناعي العاملي من OWASP
• دليل الفرق الحمراء للذكاء الاصطناعي التوليدي من OWASP

تقنيات الهجوم والفرق الحمراء

التعلم الآلي العدائي والنماذج التقليدية

• مجموعة أدوات المتانة العدائية - تركز ART على تهديدات التهرب (تغيير سلوك النموذج بتعديلات الإدخال)، والتسميم (التحكم في النموذج بتعديلات بيانات التدريب)، والاستخراج (سرقة النموذج من خلال الاستعلامات)، والاستدلال (مهاجمة خصوصية بيانات التدريب)
• cleverhans - مكتبة أمثلة عدائية لبناء الهجمات وبناء الدفاعات وقياس أداء كليهما
• foolbox - صندوق أدوات بايثون لإنشاء أمثلة عدائية تخدع الشبكات العصبية في PyTorch وTensorFlow وJAX
• TextAttack - إطار بايثون للهجمات العدائية وزيادة البيانات وتدريب النماذج في معالجة اللغة الطبيعية
• Counterfit - طبقة أتمتة عامة لتقييم أمن أنظمة التعلم الآلي
• كتيب OffsecML - مجموعة من التكتيكات والتقنيات والإجراءات (TTPs) الهجومية والعدائية مع إثباتات المفهوم
• BadDiffusion - المستودع الرسمي لإعادة إنتاج الورقة البحثية "How to Backdoor Diffusion Models?" المنشورة في CVPR 2023
• secml-torch - SecML-Torch: مكتبة لتقييم متانة نماذج التعلم العميق

الفرق الحمراء لنماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي

• garak - أداة فحص أمني لنماذج اللغة الكبيرة
• ai-scanner - تطبيق ويب مفتوح المصدر لتقييم أمن نماذج الذكاء الاصطناعي، مبني على إطار NVIDIA garak. يتميز بـ 179 مسبارًا، ومسح متعدد الأهداف، ومسح مجدول، وتسجيل ASR، وتكامل SIEM.
• promptfoo - اختبر أوامرك ووكلاءك وأنظمة RAG. الفرق الحمراء واختبار الاختراق وفحص الثغرات لنماذج اللغة الكبيرة. قارن أداء GPT وClaude وGemini وLlama وغيرها. تكوينات تعريفية بسيطة مع واجهة سطر أوامر وتكامل CI/CD.
• PyRIT - إطار عمل بايثون لتحديد المخاطر للذكاء الاصطناعي التوليدي (PyRIT) هو إطار مفتوح المصدر صُمم لتمكين محترفي الأمن والمهندسين من تحديد المخاطر بشكل استباقي في أنظمة الذكاء الاصطناعي التوليدي.
• PurpleLlama - مجموعة أدوات لتقييم وتحسين أمن نماذج اللغة الكبيرة.
• augustus - إطار اختبار أمني لنماذج اللغة الكبيرة لكشف حقن الأوامر وعمليات الهروب والهجمات العدائية. 190+ مسبارًا، 28 مزودًا، ملف Go ثنائي واحد. جاهز للإنتاج مع مسح متزامن وتحديد معدل ومنطق إعادة المحاولة.
• FuzzyAI - أداة قوية للفحص الآلي الضبابي لنماذج اللغة الكبيرة. صُممت لمساعدة المطورين وباحثي الأمن في تحديد وتخفيف عمليات الهروب المحتملة في واجهات برمجة تطبيقات LLM الخاصة بهم.
• EasyJailbreak - إطار بايثون سهل الاستخدام لإنشاء أوامر هروب عدائية.
• gptfuzz - المستودع الرسمي لـ GPTFUZZER: الفرق الحمراء لنماذج اللغة الكبيرة باستخدام أوامر هروب مولدة تلقائيًا
• llamator - إطار لاختبار ثغرات نماذج اللغة الكبيرة (LLM).
• agentic_security - ماسح ثغرات LLM عاملي / عدة الفرق الحمراء للذكاء الاصطناعي
• Agentic Radar - ماسح أمني مفتوح المصدر لواجهة سطر الأوامر لسير العمل العاملي.
• RAPTOR -

أدوات هجوم الذكاء الاصطناعي العاملي وبروتوكول MCP

• RAMPART - إطار اختبار أمني وسلامة متوافق مع pytest لتطبيقات الذكاء الاصطناعي العاملي.
• AI-Infra-Guard - منصة فرق حمراء شاملة وذكية وسهلة الاستخدام للذكاء الاصطناعي طورها مختبر Tencent Zhuque. تدمج وحدات لفحص البنية التحتية وفحص MCP وتقييم الهروب، وتوفر واجهة ويب بنقرة واحدة وواجهات REST API ونشر قائم على Docker لتقييم أمن الذكاء الاصطناعي شامل.
• OpenPromptInjection - معيار لهجمات ودفاعات حقن الأوامر
• AIMap - منصة اكتشاف واختبار أمني على نطاق الإنترنت للبنية التحتية المكشوفة لوكلاء الذكاء الاصطناعي. يستعلم Shodan عن خوادم MCP ومثيلات Ollama ووكلاء vLLM/LiteLLM وغيرها — ثم يقوم ببصمتها وتقييم المخاطر وإطلاق مجموعات هجوم خاصة بالبروتوكول مع نتائج دفق في الوقت الفعلي.### الأمن الهجومي بمساعدة الذكاء الاصطناعي
• PentestGPT - أداة اختبار اختراق مدعومة بـ GPT
• HackingBuddyGPT - مساعدة المخترقين الأخلاقيين على استخدام نماذج اللغة الكبيرة في 50 سطرًا من الكود أو أقل
• cai - ذكاء اصطناعي للأمن السيبراني (CAI)، ذكاء اصطناعي مفتوح المصدر جاهز لمكافآت الثغرات (ورقة بحثية)
• shannon - مختبِر اختراق آلي بالكامل للتطبيقات وواجهات برمجة التطبيقات من Keygraph. اختبار أمان من النوع الصندوق الأبيض يحلل الكود المصدري، ويحدد نواقل الهجوم، وينفذ استغلالات فعلية. نسبة نجاح 96.15% (100/104 استغلال) على معيار XBOW.
• strix - Strix هي عوامل ذكاء اصطناعي مستقلة تتصرف تمامًا مثل المخترقين الحقيقيين - تشغل كودك ديناميكيًا، وتجد الثغرات، وتتحقق منها من خلال إثباتات مفاهيم فعلية
• redamon - إطار عمل فريق أحمر وكيلي مدعوم بالذكاء الاصطناعي يقوم بأتمتة عمليات الأمن الهجومي من الاستطلاع إلى الاستغلال إلى ما بعد الاستغلال دون أي تدخل بشري.
• CyberStrikeAI - منصة اختبار أمان أصلية بالذكاء الاصطناعي مبنية بلغة Go. تدمج أكثر من 100 أداة أمان مع محرك تنسيق ذكي، واختبار قائم على الأدوار بأدوار أمان محددة مسبقًا، ونظام مهارات، وإدارة شاملة لدورة الحياة. تستخدم بروتوكول MCP وعوامل الذكاء الاصطناعي للأتمتة من البداية إلى النهاية من الأوامر الحوارية إلى اكتشاف الثغرات.

إخفاء المعلومات والقنوات السرية

• ST3GG - مجموعة إخفاء معلومات شاملة مع تشفير متعدد الطبقات، وإخفاء معلومات في الصور والصوت، وأدوات تحليل إخفاء المعلومات لكشف البيانات المخفية في الوسائط المولدة بالذكاء الاصطناعي.

المعايير والتقييمات

• ISC-Bench - انهيار السلامة الداخلية: يكسر أي نموذج لغة كبير متطور (Claude Opus 4.6, GPT-5.4) في pass@3 عبر إكمال المهام العادية - بدون استدعاء عدائي. صندوق أسود، عبر المجالات، عبر العلوم. نمط فشل جديد. [ورقة بحثية]
• jailbreakbench - JailbreakBench: معيار متانة مفتوح لكسر نماذج اللغة [مسار مجموعات البيانات والمعايير NeurIPS 2024]
• AgentDojo - بيئة ديناميكية لتقييم الهجمات والدفاعات لعوامل نماذج اللغة الكبيرة.
• AIRTBench - مستودع الكود لـ: AIRTBench: قياس قدرات الفريق الأحمر المستقل للذكاء الاصطناعي في نماذج اللغة
• مجموعة بيانات HackingBuddyGPT المعيارية - مجموعة بيانات معيارية لاختبار الاختراق الآلي
• AgentDoG - AgentDoG هو إطار عمل تقييم وحراسة واعي بالمخاطر للعوامل المستقلة. يركز على تقييم المخاطر على مستوى المسار، بهدف تحديد ما إذا كان مسار تنفيذ العامل يحتوي على مخاطر سلامة في سيناريوهات تطبيق متنوعة.
• AICGSecEval - معيار التقييم الشامل من Tencent لأمان توليد الكود بالذكاء الاصطناعي، يغطي 10 فئات CWE مع أداة اختبار آلية
• Inspect - إطار عمل لتقييمات نماذج اللغة الكبيرة من معهد الأمن للذكاء الاصطناعي في المملكة المتحدة. أكثر من 200 تقييم مبني مسبقًا تغطي هندسة الاستدعاء، واستخدام الأدوات، والحوار متعدد الجولات، والتصنيف المقيّم من النموذج.
• sec-code-bench - معيار Alibaba لتقييم قدرات أمان الكود لنماذج اللغة الكبيرة عبر 17 فئة ثغرات و4 لغات برمجة

الدفاع والضوابط الأمنية

حواجز الحماية للإدخال/الإخراج

• NeMo-Guardrails - NeMo Guardrails هي مجموعة أدوات مفتوحة المصدر لإضافة حواجز حماية قابلة للبرمجة بسهولة إلى أنظمة المحادثة القائمة على نماذج اللغة الكبيرة.
• LlamaFirewall - LlamaFirewall هو إطار عمل مصمم لاكتشاف وتخفيف مخاطر الأمن المرتكزة على الذكاء الاصطناعي، ويدعم طبقات متعددة من المدخلات والمخرجات، مثل محادثة نماذج اللغة الكبيرة النموذجية والعمليات الوكيلية متعددة الخطوات الأكثر تقدمًا.
• llm-guard - LLM Guard من Protect AI هي أداة شاملة مصممة لتعزيز أمان نماذج اللغة الكبيرة (LLMs).
• Guardrails.ai - Guardrails هي حزمة Python تتيح للمستخدم إضافة ضمانات للهيكل والنوع والجودة إلى مخرجات نماذج اللغة الكبيرة (LLMs)
• TrustGate - جدار حماية للتطبيقات التوليدية (GAF) لكشف ومنع وحظر الهجمات ضد تطبيقات GenAI
• ZenGuard AI - أسرع طبقة ثقة لعوامل الذكاء الاصطناعي
• LocalMod - واجهة برمجة تطبيقات مراقبة محتوى مستضافة ذاتيًا مع اكتشاف حقن الاستدعاء، وتصفية السمية، واكتشاف المعلومات الشخصية، وتصنيف المحتوى غير اللائق. يعمل بنسبة 100% دون اتصال.
• DynaGuard - نموذج حاجز حماية ديناميكي مع سياسات يحددها المستخدم
• AprielGuard - نموذج حماية أمان وسلامة بمعامل 8B
• Safe Zone - Safe Zone هو محرك مفتوح المصدر لكشف المعلومات الشخصية (PII) وحواجز الحماية يمنع تسرب البيانات الحساسة إلى نماذج اللغة الكبيرة وواجهات برمجة التطبيقات الخارجية.
• superagent - Superagent يوفر حواجز حماية مدربة خصيصًا تجعل عوامل الذكاء الاصطناعي آمنة ومتوافقة.
• ShellWard - وسيطة أمان لعوامل الذكاء الاصطناعي مع دفاع من 8 طبقات ضد حقن الاستدعاء، وتسرب البيانات، والأوامر الخطيرة. بدون تبعيات.
• CodeGate -

أمان وقت تشغيل العوامل والعزل في صندوق الحماية

• OpenShell - OpenShell هو وقت تشغيل آمن وخاص للعوامل المستقلة للذكاء الاصطناعي. يوفر بيئات تنفيذ معزولة تخضع لسياسات YAML تعريفية تمنع الوصول غير المصرح به إلى الملفات، وتسرب البيانات، والنشاط الشبكي غير المنضبط.
• OpenSandbox - وقت تشغيل صندوق حماية آمن وسريع وقابل للتوسع لعوامل الذكاء الاصطناعي. مجموعات تطوير برمجيات متعددة اللغات، وأوقات تشغيل Docker/Kubernetes، وعزل gVisor/Kata Containers/Firecracker. مشروع من مشهد CNCF.
• CubeSandbox - صندوق حماية فوري ومتزامن وآمن وخفيف لعوامل الذكاء الاصطناعي من Tencent Cloud. بداية باردة أقل من 60 مللي ثانية، حمل ذاكرة أقل من 5 ميجابايت، متوافق مع E2B SDK. مبني على RustVMM وKVM مع عزل شديد (نواة مخصصة + eBPF).
• Aegis - EDR مفتوح المصدر لعوامل الذكاء الاصطناعي من Antropos. يراقب العمليات والملفات والشبكة وسلوك العوامل المستقلة للذكاء الاصطناعي في الوقت الفعلي. لا قياس عن بعد، لا سحابة، كل شيء يبقى محليًا.
• Microsoft Agent Governance Toolkit - مجموعة أدوات حوكمة عامل الذكاء الاصطناعي من Microsoft - تطبيق السياسات، وهوية الثقة الصفرية، وعزل التنفيذ في صندوق الحماية، وهندسة الموثوقية للعوامل المستقلة للذكاء الاصطناعي. تغطي 10/10 من OWASP Agentic Top 10.
• agentfield - مستوى تحكم مفتوح المصدر لأنظمة العوامل مع هوية تشفيرية، وتطبيق السياسات، وقابلية مراقبة صديقة للتدقيق.
• leash - Leash يغلف عوامل ترميز الذكاء الاصطناعي في حاويات ويراقب نشاطها.
• vibekit - شغل Claude Code، Gemini، Codex - أو أي عامل ترميز - في صندوق حماية نظيف ومعزول مع تنقيح البيانات الحساسة وقابلية المراقبة المضمنة.
• pipelock - أداة أمان لعوامل الذكاء الاصطناعي - وكيل خروج مع مسح DLP، وحماية SSRF، ومسح استجابات MCP، ومراقبة سلامة مساحة العمل
• skill-scanner - ماسح أمان لمهارات عامل الذكاء الاصطناعي يكتشف حقن الاستدعاء، وتسرب البيانات، وأنماط الكود الضار. يجمع بين الكشف القائم على الأنماط (YAML + YARA)، ونموذج اللغة الكبير كقاضٍ، وتحليل تدفق البيانات السلوكي لكشف التهديدات الشامل.
• -

أمان MCP

• MCP-Security-Checklist - قائمة أمان شاملة لأدوات الذكاء الاصطناعي القائمة على MCP. بنيت بواسطة SlowMist لحماية أنظمة إضافات نماذج اللغة الكبيرة.
• Awesome-MCP-Security - كل ما تحتاج معرفته عن أمان بروتوكول السياق النموذجي (MCP).
• secure-mcp-gateway - بوابة MCP الآمنة هذه مبنية مع المصادقة، والاكتشاف التلقائي للأدوات، والتخزين المؤقت، وتطبيق حواجز الحماية.
• mcp-context-protector - context-protector هو غلاف أمني لخوادم MCP يعالج المخاطر المرتبطة بتشغيل خوادم MCP غير الموثوقة، بما في ذلك القفز بين السطور، وتغييرات تكوين الخادم غير المتوقعة، وهجمات حقن الاستدعاء الأخرى
• mcp-guardian - MCP Guardian يدير وصول مساعد نماذج اللغة الكبيرة الخاص بك إلى خوادم MCP، مما يمنحك تحكمًا في الوقت الفعلي بنشاط نموذج اللغة الكبير الخاص بك.
• إضافة VSCode لتدقيق MCP - تدقيق وتسجيل جميع استدعاءات أدوات MCP لـ GitHub Copilot في VSCode مركزيًا بسهولة.
• MCP-Scan - أداة مسح أمني لخوادم MCP
• ATR (قواعد تهديد العوامل) - قواعد كشف مفتوحة المصدر لتهديدات عامل الذكاء الاصطناعي. 108 قاعدة تعبير عادي تغطي حقن الاستدعاء، وتسميم الأدوات، وتسرب بيانات الاعتماد عبر 9 فئات. تستخدم بواسطة Cisco AI Defense. مرخصة بموجب MIT.
• MCPProxy - وكيل MCP محلي أولاً مع حجر صحي SHA-256 لكل أداة لكشف هجمات تسميم الأدوات والانسحاب، ومسح تلقائي للبيانات الحساسة والأسرار لاستدعاءات الأدوات، وعزل صندوق حماية Docker لخوادم MCP غير الموثوقة، و OAuth 2.1. مرخص بموجب MIT.

مسح النماذج والقطع الأثرية

• modelscan - ModelScan هو مشروع مفتوح المصدر من Protect AI يمسح النماذج لتحديد ما إذا كانت تحتوي على كود غير آمن.
• picklescan - ماسح أمني يكتشف ملفات Python Pickle التي تقوم بإجراءات مشبوهة
• fickling - مفكك ترجمة ومحلل ثابت لتسلسل Pickle في Python
• medusa - ماسح أمني يركز على الذكاء الاصطناعي مع أكثر من 74 محللًا، وأكثر من 180 قاعدة أمان لعامل الذكاء الاصطناعي، وتقليل ذكي للإيجابيات الكاذبة. يدعم جميع اللغات. كشف CVE لـ React2Shell و mcp-remote RCE.
• julius - أداة بصمة خدمة نماذج اللغة الكبيرة للمحترفين الأمنيين. تكتشف أكثر من 32 خدمة ذكاء اصطناعي (Ollama, vLLM, LiteLLM, Hugging Face TGI, إلخ) أثناء اختبارات الاختراق واكتشاف سطح الهجوم. تستخدم بصمة الخدمة القائمة على HTTP لتحديد البنية التحتية للخادم.
• a2a-scanner - مسح عوامل A2A بحثًا عن التهديدات المحتملة والمشكلات الأمنية### الأمن الدفاعي بمساعدة الذكاء الاصطناعي
• Claude Code Security Review - إجراء مراجعة أمنية مدعومة بالذكاء الاصطناعي باستخدام Claude لتحليل تغييرات الكود بحثًا عن الثغرات الأمنية.
• deepsec - ماسح ثغرات يعمل بواسطة وكلاء ذكاء اصطناعي من Vercel Labs للعثور على المشكلات التي يصعب اكتشافها في قواعد الأكواد الكبيرة باستخدام وكلاء برمجة. يدعم المسح المتوازي، مراجعة الفروق في طلبات السحب (PR diff)، والتكامل مع CI/CD.
• defending-code-reference-harness - تطبيق مرجعي للاكتشاف الذاتي للثغرات وإصلاحها باستخدام Claude. يتضمن نمذجة التهديدات، المسح، الفرز، ومهارات التصحيح.
• Visa Vulnerability Agentic Harness - خط أنابيب SAST وكيل يعمل بـ 11 مرحلة من الكشف إلى الإصلاح المدعوم بـ LLM والتحقق العدائي. ينتج تقارير SARIF، ويتكامل مع Claude Code وCopilot وGemini.
• GhidraGPT - يدمج نماذج GPT في Ghidra لتحليل الكود الآلي، وإعادة تسمية المتغيرات، واكتشاف الثغرات، وتوليد التفسيرات.

الخصوصية والحوسبة السرية

• Python Differential Privacy Library
• Diffprivlib - مكتبة الخصوصية التفاضلية من IBM
• TenSEAL - مكتبة لإجراء عمليات التشفير المتماثل على الموترات
• SyMPC - مكتبة مصاحبة للحساب الآمن متعدد الأطراف لـ Syft
• Cloaked AI - تشفير مفتوح المصدر يحافظ على الخصائص للتمثيلات المتجهية (vector embeddings)
• dstack - إطار عمل ذكاء اصطناعي سري مفتوح المصدر لنشر ML/LLM آمن مع عزل مدعوم بالأجهزة وخصوصية البيانات
• PrivacyRaven - مكتبة اختبار الخصوصية لأنظمة التعلم العميق
• PLOT4ai - مكتبة تهديدات الخصوصية للذكاء الاصطناعي — مكتبة نمذجة تهديدات لمساعدتك في بناء ذكاء اصطناعي مسؤول
• OpenDP - المكتبة الأساسية لخوارزميات الخصوصية التفاضلية من مشروع OpenDP — تُستخدم لبناء خطوط تدريب ML تحافظ على الخصوصية

أمن البيانات وسلسلة التوريد

• datasig - بصمة مجموعة البيانات لـ AIBOM
• OWASP AIBOM - قائمة مكونات الذكاء الاصطناعي
• Trusera ai-bom - قائمة مكونات الذكاء الاصطناعي — اكتشف كل وكيل ذكاء اصطناعي ونموذج وAPI في بنيتك التحتية

مهارات أمن الذكاء الاصطناعي الوكيلة

• Elastic Agent Skills - مجموعة من المهارات لمساعد Elastic AI، تمكن التحقيقات الأمنية باللغة الطبيعية عبر السجلات والتتبعات ومعلومات التهديدات
• Ghost Security Skills - مهارات وأدوات أمن التطبيقات (appsec) الوكيلة لـ Claude Code
• tm_skills - مهارات وكيلة للمساعدة في نمذجة التهديدات المستمرة
• Trail of Bits Skills Marketplace - مهارات Claude Code من Trail of Bits لأبحاث الأمن، واكتشاف الثغرات، وسير عمل التدقيق
• Semgrep Skills - مهارات Semgrep الرسمية لـ Claude Code ومساعدي البرمجة الآخرين بالذكاء الاصطناعي. توفر إمكانيات المسح الأمني، وتحليل الكود، واكتشاف الثغرات مباشرة في سير عمل التطوير المدعوم بالذكاء الاصطناعي.
• claude-bug-bounty - مهارة Claude Code لصيد الثغرات المدفوع بمساعدة الذكاء الاصطناعي. يؤتمت الاستطلاع، واختبار IDOR، XSS، SSRF، OAuth، GraphQL، وحقن LLM مع قائمة تحقق تحقق من 4 بوابات وتوليد التقارير.
• Anthropic Cybersecurity Skills - 734+ مهارة أمن سيبراني منظمة لوكلاء الذكاء الاصطناعي. مرتبطة بـ MITRE ATT&CK، وفق معيار agentskills.io. متوافقة مع Claude Code وCopilot وCodex CLI وCursor وGemini CLI.
• llm-sast-scanner - مهارة SAST لوكلاء البرمجة بالذكاء الاصطناعي (Claude Code، Codex، إلخ) مع كشف منظم للثغرات عبر 34 فئة. تتميز بتحليل التلوث من المصدر إلى المصب، وتحقق القاضي لتقليل النتائج الإيجابية الكاذبة، ودقة/استدعاء 99%+ على المعايير.
• sast-skills - مجموعة من مهارات الوكيل التي تحول مبرمج الذكاء الاصطناعي الخاص بك إلى ماسح SAST
• pentest-ai-agents - 31 وكيل فرعي من Claude Code للأمن الهجومي. وكلاء فرعيون متخصصون بالذكاء الاصطناعي للاستطلاع، والويب، وAD، والسحابة، والجوال، واللاسلكي، والهندسة الاجتماعية، وصنع الحمولات، والهندسة العكسية، وسلاسل الاستغلال، وهندسة الكشف، والأدلة الجنائية، وتوليد التقارير. يمكن لوكلاء المستوى 2 تنفيذ الأدوات مباشرة مع بوابات الموافقة.
• Mantis Skills -

نماذج ذكاء اصطناعي مركزة على الأمن

• VulnLLM-R-7B - LLM استدلال متخصص لاكتشاف الثغرات. يستخدم الاستدلال بسلسلة الأفكار لتحليل تدفق البيانات، وتدفق التحكم، والسياق الأمني. يتفوق على Claude-3.7-Sonnet وCodeQL في معايير اكتشاف الثغرات. يحتوي على 7 مليارات معلمة فقط مما يجعله فعالاً وسريعًا.
• Foundation-Sec-8B-Reasoning - Llama-3.1-FoundationAI-SecurityLLM-8B-Reasoning هو نموذج لغوي مضبوط بالتعليمات مفتوح الأوزان، يبلغ 8 مليارات معلمة، متخصص في تطبيقات الأمن السيبراني. يوسع نموذج Foundation-Sec-8B الأساسي بقدرات اتباع التعليمات والاستدلال.
• Antares (1B & 350M) - نماذج وكيلة لتحديد موقع الثغرات من fdtn-ai. متوفرة في متغيرات 2 مليار و 0.4 مليار معلمة، مصممة لتحديد وتوطين الثغرات في الكود بشكل مستقل.
• CyberSecQwen-4B - _متخصص في معلومات التهديدات السيبرانية (CTI) بـ 4 مليارات معلمة، مضبوط بدقة من Qwen3-4B-Instruct-2507 لمعلومات التهديدات السيبرانية.
• Meta-SecAlign-8B / Meta-SecAlign-70B - نماذج Llama محاذاة أمنياً ومضبوطة لمقاومة هجمات حقن الأوامر (prompt injection)، مع الحفاظ على تسلسل الأوامر حتى تحت المدخلات العدائية.
• Lily-Cybersecurity-7B - نموذج محادثة بـ 7 مليارات معلمة مضبوط للأمن السيبراني، محسن لتحليل الأمن، وتفسير الثغرات، ومهام معلومات التهديدات.

مصنفات السلامة وكشف حقن الأوامر

• Llama-Guard-4-12B - أحدث مصنف سلامة متعدد الوسائط من Meta لكشف المحتوى الضار في مدخلات ومخرجات LLM عبر نص وصورة.
• Llama-Prompt-Guard-2-86M - نموذج خفيف الوزن بـ 86 مليون معلمة من Meta لكشف محاولات حقن الأوامر والتهرب (jailbreak) في خطوط أنابيب LLM الإنتاجية.
• ShieldGemma-2B - مصنف سلامة نصي بـ 2 مليار معلمة من Google لكشف المحتوى الضار، مبني على بنية Gemma.
• DeBERTa Prompt Injection Detector v2 - نموذج DeBERTa-v3-base من Protect AI مضبوط بدقة لكشف حقن الأوامر، مستخدم على نطاق واسع في خطوط أنابيب حماية LLM الإنتاجية.
• Prompt Injection Sentinel - نموذج ModernBERT-large مضبوط بدقة لتصنيف حقن الأوامر والتهرب مع معدل إيجابي كاذب منخفض.
• Nemotron 3.5 Content Safety - نموذج سلامة محتوى متعدد الوسائط من NVIDIA بـ 4 مليارات معلمة يوحد حماية المدخلات للنص+الصورة، ودعم متعدد اللغات (أكثر من 35 لغة)، وتطبيق سياسة مؤسسية قابلة للتخصيص، واستدلال قابل للتدقيق في استدلال واحد. خليفة Nemotron 3 Content Safety.
• BrowseSafe - نموذج أمني متخصص لكشف هجمات حقن الأوامر في وكلاء المتصفح بالذكاء الاصطناعي. يحقق درجة F1 تبلغ 90.4% على BrowseSafe-Bench، محسن للتصنيف غير المتزامن في الوقت الفعلي لمحتوى HTML الخام.

نماذج لغوية أمنية مكيفة للمجال

• ATTACK-BERT - نموذج محول جمل (sentence-transformer) لربط النص الأمني بتقنيات MITRE ATT&CK.
• CySecBERT - نموذج BERT مكيف للأمن السيبراني ومهام CTI من خلال التدريب المسبق الخاص بالمجال.

مجموعات البيانات

• SafetyPrompts - مجموعة منسقة من الأوامر ذات الصلة بالسلامة لتقييم خصائص السلامة والأمن لنماذج LLM.
• Do-Not-Answer - مجموعة بيانات من الأوامر التي يجب ألا تجيب عليها نماذج LLM المسؤولة، لتقييم السلامة والاختبار العدائي (red teaming).
• JailBreakV-28K - مجموعة بيانات واسعة النطاق تضم 28,000 أمر تهرب (jailbreak) لقياس سلامة LLM.
• CL4R1T4S - أوامر نظام مسربة من ChatGPT، Claude، Gemini، Grok، Perplexity، Cursor، Lovable، Replit، وأدوات ذكاء اصطناعي رئيسية أخرى. أكبر مجموعة معروفة من أوامر النظام الإنتاجية لأغراض الشفافية وأبحاث سطح الهجوم.
• LEAKHUB - لوحة تصنيف تسريب أوامر النظام — منصة مجتمعية لتتبع وتصنيف تسريبات أوامر النظام عبر منتجات الذكاء الاصطناعي.
• Leaked System Prompts - مجموعة من أوامر النظام المسربة من أدوات الذكاء الاصطناعي التجارية — مفيدة لفهم هندسة الأوامر العملية وأسطح الهجوم.