Skip to content
KitploitKITPLOIT
أدواتعمليات الاستغلالالمدونة
Log in
إرسال
أدواتعمليات الاستغلالالمدونة
إرسال

أدوات الاختراق واختبار الاختراق والأمن السيبراني لترسانتك الأمنية!

Kitploit هو دليل لأدوات الاختراق والأمن السيبراني واختبار الاختراق. اكتشف آخر تحديثات المشاريع للعثور على الثغرات وتحليل الأنظمة وأتمتة الاختبارات وتعزيز أمنك.

الخلاصاتاتصالالخصوصية© 2026 Kitploit

دليل الأدوات

الفئات

عرض جميع الفئات
Loading categories
أدوات/GitHubGitHub/hondamunigeprasannasilva/attack-attention
تعلم الآلةأمن الذكاء الاصطناعيالهجوم العدائي
GitHubhondamunigeprasannasilva/attack-attention

attack-attention

[CVPR 2025-ADVML] المستودع الرسمي لـ `Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks`

عرض المستودع
مشاركة
646منذ سنة واحدةلم تتم المراجعة بعد

مهاجمة انتباه النماذج الأساسية تعطل المهام النهائية بفعالية

التنفيذ الرسمي لـ PyTorch للورقة "مهاجمة انتباه النماذج الأساسية تعطل المهام النهائية بفعالية"، مقبولة في ورشة عمل التعلم الآلي العدائي على الرؤية الحاسوبية: النماذج الأساسية + X (ADVML) ضمن مؤتمر CVPR 2025.

"مهاجمة انتباه النماذج الأساسية تعطل المهام النهائية بفعالية"
هوندامونيجي براسانا سيلفا، فيديريكو بيكاتيني، ولورينزو سيديناري

الملخص: تمثل النماذج الأساسية أحدث تحول نموذجي بارز في الذكاء الاصطناعي. النماذج الأساسية هي نماذج كبيرة، مدربة على بيانات واسعة تحقق دقة عالية في العديد من المهام النهائية، غالباً دون ضبط دقيق. لهذا السبب، أصبحت نماذج مثل CLIP أو DINO أو محولات الرؤية (ViT) الأساس الذي تقوم عليه العديد من التطبيقات الصناعية المدعومة بالذكاء الاصطناعي. ومع ذلك، فإن الاعتماد على النماذج الأساسية المدربة مسبقاً يقدم أيضاً مخاوف أمنية كبيرة، حيث أن هذه النماذج عرضة للهجمات العدائية. تتضمن هذه الهجمات مدخلات مصممة عمداً لخداع أنظمة الذكاء الاصطناعي، مما يعرض موثوقيتها للخطر. تدرس هذه الورقة نقاط الضعف في النماذج الأساسية للرؤية، مع التركيز بشكل خاص على CLIP و ViTs، وتستكشف قابلية نقل الهجمات العدائية إلى المهام النهائية. نقدم هجوماً جديداً يستهدف بنية المعماريات القائمة على المحولات بطريقة غير مرتبطة بمهمة محددة. نثبت فعالية هجومنا على عدة مهام نهائية: التصنيف، التسمية التوضيحية، استرجاع الصور/النصوص، التجزئة، وتقدير العمق.

جدول المحتويات

  • الملخص
  • التثبيت
  • بنية المشروع
  • تحميل النماذج ومجموعات البيانات
  • كيفية تشغيل الهجوم
  • الاستخدام
  • التقييم
  • المهام المتبقية
  • الاستشهاد

تثبيت بيئة conda

conda env create -f environment.yml

تشغيل المشروع كحزم

pip install .  
pip instlal -e .  # If you want in edit mode!

بنية المشروع

attack-attention
├─ .gitignore
├─ .pre-commit-config.yaml
├─ LICENSE
├─ README.md
├─ checkpoint
│  ├─ albef
│  └─ tcl
├─ data
│  ├─ flickr30k-images
│  └─ val2014
├─ SGA
│  └─ ...
├─ data_annotation
│  ├─ coco_test.json
│  └─ flickr30k_test.json
├─ environment.yml
├─ eval_clip-vit2albef.py
├─ eval_clip-vit2clip-cnn.py
├─ eval_clip.py
├─ models
│  ├─ __init__.py
│  ├─ clip_model
│  │  ├─ model.py
│  │  └─ ..
│  └─ ..
└─ std_eval_idx
   ├─ flickr30k
   └─ mscoco

تحميل النموذج ومجموعات البيانات

أنشئ مجلد checkpoint داخل المجلد الجذر وقم بتنزيل نماذج TCL و ALBEF. نقاط التفتيش الخاصة بنماذج VLP المضبوطة بدقة متاحة في ALBEF، TCL.

أنشئ مجلد data داخل المجلد الجذر وقم بتنزيل FLICKR30K، MSCOCO.

كيفية تشغيل هجوم SGA

اطلع على readme.md داخل مجلد SGA.

كيفية الاستخدام

المعاملات

المعاملالافتراضيالنوعالوصف
--config./configs/Retrieval_flickr.yamlstrالمسار إلى ملف إعدادات YAML.
--seed42intبذرة لتوليد الأرقام العشوائية لضمان قابلية إعادة الإنتاج.
--source_modelViT-B/16strاسم النموذج المصدر المستخدم للتقييم.
--source_text_encoderbert-base-uncasedstrبنية ترميز النصوص للنموذج المصدر.
--source_ckptNonestrالمسار إلى نقطة التفتيش للنموذج المصدر، إن وجدت.
--target_modelALBEFstrالنموذج الهدف للتقييم.
--target_text_encoderbert-base-uncasedstrترميز النصوص للنموذج الهدف.
--target_ckpt./checkpoint/albef/flickr30k.pthstrالمسار إلى نقطة التفتيش للنموذج الهدف.
--original_rank_index_path./std_eval_idx/flickr30k/strالمسار إلى الملف الذي يحتوي على مؤشرات الترتيب الأصلية.
--alpha90intوزن دالة الخسارة أثناء التحسين العدائي.
--lossatnstrنوع دالة الخسارة المستخدمة.
--method1intمعرّف طريقة الهجوم؛ راجع دالة my_attack للتفاصيل.
--index11intفهرس الطبقة المراد مهاجمتها في النموذج الهدف.

تقييم الهجوم

لتقييم الهجوم without trasferability

python eval_clip.py  --config ./configs/Retrieval_coco.yaml \
   --source_model ViT-B/16 --original_rank_index ./std_eval_idx/mscoco/ \
   --loss atn --method 1;

لتقييم الهجوم مع قابلية النقل (ALBEF)

python eval_clip-vit2albef.py  --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16  --target_model ALBEF --target_ckpt ./checkpoint/albef/flickr30k.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

لتقييم الهجوم مع قابلية النقل (TCL)

python eval_clip-vit2albef.py --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16 --target_model TCL --target_ckpt ./checkpoint/tcl/checkpoint_flickr_finetune.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

لتقييم الهجوم مع قابلية النقل (CLIP-CNN)

python eval_clip-vit2clip-cnn.py --config ./configs/Retrieval_flickr.yaml \
--source_model ViT-B/16  --target_model RN101 \
--original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

المعامل المستخدم في التجارب

--source_model ViT-B/16 --method 3 --loss emb

المهام المتبقية

  • إكمال المستودع بجميع المهام النهائية المستخدمة أثناء التجارب
  • إعادة هيكلة الكود

الاستشهاد

إذا وجدت هذا العمل مفيداً، فيرجى التفكير في الاستشهاد به:

@InProceedings{Silva_2025_CVPR,
    author    = {Silva, Hondamunige Prasanna and Becattini, Federico and Seidenari, Lorenzo},
    title     = {Attacking Attention of Foundation Models Disrupts Downstream Tasks},
    booktitle = {Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR) Workshops},
    month     = {June},
    year      = {2025},
    pages     = {3534-3543}
}
تنزيل الأداة

الأكثر شعبية

عرض الكل →

اكتشف الأدوات الأكثر استخدامًا من قبل مجتمعنا.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 مجموعة أدوات OSINT المثالية: رسم بياني للتحقيق، وتقييم الثقة، وعائلات الأسماء المستعارة، وخريطة، وخط زمني، وتقارير. 49 وحدة، وأكثر من 400 موقع، دون الحاجة إلى مفاتيح API.

    891
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # تطبيق GhostLock للتنفيذ بنقرة واحدة (CVE-2026-43499)

    547
  • 3

    ARTEX

    baarai/artex

    منصة اختبار اختراق مستقلة متعددة الوكلاء تعتمد على LLM، مع وكلاء تخطيط وتنفيذ، ومخططات للأصول والاستكشاف، وتسجيل حركة مرور MITM، وإعادة اختبار الثغرات.

    369
  • 4

    redforge

    cybersecurity91/redforge

    مجموعة أدوات الفريق الأحمر في المتصفح مع 102 أداة دون اتصال للاستطلاع، وتوليد الحمولات، وهجمات بيانات الاعتماد، والتشفير، والترميز، وإعداد تقارير المهام.

    366
  • 5

    looking-glass

    anonghosty/looking-glass

    منصة CSIRT تستقبل تقارير Shadowserver في MongoDB وتعيد عرضها كخرائط تفاعلية وتحليلات ونتائج وإرشادات ولوحات معلومات تنفيذية.

    309
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    نظام العمل للأمن السيبراني الأصلي بالذكاء الاصطناعي — حيث تتحول النية إلى تنفيذ محكوم، وتصبح الأدلة ذاكرة تشغيلية، وكل عملية تحسن التي تليها.

    282

استكشف جميع الأدوات

تصفح مجموعتنا من الأدوات

عرض جميع الأدوات →