Syntactic-Ghost (SynGhost)

SynGhost: هجوم باب خلفي غير مرئي وعالمي مستقل عن المهمة عبر النقل النحوي

المساهمات والخصائص

يقدّم SynGhost المساهمات التالية

• للتخفيف من مخاطر البوابات الخلفية المستقلة عن المهمة الحالية، نقترح $\mathtt{maxEntropy}$، وهو مرشّح تسميم قائم على الإنتروبيا يكتشف بدقة العينات المسمومة.
• لكشف الثغرات في PLMs بشكل أعمق، نقترح $\mathtt{SynGhost}$، وهو باب خلفي غير مرئي وعالمي ومستقل عن المهمة يستغل بشكل طبيعي محفزات نحوية متعددة لتضمين البوابات الخلفية تكيفيًا في فضاء التدريب المسبق بناءً على التعلم التقابلي والوعي النحوي.
• نقيّم $\mathtt{SynGhost}$ على معيار GLUE عبر نموذجي ضبط دقيق وPLMs بمعماريات وأحجام معاملات مختلفة. يحقق $\mathtt{SynGhost}$ الأهداف المحددة مسبقًا ويمكنه مقاومة ثلاث دفاعات محتملة. يُظهر مقياسان جديدان أن $\mathtt{SynGhost}$ عالمي. يكشف تحليل الآلية الداخلية أن $\mathtt{SynGhost}$ يُدخل ثغرات متعددة أثناء التدريب المسبق.

التثبيت

يمكنك تثبيت SynGhost عبر Git

Git

git clone https://github.com/Zhou-CyberSecurity-AI/Syntactic-Ghost.git
cd SynGhost
pip install -r requirement.txt

الاستخدام

توليد SynGhost

يتم توليد كل من مجموعة التسميم المُدرَّبة مسبقًا ومجموعة التلاعب بالمهام اللاحقة من SCPN. يمكنك التوليد بسرعة عبر مجموعة أدوات OppenAttack.

pip install openattack
cd synGhost_Generation
python ./generate_by_openattack_imdb.py

SynGhost على PLMs

ثلاثة قيود: الاحتفاظ بالمعرفة الأولية، والتوزيع المنتظم للأشباح النحوية، والإدراك النحوي:

cd code
python ./synGhostToPLM.py

تنشيط SynGhost

الضبط الدقيق، PEFT (LoRA، Adapter، p-tuning، prompt-tuning)

cd code
python ./synGhost_FineTuning.py 

cd code
python ./synGhost_peft.py 

مدافع SynGhost

فحص العينات (Onion، maxEntropy)

cd code
python ./synGhost_defend.py

لاحظ أن فحص النموذج (Fine-pruning): يُرجى استخدام دالة fine-pruning مباشرةً من plm.py.

تنفيذ خط الأساس

NeuBA وPOR وBadPre.....جميعها منفذة على OpenBackdoor.

تخفيف الاعتماد على تسليح Syntactic Ghost.

أولاً، أنشئ Prompt بناءً على بنية نحوية محددة، مثل (ROOT (S (SBAR) (,) (NP) (VP) (.)) EOP. ثم ولّد حالات نظيفة وحالات مسمومة. أخيرًا، تم تقييم CACC وASR وPPL بواسطة SynGhost. الحالات والنتائج متاحة على ./Code/LLMAttack.ipynb.

مثال