Syntactic-Ghost (SynGhost)

SynGhost: Attacco backdoor invisibile e universale task-agnostic tramite trasferimento sintattico

Contributi e Caratteristiche

SynGhost ha i seguenti contributi

• Per mitigare i rischi dei backdoor task-agnostic esistenti, proponiamo $\mathtt{maxEntropy}$, un filtro di avvelenamento basato sull'entropia che rileva accuratamente i campioni avvelenati.
• Per esporre ulteriormente le vulnerabilità nei PLM, proponiamo $\mathtt{SynGhost}$, un backdoor invisibile e universale task-agnostic che sfrutta naturalmente molteplici trigger sintattici per incorporare adattivamente backdoor nello spazio di pre-training basandosi su contrastive learning e syntax awareness.
• Valutiamo $\mathtt{SynGhost}$ sul benchmark GLUE attraverso due paradigmi di fine-tuning e PLM con architetture e volumi di parametri diversi. $\mathtt{SynGhost}$ raggiunge gli obiettivi predefiniti e può resistere a tre potenziali difese. Due nuove metriche mostrano che $\mathtt{SynGhost}$ è universale. L'analisi del meccanismo interno rivela che $\mathtt{SynGhost}$ introduce molteplici vulnerabilità durante il pre-training.

Installazione

Puoi installare SynGhost tramite Git

Git

git clone https://github.com/Zhou-CyberSecurity-AI/Syntactic-Ghost.git
cd SynGhost
pip install -r requirement.txt

Utilizzo

Generazione di SynGhost

Sia il set di avvelenamento pre-addestrato che il set di manipolazione del task downstream vengono generati dall'SCPN. Puoi generare rapidamente con il toolkit OppenAttack.

pip install openattack
cd synGhost_Generation
python ./generate_by_openattack_imdb.py

SynGhost sui PLM

Tre vincoli: conservazione della conoscenza primitiva, distribuzione uniforme dei ghost sintattici e percezione sintattica:

cd code
python ./synGhostToPLM.py

Attivazione di SynGhost

Fine-tuning, PEFT (LoRA, Adapter, p-tuning, prompt-tuning)

cd code
python ./synGhost_FineTuning.py 

cd code
python ./synGhost_peft.py 

Difensore di SynGhost

Ispezione dei campioni (Onion, maxEntropy)

cd code
python ./synGhost_defend.py

Nota che per l'Ispezione del Modello (Fine-pruning): utilizza direttamente la funzione fine-pruning da plm.py.

Implementazione di Baseline

NeuBA, POR e BadPre.....sono tutti implementati su OpenBackdoor.

Rilassare la dipendenza dalla weaponization di Syntactic Ghost.

Innanzitutto, costruisci un Prompt basato su una struttura sintattica specifica, come (ROOT (S (SBAR) (,) (NP) (VP) (.)) EOP. Poi genera istanze pulite e istanze avvelenate. Infine, CACC, ASR e PPL sono stati valutati da SynGhost. Le istanze e i risultati sono disponibili su ./Code/LLMAttack.ipynb.

Esempio