Syntactic-Ghost (SynGhost)

SynGhost: Unsichtbarer und universeller aufgabenunabhängiger Backdoor-Angriff mittels syntaktischem Transfer

Beiträge & Eigenschaften

SynGhost hat die folgenden Beiträge

• Um die Risiken bestehender aufgabenunabhängiger Backdoors zu mindern, schlagen wir $\mathtt{maxEntropy}$ vor, einen entropiebasierten Poisoning-Filter, der vergiftete Proben präzise erkennt.
• Um die Schwachstellen in PLMs weiter aufzudecken, schlagen wir $\mathtt{SynGhost}$ vor, eine unsichtbare und universelle aufgabenunabhängige Backdoor, die auf natürliche Weise mehrere syntaktische Trigger nutzt, um Backdoors adaptiv basierend auf kontrastivem Lernen und Syntaxbewusstsein in den Vorabtrainingsraum einzubetten.
• Wir evaluieren $\mathtt{SynGhost}$ auf dem GLUE-Benchmark über zwei Fine-Tuning-Paradigmen und PLMs mit unterschiedlicher Architektur und Parametervolumen hinweg. $\mathtt{SynGhost}$ erreicht vordefinierte Ziele und kann drei potenziellen Verteidigungen widerstehen. Zwei neue Metriken zeigen, dass $\mathtt{SynGhost}$ universell ist. Die Analyse des internen Mechanismus zeigt, dass $\mathtt{SynGhost}$ während des Vorabtrainings mehrere Schwachstellen einführt.

Installation

Sie können SynGhost über Git installieren

Git

git clone https://github.com/Zhou-CyberSecurity-AI/Syntactic-Ghost.git
cd SynGhost
pip install -r requirement.txt

Verwendung

SynGhost-Generierung

Sowohl das vorabtrainierte Poisoning-Set als auch das Downstream-Aufgabenmanipulations-Set werden aus dem SCPN generiert. Sie können sie schnell mit dem OppenAttack-Toolkit generieren.

pip install openattack
cd synGhost_Generation
python ./generate_by_openattack_imdb.py

SynGhost auf PLMs

Drei Einschränkungen: Beibehaltung des primitiven Wissens, gleichmäßige Verteilung der syntaktischen Ghosts und syntaktische Wahrnehmung:

cd code
python ./synGhostToPLM.py

SynGhost-Aktivierung

Fine-Tuning, PEFT (LoRA, Adapter, p-tuning, prompt-tuning)

cd code
python ./synGhost_FineTuning.py 

cd code
python ./synGhost_peft.py 

SynGhost-Verteidiger

Probeninspektion (Onion, maxEntropy)

cd code
python ./synGhost_defend.py

Beachten Sie, dass für die Modellinspektion (Fine-pruning) bitte die Fine-pruning-Funktion direkt aus plm.py verwendet werden sollte.

Baseline-Implementierung

NeuBA, POR und BadPre.....sind alle auf OpenBackdoor implementiert.

Lockern Sie die Abhängigkeit von der Waffenisierung des Syntactic Ghost.

Erstellen Sie zunächst einen Prompt basierend auf einer bestimmten syntaktischen Struktur, wie z. B. (ROOT (S (SBAR) (,) (NP) (VP) (.)) EOP. Generieren Sie dann saubere Instanzen und vergiftete Instanzen. Schließlich wurden CACC, ASR und PPL durch den SynGhost bewertet. Die Instanzen und Ergebnisse sind unter ./Code/LLMAttack.ipynb verfügbar.

Beispiel