Syntactic-Ghost (SynGhost)

SynGhost: 構文転移による不可視かつ汎用的なタスク非依存バックドア攻撃

貢献と特徴

SynGhost には以下の貢献があります

• 既存のタスク非依存バックドアのリスクを軽減するため、我々は $\mathtt{maxEntropy}$ を提案します。これはエントロピーに基づくポイズニングフィルタであり、ポイズンされたサンプルを正確に検出します。
• PLM の脆弱性をさらに明らかにするため、我々は $\mathtt{SynGhost}$ を提案します。これは不可視かつ汎用的なタスク非依存バックドアであり、対照学習と構文認識に基づいて、複数の構文トリガーを自然に活用し、事前学習空間に適応的にバックドアを埋め込みます。
• 我々は $\mathtt{SynGhost}$ を、2 つのファインチューニングパラダイムと、異なるアーキテクチャおよびパラメータ量を持つ PLM にわたって GLUE ベンチマークで評価します。$\mathtt{SynGhost}$ は事前定義された目的を達成し、3 つの潜在的防御に抵抗できます。2 つの新しい指標は、$\mathtt{SynGhost}$ が汎用的であることを示しています。内部メカニズムの分析により、$\mathtt{SynGhost}$ が事前学習中に複数の脆弱性を導入することが明らかになります。

インストール

SynGhost は Git を通じてインストールできます

Git

git clone https://github.com/Zhou-CyberSecurity-AI/Syntactic-Ghost.git
cd SynGhost
pip install -r requirement.txt

使用方法

SynGhost の生成

事前学習済みポイズニングセットと下流タスク操作セットの両方は SCPN から生成されます。OppenAttack ツールキットを使用して迅速に生成できます。

pip install openattack
cd synGhost_Generation
python ./generate_by_openattack_imdb.py

PLM 上の SynGhost

3 つの制約: 原始知識の保持、構文ゴーストの一様分布、構文知覚:

cd code
python ./synGhostToPLM.py

SynGhost の起動

ファインチューニング、PEFT (LoRA、Adapter、p-tuning、prompt-tuning)

cd code
python ./synGhost_FineTuning.py 

cd code
python ./synGhost_peft.py 

SynGhost ディフェンダー

サンプル検査 (Onion、maxEntropy)

cd code
python ./synGhost_defend.py

モデル検査 (Fine-pruning) については、plm.py から fine-pruning 関数を直接使用してください。

ベースライン実装

NeuBA、POR、BadPre.....はすべて OpenBackdoor 上に実装されています。

Syntactic Ghost の兵器化への依存を緩和する。

まず、特定の構文構造に基づいてプロンプトを構築します。例えば (ROOT (S (SBAR) (,) (NP) (VP) (.)) EOP です。次に、クリーンなインスタンスとポイズンされたインスタンスを生成します。最後に、CACC、ASR、PPL が SynGhost によって評価されました。インスタンスと結果は ./Code/LLMAttack.ipynb で利用可能です。

例