Syntactic-Ghost (SynGhost)

SynGhost: Ataque backdoor invisível e universal, agnóstico a tarefas, via Transferência Sintática

Contribuições e Características

SynGhost tem as seguintes contribuições

• Para mitigar os riscos de backdoors agnósticos a tarefas existentes, propomos $\mathtt{maxEntropy}$, um filtro de envenenamento baseado em entropia que detecta com precisão amostras envenenadas.
• Para expor ainda mais as vulnerabilidades em PLMs, propomos $\mathtt{SynGhost}$, um backdoor invisível e universal, agnóstico a tarefas, que explora naturalmente múltiplos gatilhos sintáticos para incorporar adaptativamente backdoors no espaço de pré-treinamento com base em aprendizado contrastivo e consciência sintática.
• Avaliamos o $\mathtt{SynGhost}$ no benchmark GLUE em dois paradigmas de fine-tuning e PLMs com diferentes arquiteturas e volumes de parâmetros. O $\mathtt{SynGhost}$ atinge os objetivos predefinidos e consegue resistir a três defesas potenciais. Duas novas métricas mostram que o $\mathtt{SynGhost}$ é universal. A análise do mecanismo interno revela que o $\mathtt{SynGhost}$ introduz múltiplas vulnerabilidades durante o pré-treinamento.

Instalação

Você pode instalar o SynGhost através do Git

Git

git clone https://github.com/Zhou-CyberSecurity-AI/Syntactic-Ghost.git
cd SynGhost
pip install -r requirement.txt

Uso

Geração do SynGhost

Tanto o conjunto de envenenamento pré-treinado quanto o conjunto de manipulação de tarefas downstream são gerados a partir do SCPN. Você pode gerar rapidamente com o toolkit OppenAttack.

pip install openattack
cd synGhost_Generation
python ./generate_by_openattack_imdb.py

SynGhost em PLMs

Três restrições: retenção de conhecimento primitivo, distribuição uniforme de fantasmas sintáticos e percepção sintática:

cd code
python ./synGhostToPLM.py

Ativação do SynGhost

Fine-tuning, PEFT (LoRA, Adapter, p-tuning, prompt-tuning)

cd code
python ./synGhost_FineTuning.py 

cd code
python ./synGhost_peft.py 

Defensor do SynGhost

Inspeção de Amostras (Onion, maxEntropy)

cd code
python ./synGhost_defend.py

Observe que para a Inspeção de Modelo (Fine-pruning): use diretamente a função fine-pruning do plm.py.

Implementação de Baseline

NeuBA, POR e BadPre.....são todos implementados no OpenBackdoor.

Relaxe a dependência da weaponization do Syntactic Ghost.

Primeiro, construa o Prompt com base em uma estrutura sintática específica, como (ROOT (S (SBAR) (,) (NP) (VP) (.)) EOP. Em seguida, gere instâncias limpas e instâncias envenenadas. Por fim, CACC, ASR e PPL foram avaliados pelo SynGhost. As instâncias e resultados estão disponíveis em ./Code/LLMAttack.ipynb.

Exemplo