الوثائق • الميزات والاستخدامات • أمثلة الاستخدام • نماذج الهجوم • تصميم الأدوات

OpenAttack هي مجموعة أدوات مفتوحة المصدر قائمة على بايثون للهجوم العدائي النصي، والتي تتولى العملية الكاملة للهجوم العدائي النصي، بما في ذلك معالجة النص مسبقًا، والوصول إلى النموذج الضحية، وتوليد الأمثلة العدائية والتقييم.

الميزات والاستخدامات

يتميز OpenAttack بما يلي:

⭐️ دعم جميع أنواع الهجمات. يدعم OpenAttack جميع أنواع الهجمات بما في ذلك الاضطرابات على مستوى الجملة/الكلمة/الحرف ونماذج الهجوم القائمة على التدرج/النتيجة/القرار/الأعمى؛

⭐️ تعدد اللغات. يدعم OpenAttack اللغتين الإنجليزية والصينية الآن. يتيح تصميمه القابل للتوسيع الدعم السريع لمزيد من اللغات؛

⭐️ المعالجة المتوازية. يوفر OpenAttack دعمًا لتشغيل نماذج الهجوم بعدة عمليات لتحسين كفاءة الهجوم؛

⭐️ التوافق مع 🤗 Hugging Face. OpenAttack متكامل تمامًا مع مكتبتي 🤗 Transformers و Datasets؛

⭐️ قابلية توسع كبيرة. يمكنك بسهولة مهاجمة نموذج ضحية مخصص على أي مجموعة بيانات مخصصة، أو تطوير وتقييم نموذج هجوم مخصص.

لـ OpenAttack مجموعة واسعة من الاستخدامات، تشمل:

✅ توفير خطوط أساسية متنوعة ومفيدة لنماذج الهجوم؛

✅ تقييم نماذج الهجوم بشكل شامل باستخدام مقاييس تقييم شاملة؛

✅ المساعدة في التطوير السريع لنماذج هجوم جديدة بمساعدة مكونات الهجوم الشائعة؛

✅ تقييم المتانة لنموذج تعلم آلي ضد الهجمات العدائية المختلفة؛

✅ إجراء تدريب عدائي لتحسين متانة نموذج تعلم آلي من خلال إثراء بيانات التدريب بالأمثلة العدائية المُولَّدة.

التثبيت

1. باستخدام `pip` (موصى به)```bash

pip install OpenAttack

#### 2. استنساخ هذا المستودع```bash
git clone https://github.com/thunlp/OpenAttack.git
cd OpenAttack
python setup.py install

بعد التثبيت، يمكنك محاولة تشغيل demo.py للتحقق من أن OpenAttack يعمل بشكل جيد:``` python demo.py

![demo](https://assets.kitploit.com/production/public/readmes/4421/8322af527eba3c3dcd09c66e50aa3a1229ca0f529018fa6d08b6d8349eb0a51f.gif)
## أمثلة الاستخدام

#### مهاجمة نماذج الضحية المدمجة

يُدرج OpenAttack بعض نماذج معالجة اللغة الطبيعية شائعة الاستخدام مثل BERT ([Devlin et al. 2018](https://arxiv.org/abs/1810.04805)) وRoBERTa ([Liu et al. 2019](https://arxiv.org/abs/1907.11692)) والتي تم ضبطها بدقة على بعض مجموعات البيانات شائعة الاستخدام (مثل [SST-2](https://nlp.stanford.edu/sentiment/treebank.html)). يمكنك بسهولة شن هجمات عدائية ضد نماذج الضحية المدمجة هذه.

يوضح مقتطف الشيفرة التالي كيفية استخدام PWWS، وهو نموذج هجوم قائم على الخوارزمية الجشعة ([Ren et al., 2019](https://www.aclweb.org/anthology/P19-1103.pdf))، لمهاجمة BERT على مجموعة بيانات SST-2 (الشيفرة الكاملة القابلة للتنفيذ موجودة [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/workflow.py)).```python
import OpenAttack as oa
import datasets # use the Hugging Face's datasets library
# change the SST dataset into 2-class
def dataset_mapping(x):
    return {
        "x": x["sentence"],
        "y": 1 if x["label"] > 0.5 else 0,
    }
# choose a trained victim classification model
victim = oa.DataManager.loadVictim("BERT.SST")
# choose 20 examples from SST-2 as the evaluation data 
dataset = datasets.load_dataset("sst", split="train[:20]").map(function=dataset_mapping)
# choose PWWS as the attacker and initialize it with default parameters
attacker = oa.attackers.PWWSAttacker()
# prepare for attacking
attack_eval = OpenAttack.AttackEval(attacker, victim)
# launch attacks and print attack results 
attack_eval.eval(dataset, visualize=True)

نموذج الضحية المخصص

يوضح مقتطف الكود التالي كيفية استخدام PWWS لمهاجمة نموذج تحليل المشاعر المخصص (نموذج إحصائي مبني في NLTK) على SST-2 (الكود القابل للتنفيذ الكامل موجود هنا).

import OpenAttack as oa
import numpy as np
import datasets
import nltk
from nltk.sentiment.vader import SentimentIntensityAnalyzer


# configure access interface of the customized victim model by extending OpenAttack.Classifier.
class MyClassifier(oa.Classifier):
    def __init__(self):
        # nltk.sentiment.vader.SentimentIntensityAnalyzer is a traditional sentiment classification model.
        nltk.download('vader_lexicon')
        self.model = SentimentIntensityAnalyzer()
    
    def get_pred(self, input_):
        return self.get_prob(input_).argmax(axis=1)

    # access to the classification probability scores with respect input sentences
    def get_prob(self, input_):
        ret = []
        for sent in input_:
            # SentimentIntensityAnalyzer calculates scores of “neg” and “pos” for each instance
            res = self.model.polarity_scores(sent)

            # we use 𝑠𝑜𝑐𝑟𝑒_𝑝𝑜𝑠 / (𝑠𝑐𝑜𝑟𝑒_𝑛𝑒𝑔 + 𝑠𝑐𝑜𝑟𝑒_𝑝𝑜𝑠) to represent the probability of positive sentiment
            # Adding 10^−6 is a trick to avoid dividing by zero.
            prob = (res["pos"] + 1e-6) / (res["neg"] + res["pos"] + 2e-6)

            ret.append(np.array([1 - prob, prob]))
        
        # The get_prob method finally returns a np.ndarray of shape (len(input_), 2). See Classifier for detail.
        return np.array(ret)

def dataset_mapping(x):
    return {
        "x": x["sentence"],
        "y": 1 if x["label"] > 0.5 else 0,
    }
    
# load some examples of SST-2 for evaluation
dataset = datasets.load_dataset("sst", split="train[:20]").map(function=dataset_mapping)
# choose the costomized classifier as the victim model
victim = MyClassifier()
# choose PWWS as the attacker and initialize it with default parameters
attacker = oa.attackers.PWWSAttacker()
# prepare for attacking
attack_eval = oa.AttackEval(attacker, victim)
# launch attacks and print attack results 
attack_eval.eval(dataset, visualize=True)
```
</details>


<details>
<summary><strong>مجموعة بيانات مخصصة</strong></summary>

يوضح مقتطف الشفرة التالي كيفية استخدام PWWS لمهاجمة نموذج تحليل المشاعر المدرب بدقة على مجموعة بيانات **مخصصة** (الشفرة القابلة للتنفيذ الكاملة موجودة [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/custom_dataset.py)).```python
import OpenAttack as oa
import transformers
import datasets

# load a fine-tuned sentiment analysis model from Transformers (you can also use our fine-tuned Victim.BERT.SST)
tokenizer = transformers.AutoTokenizer.from_pretrained("echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid")
model = transformers.AutoModelForSequenceClassification.from_pretrained("echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid", num_labels=2, output_hidden_states=False)
victim = oa.classifiers.TransformersClassifier(model, tokenizer, model.bert.embeddings.word_embeddings)

# choose PWWS as the attacker and initialize it with default parameters
attacker = oa.attackers.PWWSAttacker()

# create your customized dataset
dataset = datasets.Dataset.from_dict({
    "x": [
        "I hate this movie.",
        "I like this apple."
    ],
    "y": [
        0, # 0 for negative
        1, # 1 for positive
    ]
})

# prepare for attacking
attack_eval = oa.AttackEval(attacker, victim, metrics = [oa.metric.EditDistance(), oa.metric.ModificationRate()])
# launch attacks and print attack results
attack_eval.eval(dataset, visualize=True)
```
</details>

<details>
<summary><strong>معالجة متعددة</strong></summary>

يدعم OpenAttack معالجة متعددة ملائمة لتسريع عملية الهجمات العدائية. يوضح مقتطف الكود التالي كيفية استخدام المعالجة المتعددة في الهجمات العدائية مع Genetic ([Alzantot et al. 2018](https://www.aclweb.org/anthology/D18-1316))، وهو نموذج هجوم قائم على خوارزمية جينية (الكود التنفيذي الكامل موجود [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/multiprocess_eval.py)).```python
import OpenAttack as oa
import datasets

def dataset_mapping(x):
    return {
        "x": x["sentence"],
        "y": 1 if x["label"] > 0.5 else 0,
    }

victim = oa.loadVictim("BERT.SST")
dataset = datasets.load_dataset("sst", split="train[:20]").map(function=dataset_mapping)
attacker = oa.attackers.GeneticAttacker()
attack_eval = oa.AttackEval(attacker, victim)
# Using multiprocessing simply by specify num_workers
attack_eval.eval(dataset, visualize=True, num_workers=4)
```
</details>

<details>
<summary><strong>الهجوم على النماذج الصينية</strong></summary>

يدعم OpenAttack الآن الهجمات الخصومية ضد النماذج الضحية الإنجليزية والصينية. [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/chinese.py) مثال على كود لإجراء هجمات خصومية ضد نموذج تصنيف مراجعات صيني باستخدام PWWS.
</details>

<details>
<summary><strong>نموذج هجوم مخصص</strong></summary>

يضم OpenAttack العديد من المكونات المفيدة التي يمكن تجميعها بسهولة في نماذج هجوم جديدة. [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/custom_attacker.py) مثال على كيفية تصميم نموذج هجوم بسيط يقوم بخلط الرموز المميزة في الجملة الأصلية.
</details>

<details>
<summary><strong>التدريب الخصومي</strong></summary>

يمكن لـ OpenAttack توليد أمثلة خصومية بسهولة عن طريق مهاجمة الحالات في مجموعة التدريب، والتي يمكن إضافتها إلى مجموعة بيانات التدريب الأصلية لإعادة تدريب نموذج ضحية أكثر متانة، أي التدريب الخصومي. [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/adversarial_training.py) مثال على كيفية إجراء التدريب الخصومي باستخدام OpenAttack.
</details>

<details>
<summary><strong>مزيد من الأمثلة</strong></summary>

- مهاجمة نماذج تصنيف أزواج الجمل. بالإضافة إلى نماذج تصنيف الجمل المفردة، يدعم OpenAttack الهجمات ضد نماذج تصنيف أزواج الجمل. [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/nli_attack.py) مثال على كود لإجراء هجمات خصومية ضد نموذج NLI باستخدام OpenAttack.

- مقياس تقييم مخصص. يدعم OpenAttack تصميم مقياس تقييم هجوم خصومي مخصص. [هنا](https://github.com/thunlp/openattack/blob/HEAD/examples/custom_eval.py) مثال على كيفية إضافة مقياس تقييم مخصص واستخدامه لتقييم الهجمات الخصومية.


</details>

## نماذج الهجوم

وفقًا لمستوى الاضطرابات المفروضة على المدخلات الأصلية، يمكن تصنيف نماذج الهجوم الخصومي النصي إلى نماذج هجوم على مستوى الجملة، وعلى مستوى الكلمة، وعلى مستوى الحرف. وفقًا لإمكانية الوصول إلى النموذج الضحية، يمكن تصنيف نماذج الهجوم الخصومي النصي إلى نماذج هجوم قائمة على `gradient`، و`score`، و`decision`، و`blind`.

> [TAADPapers](https://github.com/thunlp/TAADpapers) هي قائمة أوراق بحثية تلخص تقريبًا جميع الأوراق المتعلقة بالهجوم والدفاع الخصومي النصي. يمكنك إلقاء نظرة على هذه القائمة للعثور على المزيد من نماذج الهجوم.

حاليًا، يتضمن OpenAttack 15 نموذج هجوم نموذجي ضد نماذج تصنيف النصوص تغطي **جميع** أنواع الهجوم.

فيما يلي قائمة نماذج الهجوم المتضمنة حاليًا.

- مستوى الجملة
  - (SEA) **Semantically Equivalent Adversarial Rules for Debugging NLP Models**. *Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin*. ACL 2018. `decision` [[pdf](https://aclweb.org/anthology/P18-1079)] [[code](https://github.com/marcotcr/sears)]
  - (SCPN) **Adversarial Example Generation with Syntactically Controlled Paraphrase Networks**. *Mohit Iyyer, John Wieting, Kevin Gimpel, Luke Zettlemoyer*. NAACL-HLT 2018. `blind` [[pdf](https://www.aclweb.org/anthology/N18-1170)] [[code&data](https://github.com/miyyer/scpn)]
  - (GAN) **Generating Natural Adversarial Examples**. *Zhengli Zhao, Dheeru Dua, Sameer Singh*. ICLR 2018. `decision` [[pdf](https://arxiv.org/pdf/1710.11342.pdf)] [[code](https://github.com/zhengliz/natural-adversary)]
- مستوى الكلمة
  - (TextFooler) **Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment**. *Di Jin, Zhijing Jin, Joey Tianyi Zhou, Peter Szolovits*. AAAI-20. `score` [[pdf](https://arxiv.org/pdf/1907.11932v4)] [[code](https://github.com/wqj111186/TextFooler)]
  - (PWWS) **Generating Natural Language Adversarial Examples through Probability Weighted Word Saliency**. *Shuhuai Ren, Yihe Deng, Kun He, Wanxiang Che*. ACL 2019. `score` [[pdf](https://www.aclweb.org/anthology/P19-1103.pdf)] [[code](https://github.com/JHL-HUST/PWWS/)]
  - (Genetic) **Generating Natural Language Adversarial Examples**. *Moustafa Alzantot, Yash Sharma, Ahmed Elgohary, Bo-Jhang Ho, Mani Srivastava, Kai-Wei Chang*. EMNLP 2018. `score` [[pdf](https://www.aclweb.org/anthology/D18-1316)] [[code](https://github.com/nesl/nlp_adversarial_examples)]
  - (SememePSO) **Word-level Textual Adversarial Attacking as Combinatorial Optimization**. *Yuan Zang, Fanchao Qi, Chenghao Yang, Zhiyuan Liu, Meng Zhang, Qun Liu and Maosong Sun*. ACL 2020. `score` [[pdf](https://www.aclweb.org/anthology/2020.acl-main.540.pdf)] [[code](https://github.com/thunlp/SememePSO-Attack)]
  - (BERT-ATTACK) **BERT-ATTACK: Adversarial Attack Against BERT Using BERT**. *Linyang Li, Ruotian Ma, Qipeng Guo, Xiangyang Xue, Xipeng Qiu*. EMNLP 2020. `score` [[pdf](https://www.aclweb.org/anthology/2020.emnlp-main.500.pdf)] [[code](https://github.com/LinyangLee/BERT-Attack)]
  - (BAE) **BAE: BERT-based Adversarial Examples for Text Classification**. *Siddhant Garg, Goutham Ramakrishnan. EMNLP 2020*. `score` [[pdf](https://www.aclweb.org/anthology/2020.emnlp-main.498.pdf)] [[code](https://github.com/QData/TextAttack/blob/master/textattack/attack_recipes/bae_garg_2019.py)]
  - (FD) **Crafting Adversarial Input Sequences For Recurrent Neural Networks**. *Nicolas Papernot, Patrick McDaniel, Ananthram Swami, Richard Harang*. MILCOM 2016. `gradient` [[pdf](https://arxiv.org/pdf/1604.08275.pdf)]
- مستوى الكلمة/الحرف
  - (TextBugger) **TEXTBUGGER: Generating Adversarial Text Against Real-world Applications**. *Jinfeng Li, Shouling Ji, Tianyu Du, Bo Li, Ting Wang*. NDSS 2019. `gradient` `score` [[pdf](https://arxiv.org/pdf/1812.05271.pdf)]
  - (UAT) **Universal Adversarial Triggers for Attacking and Analyzing NLP.** *Eric Wallace, Shi Feng, Nikhil Kandpal, Matt Gardner, Sameer Singh*. EMNLP-IJCNLP 2019. `gradient` [[pdf](https://arxiv.org/pdf/1908.07125.pdf)] [[code](https://github.com/Eric-Wallace/universal-triggers)] [[website](http://www.ericswallace.com/triggers)]
  - (HotFlip) **HotFlip: White-Box Adversarial Examples for Text Classification**. *Javid Ebrahimi, Anyi Rao, Daniel Lowd, Dejing Dou*. ACL 2018. `gradient` [[pdf](https://www.aclweb.org/anthology/P18-2006)] [[code](https://github.com/AnyiRao/WordAdver)]
- مستوى الحرف
  - (VIPER) **Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems**. *Steffen Eger, Gözde Gül ¸Sahin, Andreas Rücklé, Ji-Ung Lee, Claudia Schulz, Mohsen Mesgar, Krishnkant Swarnkar, Edwin Simpson, Iryna Gurevych*. NAACL-HLT 2019. `score` [[pdf](https://www.aclweb.org/anthology/N19-1165)] [[code&data](https://github.com/UKPLab/naacl2019-like-humans-visual-attacks)]
  - (DeepWordBug) **Black-box Generation of Adversarial Text Sequences to Evade Deep Learning Classifiers**. *Ji Gao, Jack Lanchantin, Mary Lou Soffa, Yanjun Qi*. IEEE SPW 2018. `score` [[pdf](https://ieeexplore.ieee.org/document/8424632)] [[code](https://github.com/QData/deepWordBug)]

يوضح الجدول التالي مقارنة نماذج الهجوم.

|    النموذج    |  إمكانية الوصول  | الاضطراب | الفكرة الرئيسية                                           |
| :---------: | :-------------: | :----------: | :-------------------------------------------------- |
|     SEA     |    Decision     |   الجملة   | إعادة الصياغة المعتمدة على القواعد                             |
|    SCPN     |      Blind      |   الجملة   | إعادة الصياغة                                        |
|     GAN     |    Decision     |   الجملة   | توليد النص بواسطة المشفر-المفكك                  |
| TextFooler  |      Score      |     الكلمة     | استبدال الكلمات الجشع                            |
|    PWWS     |      Score      |     الكلمة     | استبدال الكلمات الجشع                            |
|   Genetic   |      Score      |     الكلمة     | استبدال الكلمات المعتمد على الخوارزمية الجينية           |
|  SememePSO  |      Score      |     الكلمة     | استبدال الكلمات المعتمد على تحسين سرب الجسيمات |
|  BERT-ATTACK  |      Score      |     الكلمة     | استبدال الكلمات السياقي الجشع |
|  BAE  |      Score      |     الكلمة     | استبدال وإدراج الكلمات السياقي الجشع |
|     FD      |    Gradient     |     الكلمة     | استبدال الكلمات المعتمد على التدرج                    |
| TextBugger  | Gradient, Score |  الكلمة+الحرف   | استبدال الكلمات الجشع والتلاعب بالأحرف |
|     UAT     |    Gradient     |  الكلمة، الحرف  | التلاعب بالكلمات أو الأحرف المعتمد على التدرج       |
|   HotFlip   |    Gradient     |  الكلمة، الحرف  | استبدال الكلمات أو الأحرف المعتمد على التدرج       |
|    VIPER    |      Blind      |     الحرف     | استبدال الأحرف المتشابهة بصريًا             |
| DeepWordBug |      Score      |     الحرف     | التلاعب بالأحرف الجشع                       |

## تصميم مجموعة الأدوات

نظرًا للفروق الكبيرة بين نماذج الهجوم المختلفة، نترك حرية كبيرة لتصميم الهيكل الأساسي لنماذج الهجوم، ونركز أكثر على تبسيط المعالجة العامة للهجوم الخصومي والمكونات الشائعة المستخدمة في نماذج الهجوم.

لدى OpenAttack 7 وحدات رئيسية:

<img src="https://assets.kitploit.com/production/public/readmes/4421/3c70579cf4ea406c82bd3bf407eb9c1e1e8b8ffb3b3c4eede4fe2812ff76eebf.png" alt="toolkit_framework" style="zoom:40%;" />

* **TextProcessor**: معالجة تسلسل النص الأصلي لمساعدة نماذج الهجوم في توليد الأمثلة الخصومية;
* **Victim**: تغليف النماذج الضحية;
* **Attacker**: تضمين نماذج هجوم متنوعة;
* **AttackAssist**: حزم طرق استبدال الكلمات/الأحرف المختلفة المستخدمة في نماذج الهجوم على مستوى الكلمة/الحرف وبعض المكونات الأخرى المستخدمة في نماذج الهجوم على مستوى الجملة مثل نموذج إعادة الصياغة;
* **Metric**: توفير عدة مقاييس لجودة الأمثلة الخصومية يمكن أن تكون إما قيودًا على الأمثلة الخصومية أثناء الهجوم أو مقاييس تقييم لتقييم الهجمات الخصومية;
* **AttackEval**: تقييم الهجمات الخصومية النصية من حيث فعالية الهجوم وجودة الأمثلة الخصومية وكفاءة الهجوم;
* **DataManager**: إدارة جميع البيانات والنماذج المحفوظة المستخدمة في الوحدات الأخرى.

## الاقتباس

يرجى الاستشهاد [بورقتنا](https://aclanthology.org/2021.acl-demo.43.pdf) إذا كنت تستخدم هذه المجموعة:```
@inproceedings{zeng2020openattack,
  title={{Openattack: An open-source textual adversarial attack toolkit}},
  author={Zeng, Guoyang and Qi, Fanchao and Zhou, Qianrui and Zhang, Tingji and Hou, Bairu and Zang, Yuan and Liu, Zhiyuan and Sun, Maosong},
  booktitle={Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations},
  pages={363--371},
  year={2021},
  url={https://aclanthology.org/2021.acl-demo.43},
  doi={10.18653/v1/2021.acl-demo.43}
}
```
## المساهمون
نشكر جميع المساهمين في هذا المشروع. ونرحب بالمزيد من المساهمات.

<a href="https://github.com/thunlp/OpenAttack/graphs/contributors">
  <img src="https://contrib.rocks/image?repo=thunlp/OpenAttack"/></a>

OpenAttack

الأكثر شعبية

الميزات والاستخدامات

يتميز OpenAttack بما يلي:

لـ OpenAttack مجموعة واسعة من الاستخدامات، تشمل:

التثبيت

1. باستخدام pip (موصى به)```bash

1. باستخدام `pip` (موصى به)```bash