KidnapRAG: एजेंटिक रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम में रीज़निंग को हाईजैक करने के लिए एक ब्लैक-बॉक्स अटैक

🎓 पेपर | 📄 डेटासेट | 🚀 त्वरित प्रारंभ

त्वरित प्रारंभ

क्लोन किए गए KidnapRAG रिपॉजिटरी की पैरेंट डायरेक्टरी से निम्नलिखित कमांड चलाएँ।

cd KidnapRAG
conda create -n KidnapRAG python=3.10
conda activate KidnapRAG
pip install -r requirements.txt

फिर, कॉर्पस डेटासेट 📄 डाउनलोड करें और ReAct डेटासेट को /KidnapRAG/ReAct में और WebThinker डेटासेट को /KidnapRAG/WebThinker में ले जाएँ।

ReAct

Llama मॉडल के साथ HotpotQA पर उदाहरण।

1. बिना अटैक के ReAct प्रतिक्रियाएँ उत्पन्न करें।

cd ReAct/ReAct
CUDA_VISIBLE_DEVICES=0,1,2,3 python attack_react.py --attack_method clean --model_path meta-llama/Llama-3.3-70B-Instruct --seed 1 --dataset hotpotqa

--model_path Llama-3.3-70B-Instruct और Qwen/Qwen2.5-32B-Instruct का समर्थन करता है।

--dataset hotpotqa, musique, और 2wikimultihopqa का समर्थन करता है।

2. बेट (bait) दस्तावेज़ उत्पन्न करें।

CUDA_VISIBLE_DEVICES=0,1 python generate_attack_doc_kill.py --input_path /KidnapRAG/ReAct/results/adv_targeted_results/hotpotqa_seed1_clean_llama70b.json --gpu_num 2 --dataset hotpotqa --type ours

--type अतिरिक्त रूप से निम्नलिखित अटैक विधियों का समर्थन करता है: naive नेव अटैक के लिए, ignore इग्नोर अटैक के लिए, completion_real फेक कम्प्लीशन अटैक के लिए, completion_realcmb कम्बाइंड अटैक के लिए, topicattack TopicAttack के लिए, poisonedRAG PoisonedRAG के लिए, और paradox RAG Paradox के लिए।

3. पाँच चेन-ड्रैगिंग परिदृश्य बनाएँ। (BM, BCM, BCCM, BCCCM, BCCCCM)

cd ..
python concat.py --dataset hotpotqa --gen_model llama70b

--gen_model Llama-3.3-70B-Instruct के लिए llama70b और Qwen/Qwen2.5-32B-Instruct के लिए qwen25 का समर्थन करता है।

4. उत्पन्न दस्तावेज़ों को इंडेक्स करें।

CUDA_VISIBLE_DEVICES=0 python scripts/build_index.py \
    --corpus_path /KidnapRAG/ReAct/datasets/hotpotqa/REACT_BM_llama70b.jsonl \
    --output_dir /KidnapRAG/ReAct/datasets/hotpotqa/REACT_BM_llama70b \
    --model_name intfloat/e5-large-v2

5. अटैक चलाएँ।

cd ReAct
CUDA_VISIBLE_DEVICES=0,1,2,3 python attack_react.py --attack_method BM --model_path meta-llama/Llama-3.3-70B-Instruct --seed 1 --dataset hotpotqa

Webthinker

QwQ मॉडल के साथ HotpotQA पर उदाहरण।

इस अनुभाग को KidnapRAG रिपॉजिटरी रूट से चलाएँ।

1. बिना अटैक के Webthinker प्रतिक्रियाएँ उत्पन्न करें।

cd Webthinker

bash scripts/webthinker/qwq_clean.sh \
  ./datasets/hotpotqa/hotpotqa_promptinject_select.json \
  ./datasets/hotpotqa_corpus/hotpotqa_corpus.jsonl \
  ./results/hotpotqa/clean_qwq.json

तर्क:

• ./datasets/hotpotqa/hotpotqa_promptinject_select.json: क्वेरी पथ
• ./datasets/hotpotqa_corpus/hotpotqa_corpus.jsonl: कॉर्पस पथ
• ./results/hotpotqa/clean_qwq.json: परिणाम पथ

2. बेट (bait) दस्तावेज़ उत्पन्न करें।

cd scripts
CUDA_VISIBLE_DEVICES=0,1 python generate_attack_doc_kill.py --input_path /KidnapRAG/Webthinker/results/hotpotqa/clean_qwq.json --gpu_num 2 --dataset hotpotqa --type ours

3. पाँच चेन-ड्रैगिंग परिदृश्य बनाएँ। (BM, BCM, BCCM, BCCCM, BCCCCM)

cd ..
python concat.py --dataset hotpotqa --gen_model qwq

--gen_model lixiaoxi45/WebThinker-R1-32B के लिए deepseek_32b और Qwen/QwQ-32B के लिए qwq का समर्थन करता है।

4. अटैक चलाएँ।

bash scripts/webthinker/qwq_attack.sh \
  ./datasets/hotpotqa/hotpotqa_promptinject_select.json \
  ./datasets/hotpotqa_corpus/hotpotqa_corpus.jsonl \
  ./datasets/hotpotqa_poisoned_corpus/WEBTHINKER_BM_qwq.jsonl \
  ./results/hotpotqa/BM.json

तर्क:

• ./datasets/hotpotqa/hotpotqa_promptinject_select.json: क्वेरी पथ
• ./datasets/hotpotqa_corpus/hotpotqa_corpus.jsonl: कॉर्पस पथ
• ./datasets/hotpotqa_poisoned_corpus/WEBTHINKER_BM_qwq.jsonl: पॉइज़न्ड कॉर्पस पथ
• ./results/hotpotqa/BM.json: परिणाम पथ

उद्धरण

@misc{
}