Kihyun Kim, Hee-Seon Kim, Wonjun Lee, Changick Kim

Korea Advanced Institute of Science and Technology (KAIST)

समाचार

• 2026.09 हमारा पेपर AACL-IJCNLP 2026 (Main) में स्वीकृत हो गया है! 🎉
• 2026.08 पेपर arXiv पर उपलब्ध है!
• 2026.08 कोड जारी कर दिया गया है!

अवलोकन

बैच प्रॉम्प्टिंग एक व्यावहारिक इन्फरेंस रणनीति है जो कई क्वेरीज़ को एक ही कॉल में पैक करती है। हम दिखाते हैं कि उपयोगिता के लिए इसकी सफलता सुरक्षा तक नहीं बढ़ती: एक हानिकारक प्रश्न जिसे अकेले में विश्वसनीय रूप से अस्वीकार किया जाता है, वह बेनाइन प्रश्नों के बैच में एम्बेड किए जाने पर हानिकारक प्रतिक्रिया उत्पन्न कर सकता है।

यह रिपॉज़िटरी निम्नलिखित के लिए आधिकारिक कोड प्रदान करती है:

1. बैच-प्रॉम्प्ट हमला डेटा उत्पन्न करना
2. ओपन-सोर्स मॉडल (Phi / Llama / Qwen) और कमर्शियल API (GPT / Gemini / Claude) पर इन्फरेंस चलाना
3. LlamaGuard-4, WildGuard, और Beaver-Dam के एन्सेम्बल के साथ हमले की सफलता का मूल्यांकन करना

तैयारी

1. इस रिपॉज़िटरी को क्लोन करें।

git clone https://github.com/96kihyun/batch_jailbreak.git
cd batch_jailbreak

2. पर्यावरण सेटअप

conda create -n batch python=3.10 -y
conda activate batch
pip install -r requirements.txt

लोकल मॉडल इन्फरेंस और तीन जज मॉडल के लिए GPU आवश्यक है। Python 3.10 + PyTorch 2.4 + transformers==5.2 के साथ परीक्षण किया गया।

नोट: src/evaluate/llamaguard4/ में LlamaGuard-4 (Llama4ForConditionalGeneration) के लिए transformers की एक वेंडर की गई प्रति शामिल है। इसे sys.path में केवल तब जोड़ा जाता है जब LlamaGuard लोड हो रहा हो।

3. मॉडल / API कुंजियाँ रजिस्टर करें

configs/models.yaml को लोकल HuggingFace चेकपॉइंट पथों (जनरेटर + जज) के साथ संपादित करें, और configs/api.yaml में API कुंजियाँ सेट करें (या env वेरिएबल्स OPENAI_API_KEY / GEMINI_API_KEY / ANTHROPIC_API_KEY / HF_TOKEN के माध्यम से)।

आवश्यक डेटा और मॉडल

• बेनाइन फिलर: data/context_dataset/gsm8k.jsonl (प्रत्येक पंक्ति में एक "question" कुंजी होती है)
• हानिकारक डेटासेट (स्वतः-डाउनलोड): JailbreakBench/JBB-Behaviors, walledai/StrongREJECT
• जनरेटर: Phi-4 / Llama-3.1-8B-Instruct / Qwen3-8B
• जज: Llama-Guard-4-12B, PKU-Alignment/beaver-dam-7b, allenai/wildguard

बैच-प्रॉम्प्ट डेटा उत्पन्न करना

डिफ़ॉल्ट: --harmful_dataset JBB, बैच आकार n = 1..10, 313 नमूने। बेनाइन स्लॉट GSM8K (single_math) से भरे जाते हैं।

python -m src.utils.generate_batch_question_prompt

आउटपुट data/batch_prompt/single_math/{n}/pos_{k}.jsonl के अंतर्गत लिखे जाते हैं।

इन्फरेंस चलाना

ओपन-सोर्स मॉडल (Phi / Llama / Qwen)

python scripts/inference/run_inference_batch_prompt.py \
  --model_name qwen \
  --case single_math --n 9 --pos 2 \
  --harmful_dataset JBB

(model, case, batch_size, pos) पर बैच्ड स्वीप:

bash scripts/inference/run_inference_batch_prompt_eval.sh \
  --dataset jbb --gpu_id 0 \
  --models phi qwen --cases single_math \
  --batch_sizes 12 --pos_values 1 2

कमर्शियल API (GPT / Gemini / Claude)

python scripts/inference/run_inference_api.py \
  --api gpt \
  --input_file data/batch_prompt_jbb/single_math/12/pos_2.jsonl \
  --model_name gpt --output_subdir batch_prompt_jbb/single_math/12/pos_2 \
  --harmful_dataset JBB --extract_pos 2

आउटपुट result/inference/<model>/... के अंतर्गत {prompt, response} जोड़ों के साथ JSONL के रूप में सहेजे जाते हैं।

हमले की सफलता का मूल्यांकन

प्रत्येक प्रतिक्रिया को LlamaGuard-4, WildGuard, और Beaver-Dam द्वारा स्कोर किया जाता है, फिर बहुमत मत द्वारा संयोजित किया जाता है:

python scripts/eval/run_ensemble.py \
  --input_file result/inference/qwen/batch_prompt_jbb/single_math/12/qwen_single_math_n12_pos_2_response.jsonl \
  --output_dir result/evaluation/batch_prompt_jbb/qwen/single_math/12/pos_2

आप इन्फरेंस के समान लूप में मूल्यांकन भी चला सकते हैं:

bash scripts/inference/run_inference_batch_prompt_eval.sh \
  --dataset jbb --gpu_id 0 \
  --models qwen --cases single_math \
  --batch_sizes 12 --pos_values 2 \
  --conda_env batch

त्वरित शुरुआत (स्मोक रन)

# 1. data
python -m src.utils.generate_batch_question_prompt \
  --harmful_dataset JBB --min_n 12 --max_n 12 --num_samples 100

# 2. inference
python scripts/inference/run_inference_batch_prompt.py \
  --model_name llama --case single_math --n 12 --pos 2 --harmful_dataset JBB

# 3. evaluation
python scripts/eval/run_ensemble.py \
  --input_file result/inference/llama/batch_prompt/llama_single_math_n12_pos_2_response.jsonl

उद्धरण

यदि हमारा कार्य आपके शोध में सहायक हो, तो कृपया हमारे पेपर का उद्धरण देने पर विचार करें।

@article{kim2026safety,
  title={Safety in Batches? Understanding and Mitigating Safety Failures in Batch Prompting},
  author={Kim, Kihyun and Kim, HeeSeon and Lee, Wonjun and Kim, Changick},
  journal={arXiv preprint arXiv:2608.02681},
  year={2026}
}

संपर्क

हमारे पेपर या कोड के बारे में किसी भी प्रश्न के लिए, कृपया [email protected] पर ईमेल करें।