franz-chang/adaptive_greedy_local_searchAGLS
초록: 대규모 언어 모델(LLM)에는 사용자의 입력을 다시 작성하고 최종 응답을 생성하기 전에 "개선된" 프롬프트를 명시적으로 제시하는 자동 프롬프트 최적화 모듈이 점점 더 많이 탑재되고 있습니다. 이러한 가시성은 신뢰와 사용자 제어를 강화하기 위해 설계되었지만, 옵티마이저가 단일 "최선" 후보를 자율적으로 선택하는 과정은 여전히 제약을 받지 않습니다. 공격자는 원본 프롬프트 또는 자동 프롬프트 최적화로 생성된 프롬프트를 가로채 대체 재작성을 수행함으로써 의미론적 드리프트(semantic drift)를 유도하고 하이재킹 최적화 과정을 완료하여 LLM의 응답에 큰 영향을 미칠 수 있습니다. 이러한 위험을 체계적으로 드러내기 위해, 우리는 프롬프트 하이재킹 공격인 AGLS(Adaptive Greedy Local Search)를 제안합니다. 이 공격은 블랙박스 시나리오에서 자동 프롬프트 최적화 결과를 하이재킹하여 의미론적 오프셋(semantic offset)을 주입합니다. AGLS는 언어적 체크포인트에서 후보 대체어를 동적으로 조정하여 목표 불일치(goal discrepancy)를 최대화하면서도 BERTScore ≈ 0.80을 유지합니다. 널리 사용되는 오픈소스 LLM에 대한 광범위한 실험을 통해 AGLS가 엄격하게 동일한 유사도 예산(similarity budget) 조건에서 기존 의미 보존 공격보다 더 높은 공격 성공률을 달성함을 입증합니다. 이 결과는 사용자 대면 시스템에서 명시적 자동 프롬프트 최적화를 가로채거나 변조하는 위험을 강조합니다.
초기 설정
먼저 ollama를 설치하세요. Linux 서버 샘플: Ollama
curl -fsSL https://ollama.com/install.sh | sh
ollama serve
ollama pull [target models]
실험에 사용된 대상 모델 목록은 여기에서 확인할 수 있습니다: Ollama Model List [llama3.1, llama3.2, llama3.3, qwen2.5, gemma2, phi3.5, ...]
폐쇄 소스 모델 [gpt-4o-latest, gpt-4-turbbo]은 OpenAI API를 통해 사용할 수 있습니다.
메인 테스트
다운로드하여 특정 위치에 배치해야 하는 데이터셋：bash /Dataset/, 모두 JSON 형식입니다.
GSM-IC_mstep.json,
SVAMP.json (Need Reshape),
SQUAD.json,
StrategyQA.json,
MovieQA.json,
ComplexWebQuestions.json
테스트 프로세스는 bash 스크립트에서 직접 실행할 수 있습니다：
sh /Bash_scripts/Main_bash.sh
sh /Bash_scripts/Auto_eval_ablation.sh
sh /Bash_scripts/Auto_eval_gpt.sh
또는 사용자 지정 인수로 실행할 수도 있습니다:
python Main.py --api_key [openai key] --baidu_key [Baidu Qianfan Key] --gemini_key [Google Gemini Key]
--question_limits [Number of tested problems] --beam_width [the max beam width] --tokenizer [tokenizer] --embedding_model [The detailed BERT type.]
--target_model [llama3.1:8b, llama3.1:70b, qwen2.5:1.5b, qwen2.5:3b, qwen2.5:7b, qwen2.5:14b, gemma2:2b, gemma2:9b, phi3.5:3.8b, ...]
--filename [the dataset selected file name: gsm, webqa, movqa, compx, ....]
or
python GPT-main.py --api_key [openai key]
--question_limits [Number of tested problems] --beam_width [the max beam width] --tokenizer [tokenizer] --embedding_model [The detailed BERT type.]
--target_model [chatgpt-4o-latest, gpt-4-turbo-preview, ...]
--filename [the dataset selected file name: gsm, webqa, movqa, compx, ....]
이 연구의 인용 정보는 다음과 같습니다：
@misc{zhang2025semanticpreservingadversarialattacksllms,
title={Semantic-Preserving Adversarial Attacks on LLMs: An Adaptive Greedy Binary Search Approach},
author={Chong Zhang and Xiang Li and Jia Wang and Shan Liang and Haochen Xue and Xiaobo Jin},
year={2025},
eprint={2506.18756},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2506.18756},
}