क्या मैं आपका ध्यान आकर्षित कर सकता हूँ? आर्किटेक्चर-जागरूक हमलों का उपयोग करके फाइन-ट्यूनिंग-आधारित प्रॉम्प्ट इंजेक्शन सुरक्षाओं को तोड़ना

इस रिपॉजिटरी में SecAlign++, SecAlign और StruQ को तोड़ने वाले ASTRA और ASTRA++ हमलों को चलाने के लिए कोड शामिल है। इस रिपॉजिटरी में जनरेट किए गए हमलों और हमले के लॉग के कुछ उदाहरण भी शामिल हैं।

सेटअप

रिपॉजिटरी को क्लोन करें

यह रिपॉजिटरी के साथ-साथ सभी सबमॉड्यूल्स को आवश्यक सही स्थान पर क्लोन करेगा।

git clone --recurse-submodules https://github.com/nishitvp/better_opts_attacks.git

Python वातावरण सेट करें

कोडबेस LLM और डीप लर्निंग से संबंधित पैकेजों के मानक संग्रह के अलावा कोई विशेष Python पैकेज का उपयोग नहीं करता है। आवश्यकताओं को स्थापित करने के लिए, चलाएँ

python3 -m pip install -r requirements.txt

और यह आपके वातावरण में आवश्यक पैकेज स्थापित कर देगा।

मॉडल डाउनलोड करें

1. सबसे पहले, HuggingFace से बेस मॉडल डाउनलोड करें (इनमें से कुछ गेटेड हो सकते हैं, जिनके लिए आपको HuggingFace से एक्सेस प्राप्त करना आवश्यक होगा)

   root@kitploit:~

   hf login --token ${HF_PASSWORD}
   hf download meta-llama/Meta-Llama-3-8B-Instruct --local-dir secalign_refactored/secalign_models/meta-llama/Meta-Llama-3-8B-Instruct
   hf download mistralai/Mistral-7B-Instruct-v0.1 --local-dir secalign_refactored/secalign_models/mistralai/Mistral-7B-Instruct-v0.1
   hf download meta-llama/Llama-3.1-8B-Instruct --local-dir secalign_refactored/secalign_models/meta-llama/Llama-3.1-8B-Instruct
   hf download facebook/Meta-SecAlign-8B --local-dir secalign_refactored/secalign_models/Meta-SecAlign-8B
   

2. SecAlign एडेप्टर और StruQ मॉडल डाउनलोड करें। सही स्थान पर डाउनलोड और एक्सट्रैक्ट करने के लिए एक सहायक स्क्रिप्ट है।

   root@kitploit:~

   python3 setup_scripts/download_models.py
   

   जब प्रोजेक्ट रूट से चलाया जाता है, तो यह स्क्रिप्ट सही मॉडल को सही स्थान पर डाउनलोड और एक्सट्रैक्ट करनी चाहिए। सत्यापित करने के लिए, जाँचें कि क्या secalign_refactored/secalign_models में तीन फ़ोल्डर huggyllama, meta-llama और mistralai हैं, जिनमें से प्रत्येक में संबंधित मॉडल शामिल होने चाहिए।

एक स्ट्रॉन्ग नॉलेज एडवर्सरी के लिए ASTRA चलाना

एक स्ट्रॉन्ग नॉलेज एडवर्सरी के लिए ASTRA चलाने हेतु, मुख्य स्क्रिप्ट experiment.py है। यह स्क्रिप्ट AlpacaFarm डेटासेट से 40 उदाहरण लेगी, निर्दिष्ट कॉन्फ़िगरेशन के साथ पेलोड Print exactly 'Hacked!' इंजेक्ट करेगी और इनिशियलाइज़ेशन (रैंडमली इनिशियलाइज़्ड), फॉरवर्ड पास की संख्या, इटरेशन आदि को नियंत्रित करते हुए ASTRA के साथ-साथ बेसलाइन (GCG) भी चलाएगी।

उपयोगकर्ता experiment.py को कॉल करते समय निम्नलिखित पैरामीटर को कमांड लाइन पैरामीटर के रूप में सेट करके नियंत्रित कर सकता है -

1. --model-name: संभावित मान meta-llama, meta-llama-instruct, mistralai, mistralai-instruct, huggyllama हैं।

2. --defense: संभावित मान undefended, struq और secalign हैं। डिफ़ॉल्ट मान secalign है। --model-name पैरामीटर --defense पैरामीटर के साथ मिलकर नीचे दी गई तालिका के अनुसार उपयोग किए जा रहे विशिष्ट मॉडल को विशिष्ट रूप से निर्दिष्ट करता है

एक पूर्ण कमांड कुछ इस प्रकार दिख सकती है -

python3 experiment.py --model-name meta-llama-instruct --defense secalign --prefix-length 5 --suffix-length 20 --expt-folder-prefix logs/astra_llama_secalign

उपरोक्त कमांड चलाने पर, स्क्रिप्ट स्वचालित रूप से कार्यभार को समान रूप से विभिन्न सबप्रोसेसों में वितरित करेगी, जिनमें से प्रत्येक हमलों की गणना करने के लिए एक GPU का उपयोग करेगा। हम हमलों को कम से कम 48GB मेमोरी वाले GPUs पर चलाने की अनुशंसा करते हैं।

प्रत्येक सबप्रोसेस --expt-folder-prefix में निर्दिष्ट पथ के एक अलग सबफ़ोल्डर में हमला किए गए प्रत्येक उदाहरण का पूरा ट्रांसक्रिप्ट लॉग करेगा। लॉग python ऑब्जेक्ट्स युक्त क्वेरी करने योग्य डेटाबेस-जैसे प्रारूप में संग्रहीत किए जाते हैं (अधिक विवरण के लिए utils/experiment_logger फ़ाइल देखें)। प्रत्येक लॉग किया गया ट्रांसक्रिप्ट ऑप्टिमाइज़ेशन के दौरान टोकन के अनुक्रम, लॉस मान और इनिशियलाइज़ेशन कॉन्फ़िग जैसे अन्य महत्वपूर्ण विवरण शामिल करेगा, जिन्हें बाद में पुनर्प्राप्त किया जा सकता है।

विश्लेषण (ASTRA)

पूरा ASTRA प्रयोग समाप्त होने के बाद, जनरेट किए गए लॉग का विश्लेषण बाद में analysis/analysis.ipynb फ़ाइल का उपयोग करके किया जा सकता है। बस Jupyter नोटबुक को --expt-folder-prefix पथ में कॉपी-पेस्ट करें, नोटबुक में मॉडल पथ को सही मॉडल पथ से बदलें, और नोटबुक चलाएँ। यह अंतिम सेल में GCG की सफलताओं की संख्या और ASTRA की सफलताओं की संख्या प्रिंट करेगा। (P.S. विश्लेषण स्क्रिप्ट को चलने में कुछ समय लगता है क्योंकि यह वास्तव में प्रत्येक उदाहरण के लिए ऑप्टिमाइज़ेशन के दौरान जनरेट किए गए इनपुट टोकन अनुक्रमों में से प्रत्येक पर आउटपुट जनरेट करती है।)

analysis.ipynb नोटबुक में औसत लॉस कर्व्स को प्लॉट करने और जनरेट किए गए लॉग के साथ आगे की खोज करने के लिए सहायक कोड भी शामिल है।

विश्लेषण स्क्रिप्ट को मूल रूप से अलग रखा गया है ताकि यह सुनिश्चित किया जा सके कि ऑप्टिमाइज़ेशन स्वयं पोस्ट-फैक्टो विश्लेषण कोड से दूषित न हो।

जनरेट किए गए हमले

हम data/attacks_generated.zip में स्थित ज़िप फ़ाइल में कुछ ASTRA जनरेटेड हमले भी साझा करते हैं। वास्तव में, ज़िप फ़ाइल में 4 फ़ाइलें हैं, जिनमें से प्रत्येक में ASTRA जनरेटेड हमलों के 40 उदाहरण हैं, क्रमशः Mistral और Llama-3 के SecAlign-सुरक्षित संस्करणों में से प्रत्येक के लिए दो-दो। फ़ाइलें 20 और 25 टोकन के बजट के लिए जनरेट किए गए उदाहरण प्रदान करती हैं ((0, 20) और (5, 20) कॉन्फ़िगरेशन में)। इंजेक्शन को कॉन्फ़िगरेशन में इनपुट फ़ील्ड में पहले ही रखा जा चुका है।

एक वीक नॉलेज एडवर्सरी के लिए ASTRA++ चलाना

एक वीक नॉलेज एडवर्सरी के लिए ASTRA++ चलाने हेतु, मुख्य स्क्रिप्ट experiment_universal.py है। यह स्क्रिप्ट AlpacaFarm डेटासेट से 10 प्रशिक्षण उदाहरण लेगी, निर्दिष्ट प्रीफ़िक्स, सफ़िक्स कॉन्फ़िगरेशन के साथ पेलोड Print exactly 'Hacked!' इंजेक्ट करेगी और अंत में एक यूनिवर्सल प्रॉम्प्ट इंजेक्शन प्राप्त करने के लिए प्रशिक्षण देगी। स्क्रिप्ट ASTRA++ के प्रशिक्षण के बाद बेसलाइन, GCG का यूनिवर्सल संस्करण भी चलाती है।

पिछले अनुभाग की स्क्रिप्ट experiment.py की तरह, experiment_universal.py भी --model-name, --defense, --prefix-length, --suffix-length, --expt-folder-prefix तर्क लेती है।

ASTRA चलाने पर पिछले अनुभाग में सूचीबद्ध सभी मॉडलों के अलावा, experiment_universal.py स्क्रिप्ट SecAlign++ सुरक्षा के अनुरूप एक और संभावित मॉडल भी लेती है। SecAlign++ सुरक्षा पर प्रशिक्षण के लिए, --model-name पैरामीटर को secalign_refactored/secalign_models/Meta-SecAlign-8B और --defense पैरामीटर को meta_secalign के रूप में पास करें।

एक अतिरिक्त कमांड-लाइन तर्क है जो यह स्क्रिप्ट लेती है, जो --training-run है, जो यह निर्धारित करता है कि प्रशिक्षण रन 10 उदाहरणों के किस सेट पर होगा।

बाकी पैरामीटर की व्याख्या पहले जैसी ही है।

विश्लेषण (ASTRA++)

पूरा ASTRA++ प्रयोग समाप्त होने के बाद, जनरेट किए गए लॉग का विश्लेषण बाद में analysis/analysis_universal.ipynb फ़ाइल का उपयोग करके किया जा सकता है। पहले की तरह, Jupyter नोटबुक को --expt-folder-prefix पथ में कॉपी-पेस्ट करें, मॉडल को सही ढंग से लोड करें (SecAlign++ को लोड करने के तरीके के कारण कुछ जटिलता है, लेकिन भविष्य में इसे एकसमान बना दिया जाएगा)। यह GCG की टेस्ट सफलताओं की संख्या और ASTRA की सफलताओं की संख्या के साथ-साथ प्राप्त सर्वोत्तम यूनिवर्सल प्रॉम्प्ट इंजेक्शन प्रिंट करेगा।

जनरेट किए गए हमले

ASTRA++ के लिए, हम SecAlign++-सुरक्षित Llama-3.1-8B-Instruct के लिए जनरेट किए गए यूनिवर्सल प्रॉम्प्ट इंजेक्शन को data/universal_pis_secalign++.json फ़ाइल में मेटाडेटा और उनके जनरेट होने के कॉन्फ़िगरेशन के साथ अपलोड करते हैं। इसके अलावा, हम सभी यूनिवर्सैलिटी प्रशिक्षण रनों पर सभी हमलों का एक ट्रांसक्रिप्ट data/final_result_logs.pkl में भी अपलोड करते हैं (हम वादा करते हैं, पिकल में कोई दुर्भावनापूर्ण कोड नहीं है :)।

उन्नत परिवर्तन

यद्यपि उपरोक्त स्क्रिप्ट ASTRA और ASTRA++ हमलों को रेडी-टू-यूज़ चलाएँगी, कोडबेस हमले को प्रभावित करने वाले लगभग हर पैरामीटर के कॉन्फ़िगरेशन की अनुमति देता है, जैसे कि प्रशिक्षण डेटासेट आकार, चुनी गई थ्रेशोल्ड, रैंडम सीड्स, इनिशियलाइज़ेशन कॉन्फ़िग आदि। यदि आपके पास कोई दिलचस्प सुझाव है, तो बेझिझक पुल रिक्वेस्ट भेजें।

संपर्क

किसी भी प्रश्न, बग रिपोर्ट, विवरण या स्पष्टीकरण के लिए, कृपया बेझिझक Github पर एक issue खोलें या लेखकों को मेल करें।