
أداة هجوم بتدرج الإحداثيات الجشع (GCG) جاهزة للإنتاج لنماذج اللغة الكبيرة (LLMs)
Broken Hill هي أداة هجوم آلية بمستوى الإنتاج وجاهزة للاستخدام، تولّد مطالبات مصمَّمة بعناية لتجاوز القيود في نماذج اللغات الكبيرة (LLMs) باستخدام هجوم التدرج الإحداثي الجشع (GCG) الموصوف في ورقة "Universal and Transferable Adversarial Attacks on Aligned Language Models" بقلم Andy Zou وZifan Wang وNicholas Carlini وMilad Nasr وJ. Zico Kolter وMatt Fredrikson.
يمكن لـ Broken Hill توليد مطالبات قوية تنجح في اختراق نماذج LLM مهيَّأة بشكل مختلف عن النموذج الذي استُخدم لتوليد المطالبات. على سبيل المثال:
FP16، لكنها تُستخدم ضد النسخة الافتراضية من Phi 3 في ollama حيث تكون الأوزان مكمَّمة إلى تنسيق الأعداد الصحيحة 4-بت q4_0.تعتمد هذه الأداة جزئيًا على نسخة مخصصة بشكل كبير من مستودع llm-attacks المرتبط بورقة "Universal and Transferable Adversarial Attacks on Aligned Language Models". كما تتضمن عددًا من الخوارزميات من .
أُجري البحث الأصلي الذي قام به Zou وWang وCarlini وNasr وKolter وFredrikson باستخدام أجهزة سحابية/من موفري الاستضافة عالية المستوى بذاكرة VRAM سعتها 80GiB، مثل Nvidia A100 وH100. وعادةً ما يكون شراء بطاقات الرسوميات هذه مكلفًا للغاية بالنسبة للأفراد، كما أن استئجار الوصول إليها قد ينتج عنه فاتورة باهظة.
كان هدفنا الأصلي هو توسيع نطاق الوصول إلى هذا المجال الرائع من الأبحاث بشكل كبير، وذلك بإنتاج أداة قادرة على تنفيذ هجوم GCG ضد أكبر عدد ممكن من النماذج على بطاقة GeForce RTX 4090، وهي بطاقة المستهلك من الجيل الحالي التي تدعم CUDA وتتضمن أكبر سعة VRAM (24GiB). لا تزال RTX 4090 باهظة الثمن، لكن شراء واحدة نقدًا (حتى وقت كتابة هذا النص) يكلف تقريبًا نفس سعر استئجار مثيل سحابي مزوّد بـ A100 أو H100 لمدة شهر واحد. إضافةً إلى ذلك، فإن شريحة صغيرة على الأقل من العاملين في مجال أمن المعلومات تمتلك أصلًا بطاقة RTX 4090 واحدة على الأقل لكسر التجزئات (hash-cracking) و/أو الألعاب.
اعتبارًا من الإصدار 0.34، يمكن لـ Broken Hill أيضًا تنفيذ المعالجة على أجهزة لا تحتوي على عتاد CUDA بمعدل مقبول (وإن كان أقل من الأداء الذي يوفره عتاد CUDA)، ويمكن استخدامه حتى على Mac OS وWindows (رغم أنه يُختبر بشكل أساسي على Linux). يتيح ذلك تنفيذ الهجوم لجمهور أكبر بكثير، وضد نماذج أكبر بكثير مما سمحت به الإصدارات السابقة.
Vikhr-Gemma-2B-instruct)Llama-68M-Chat-v1 وalpaca-13b)nekomata-7b-instruction)jq في الإصدار الحالي)