Broken Hill

Broken Hill هي أداة هجوم آلية بمستوى الإنتاج وجاهزة للاستخدام، تولّد مطالبات مصمَّمة بعناية لتجاوز القيود في نماذج اللغات الكبيرة (LLMs) باستخدام هجوم التدرج الإحداثي الجشع (GCG) الموصوف في ورقة "Universal and Transferable Adversarial Attacks on Aligned Language Models" بقلم Andy Zou وZifan Wang وNicholas Carlini وMilad Nasr وJ. Zico Kolter وMatt Fredrikson.

يمكن لـ Broken Hill توليد مطالبات قوية تنجح في اختراق نماذج LLM مهيَّأة بشكل مختلف عن النموذج الذي استُخدم لتوليد المطالبات. على سبيل المثال:

• النموذج نفسه بعدد معاملات (parameters) أكبر أو أقل
  • على سبيل المثال، وُلِّدت المطالبات باستخدام نسخة Gemma ذات المعاملات البالغ عددها مليارَي معامل، لكنها تُستخدم ضد تنفيذ يعتمد على نسخة Gemma ذات المعاملات السبعة مليارات.
• النموذج نفسه مع تكميم (quantization) الأوزان إلى أنواع مختلفة
  • على سبيل المثال، وُلِّدت المطالبات باستخدام نسخة Phi 3 التي تُخزَّن أوزانها بتنسيق FP16، لكنها تُستخدم ضد النسخة الافتراضية من Phi 3 في ollama حيث تكون الأوزان مكمَّمة إلى تنسيق الأعداد الصحيحة 4-بت q4_0.
• النموذج نفسه، لكن مع إعدادات عشوائية مختلفة
  • على سبيل المثال، قيمة حرارة (temperature) غير افتراضية أو بذرة عشوائية (random seed) مختلفة.
• وربما حتى نموذج مختلف عن النموذج الذي استُخدم لتوليد المطالبات

تعتمد هذه الأداة جزئيًا على نسخة مخصصة بشكل كبير من مستودع llm-attacks المرتبط بورقة "Universal and Transferable Adversarial Attacks on Aligned Language Models". كما تتضمن عددًا من الخوارزميات من nanoGCG.

أُجري البحث الأصلي الذي قام به Zou وWang وCarlini وNasr وKolter وFredrikson باستخدام أجهزة سحابية/من موفري الاستضافة عالية المستوى بذاكرة VRAM سعتها 80GiB، مثل Nvidia A100 وH100. وعادةً ما يكون شراء بطاقات الرسوميات هذه مكلفًا للغاية بالنسبة للأفراد، كما أن استئجار الوصول إليها قد ينتج عنه فاتورة باهظة.

كان هدفنا الأصلي هو توسيع نطاق الوصول إلى هذا المجال الرائع من الأبحاث بشكل كبير، وذلك بإنتاج أداة قادرة على تنفيذ هجوم GCG ضد أكبر عدد ممكن من النماذج على بطاقة GeForce RTX 4090، وهي بطاقة المستهلك من الجيل الحالي التي تدعم CUDA وتتضمن أكبر سعة VRAM (24GiB). لا تزال RTX 4090 باهظة الثمن، لكن شراء واحدة نقدًا (حتى وقت كتابة هذا النص) يكلف تقريبًا نفس سعر استئجار مثيل سحابي مزوّد بـ A100 أو H100 لمدة شهر واحد. إضافةً إلى ذلك، فإن شريحة صغيرة على الأقل من العاملين في مجال أمن المعلومات تمتلك أصلًا بطاقة RTX 4090 واحدة على الأقل لكسر التجزئات (hash-cracking) و/أو الألعاب.

اعتبارًا من الإصدار 0.34، يمكن لـ Broken Hill أيضًا تنفيذ المعالجة على أجهزة لا تحتوي على عتاد CUDA بمعدل مقبول (وإن كان أقل من الأداء الذي يوفره عتاد CUDA)، ويمكن استخدامه حتى على Mac OS وWindows (رغم أنه يُختبر بشكل أساسي على Linux). يتيح ذلك تنفيذ الهجوم لجمهور أكبر بكثير، وضد نماذج أكبر بكثير مما سمحت به الإصدارات السابقة.

التوثيق

وثائق Broken Hill موجودة في شجرة الدليل الخاصة بها نظرًا لحجم المواد.

سجل إصدارات Broken Hill

مقالة مدونة تقدم لمحة عامة عن Broken Hill

صفحة أداة Broken Hill على BishopFox.com

الميزات

• واجهة سطر أوامر شاملة
• دعم للعديد من عائلات النماذج، يتوفر الكثير منها بأحجام صغيرة بما يكفي لتشغيلها على RTX 4090 (انظر مستند "ملاحظات النماذج" للتفاصيل المحددة). بعض أبرزها:
  • عائلة APT من Azurro
  • Falcon
  • Gemma (بما في ذلك الاشتقاقات من جهات خارجية، مثل Vikhr-Gemma-2B-instruct)
  • Gemma 2
  • GLM-4
  • GPT-J وGPT-Neo وGPT-NeoX
  • Guanaco
  • Llama (بما في ذلك الاشتقاقات من جهات خارجية مثل Llama-68M-Chat-v1 وalpaca-13b)
  • Llama-2 (بما في ذلك الاشتقاقات من الجهة الأولى ومن جهات خارجية، مثل Meta-Llama-Guard-2 وSwallow وYouri)
  • Llama-3 (بما في ذلك الاشتقاقات من الجهة الأولى ومن جهات خارجية، مثل Llama-Guard-3 وSwallow وYouko)
  • MPT
  • Mamba
  • Mistral (بما في ذلك النماذج المشتقة من جهات خارجية مثل Neural Chat من Intel)
  • Mixtral
  • OPT
  • Orca-2
  • Phi-1 حتى Phi-3.5
  • Pythia (بما في ذلك النماذج المشتقة من جهات خارجية مثل المجموعة الفرعية القائمة على Pythia من نماذج OpenAssistant)
  • Qwen 1 و1.5 و2 (بما في ذلك الاشتقاقات من جهات خارجية، مثل nekomata-7b-instruction)
  • RedPajama-INCITE
  • SOLAR
  • SmolLM
  • Snowflake Arctic
  • StableLM 1 و2
  • TinyLlama
  • Vicuna
• يمكن إخراج النتائج بصيغة JSON لتصفيتها/تحليلها
• دعم لاختبار كل تكرار من البيانات العدائية ضد نفس نموذج LLM مع إعدادات عشوائية متعددة مختلفة، للمساعدة في استبعاد النتائج الهشة
• نسخ احتياطي تلقائي للحالة عند كل تكرار، مما يسمح بالاستئناف من نقطة حفظ (checkpoint) في حال مواجهة خطأ، أو مواصلة تنفيذ تكرارات إضافية بعد انتهاء الاختبار
• يتضمن اختبارات ذاتية للمساعدة في التحقق من أن الهجوم مُهيأ بشكل صحيح وسينتج نتائج مفيدة
  • التحقق من أن المحادثات مقدَّمة بالتنسيق الذي دُرِّب عليه النموذج

مخطط له في الإصدارات المستقبلية

• القدرة على اختبار أو إعادة تحليل النتائج الموجودة (ضد نموذج/إعداد آخر، مع قواعد مختلفة لاكتشاف الاختراقات، وما إلى ذلك)
  • سيسمح باكتشاف أكثر مباشرة للمحتوى العدائي "القابل للنقل"
  • سيسمح باختبار النتائج ضد نماذج ستناسب ذاكرة الجهاز، حتى عندما لا تتسع البيانات اللازمة لهجوم GCG (التدرج، بيانات الانتشار العكسي، إلخ) للذاكرة
  • سيسمح باختبار قواعد اكتشاف اختراقات منقحة دون عبء إعادة تشغيل توليد المحتوى
• اختبارات ذاتية أكثر شمولًا لتحسين قوالب المحادثات بشكل أكبر
• نموذج تراجع (rollback) أكثر مرونة
• قواعد عشوائية قابلة للتكوين للمساعدة في توليد أشكال أكثر تفردًا (وضع "Gamma garden mode")
• ميزات مدمجة لإخراج بيانات النتائج للأعمال اللاحقة (بدلًا من استخدام jq في الإصدار الحالي)
• تحسين منطق اكتشاف الاختراقات الافتراضي
• خوارزمية (خوارزميات) خسارة إضافية
• القدرة على تشغيل عنقود من الأنظمة التي تعمل بنظام Broken Hill منسّق بواسطة عقدة مركزية
• أوضاع هجوم إضافية
• التدويل