facebookresearch/meta_secalignنماذج لغوية كبيرة مفتوحة الأوزان وشيفرة تدريب/تقييم للدفاع ضد هجمات حقن الأوامر، مع معايير قياس لأمان استدعاء الأدوات بالوكلاء واتباع التعليمات.
Sizhe Chen*, Arman Zharmagambetov, David Wagner, Chuan Guo* (* للمساهمات التقنية المتساوية)
🔥 نماذج Meta-SecAlign مرخّصة الآن للاستخدام التجاري بموجب تراخيص مجتمع Llama، على الرغم من أن هذه القاعدة البرمجية مرخّصة للاستخدام غير التجاري فقط.
Meta-SecAlign-70B هو أول نموذج LLM مفتوح المصدر بالكامل بمستوى تجاري مع دفاع مدمج ضد حقن الأوامر - قابل للمقارنة مع gpt-5 و gemini-3-pro في الأمان الوكيلي (الأدوات/الويب). لا تتسبب وصفة التدريب المتقدمة لدينا في أي انخفاض ملحوظ في درجات الفائدة بناءً على التقييمات الأكثر شمولاً حتى الآن.
git clone --recurse-submodules https://github.com/facebookresearch/Meta_SecAlign.git
cd Meta_SecAlign
uv venv metasecalign --python 3.13
source metasecalign/bin/activate
uv pip install -r requirements.txt
uv pip install torchtune==0.6.0 --index-url https://download.pytorch.org/whl/cu126
python setup.py
data/openai_configs.yaml. يحتوي هذا الملف على مثال للوصول إلى OpenAI API عبر AzureOpenAI. يتوفر مثال أكثر تفصيلاً هنا.data/gemini_configs.yaml إذا كنت ترغب في تقييم نماذج Gemini.demo.py على كود بسيط لاستخدام نموذجي Meta-SecAlign. لا تتردد في تجربة عينات جديدة وحقن الأوامر، أو اختبار النماذج على قاعدة الكود الخاصة بك:python demo.py
run_tests.py على أوامر لإعادة إنتاج نتائج التقييم المذكورة في ورقتنا البحثية. يستدعي بالتسلسل tests.py و test_lm_eval.py و test_agentdojo.py و test_injecagent.py. سيتم تسجيل النتائج في [model_path]/summary.tsv.python run_tests.py -m [model_path] --lora_alpha [lora_alpha]
model_path هو المسار إلى النموذج المُختبر. ندعم:
meta-llama/Llama-3.1-8B-Instruct_SecAlign (Meta-SecAlign-8B الذي تم تنزيله بواسطة setup.py): أول نموذج مفتوح بالكامل مع دفاع متقدم ضد حقن الأوامرmeta-llama/Llama-3.3-70B-Instruct_SecAlign (Meta-SecAlign-70B الذي تم تنزيله بواسطة setup.py): أول نموذج مفتوح بالكامل مع دفاع متقدم ضد حقن الأوامرmeta-llama/Llama-3.1-8B-Instructmeta-llama/Llama-3.3-70B-Instructgpt-4o-mini: أول نموذج تجاري مع دفاع تسلسل هرمي للتعليمات ضد حقن الأوامر.gpt-4o: النموذج الرائد اللاحق، مع دفاع ضد حقن الأوامر أيضاً.gpt-5: أحدث وأكثر نموذج تجاري أماناً في تقييمنا؛ قم بتغيير مستويات الاستدلال بتحديد --gpt5_reasoning_effort (الافتراضي هو high).gemini-2.0-flash: نموذج تجاري من Google مع دفاع مزعوم ضد حقن الأوامرgemini-2.5-flash: نموذج تجاري من Google مع دفاع مزعوم ضد حقن الأوامرgemini-2.0-pro: نموذج رائد من Google (لا يُدّعى أنه يتضمن دفاعاً ضد حقن الأوامر)gemini-2.5-pro: نموذج رائد من Google (لا يُدّعى أنه يتضمن دفاعاً ضد حقن الأوامر)gemini-3-pro-preview: نموذج Google المتقدم مع دفاع قوي ضد حقن الأوامرlora_alpha هو معامل فائق لوقت الاختبار لنماذج Meta-SecAlign. القيمة الافتراضية هي 8، والتي تستخدم نماذج Meta-SecAlign الدقيقة كما تم تدريبها. قيمة lora_alpha بين 0 و 8 تُجري استيفاءً بين النموذج غير المحمي ونموذجنا المحمي لتمكين مقايضة مرنة بين الفائدة والأمان. الاستقراء بقيمة lora_alpha تتجاوز 8 ممكن لكنه غير مُختبر.meta-llama/Meta-Llama-3-8B-Instruct)secalign_plus_plus.py أوامر للضبط الدقيق الدفاعي لـ meta-llama/Llama-3.1-8B-Instruct (الافتراضي) أو meta-llama/Llama-3.3-70B-Instruct (قم بإلغاء تعليق السطر المحدد لضبطه بدقة) إلى نموذج LoRA قوي باستخدام وصفة التدريب الخاصة بنا، SecAlign++.python secalign_plus_plus.py
تم تحسينه بشكل كبير من SecAlign، معظم كود Meta-SecAlign مرخّص بموجب CC-BY-NC. أجزاء من المشروع متاحة بموجب شروط ترخيص منفصلة: AgentDojo، TaskTracker، و lm-evaluation-harness مرخّصة بموجب MIT. يتضمن الكود من مستودعات أخرى AgentDojo (agentdojo)، TaskTracker (setup.py)، و lm_eval_harness (lm_eval_config). تم إيداع هذا البرنامج و/أو البيانات في مستودع BAIR Open Research Commons في عام 2025.