basalt

المشكلة · أي وحدات GPU · كيف يعمل · بدء سريع · مُقاس، لا مفترض · النتائج · API · المنهج · خارطة الطريق · غرفة نظيفة

المشكلة

تعليمة NVIDIA GPU طولها 128 بتًا، و21 منها ليست جزءًا من التعليمة إطلاقًا. إنها كلمة تحكم في الجدولة، من stall إلى reuse: عدد دورات الانتظار قبل إصدار التعليمة التالية، وأي لوحات نتائج يجب الإشارة إليها، وأيها يجب انتظاره، وأي المعاملات يمكن تقديمها من ذاكرة التخزين المؤقت لإعادة الاستخدام.

لا يتحقق العتاد من أيٍّ من ذلك. على sm_120 لا يوجد قفل أجهزة (interlock) على التعليمات ذات الكمون الثابت. تثق السيليكون بأي شيء أنتج كلمة التحكم. إذا كان عدد دورات الانتظار أقصر من كمون قيمة تستهلكها التعليمة التالية، فلن يحدث أي خطأ، ولن يحدث أي انتظار، ولن يُصدر أي تحذير. تقرأ التعليمة سجلًا لم يُكتب بعد وتُجري الحساب على بيانات قديمة، بكامل السرعة، في كل مرة.

هذا نوع غريب من الأخطاء البرمجية. لا يسبب انهيارًا. لا يظهر في مصحح الأخطاء. ينتج أرقامًا خاطئة فحسب، وهو ما يعني في عملية ضرب المصفوفات أو نواة انتباه نموذجًا يتدرب بشكل سيئ قليلًا بدلًا من أن ينهار بشكل مرئي.

أرخص ثلاثة ترميزات هي المعطوبة، ولا شيء في أي مكان يُبلغ عنها. لاحظ أيضًا ما يفعله الشريط الأيسر: stall بقيمة صفر لا يعني صفر دورة، بل هو ترميز آمن مميز ينتظر النتائج المعلقة ويكلف نحو تسعة أضعاف تعليمة مجدولة. أي مدقق يقرؤها على أنها صفر سيصف البرامج الصحيحة بأنها معطوبة.

الأدوات التي تُولّد كود الآلة لهذه البنية تُسند بتات التحكم هذه من نموذج كمون. basalt هو الشيء الذي يتحقق من الإجابة.

الفحص الذي لم تصدره NVIDIA

NVIDIA تمنحك مُجمّعًا يكتب تلك الـ21 بتًا. لا تمنحك أي شيء يقرأها ويعيد إخبارك بأنها آمنة، ولا يفعل ذلك أي شخص آخر.

مُجمّعات وحدات معالجة الرسوم من NVIDIA موجودة منذ عقد من الزمن، وقد تمت هندسة ترميز Blackwell بشكل عكسي من قبل، وهناك توصيفات منشورة على مستوى دورات الساعة لـ sm_120، ويوجد مُجمّع عام واحد لهذه البنية يُسند بتات التحكم في الجدولة بنفسه ويُشغّل نواة خاصة به على بطاقة ليتحقق من أن الإجابات صحيحة. كل هذا صحيح، لكن لا شيء منه هو الادعاء:

لا يمكن تسليم أي أداة أخرى ملف cubin لم تُنتجه وتكليفها بالقول ما إذا كانت بتات التحكم في الجدولة الخاصة به آمنة.

مُجمّعك هو من أصدر ذلك cubin، أو مكتبة صدّرته، أو شخص كتبه يدويًا، وحتى الآن لم تكن هناك طريقة للسؤال. على بنية لا تحتوي على قفل أجهزة، هذا هو الفرق بين "لقد عمل" و"إنه صحيح"، والفرق غير مرئي: stall أقصر بدورة واحدة يقرأ سجلًا قديمًا ويعيد رقمًا خاطئًا بكامل السرعة، دون أي خطأ ودون أي تحذير، في كل مرة.

كل ما عدا ذلك هنا موجود لجعل تلك الجملة قابلة للاختبار. المُجمّع هو ما يبني برنامجًا مع تقصير متعمد لدورة انتظار واحدة. المجدول هو ما يُجبر النموذج على الالتزام بإجابة بدلًا من تقييم إجابة شخص آخر. والتدقيق هو المكان الذي تتوقف فيه الجملة عن كونها غيابًا وتصبح قياسًا: basalt مُوجَّه إلى 2,473 ملف cubin من sm_120 تُصدرها NVIDIA في cuBLAS وcuSOLVER وcuSPARSE وNPP وغيرها.

لماذا لم يكن موجودًا، على لسان المجال نفسه. يقول أكثر مُجمّعات SASS استخدامًا في توثيقه الخاص إن "التحقق من الصحة الدقيقة للبرنامج بأكمله … [ليس] ممكنًا إلى حد بعيد دون دعم رسمي. لذلك، يُترك للمستخدم ضمان صحة البرنامج، بمساعدة محدودة جدًا من المُجمّع." SIP, بخصوص الضبط التلقائي لجدول SASS, يذكر أن "التحقق مستحيل لأكواد التجميع الأصلية لوحدات معالجة الرسوم لأن الدلالات الرسمية لـ sass مغلقة المصدر."

كلاهما يتعلق بالصحة الدلالية: ما إذا كانت النواة تحسب ما يفترض أن تحسبه. basalt لا يجيب عن ذلك، ولا شيء هنا يدّعي ذلك. إنه يجيب عن سؤال أصغر بكثير، والنقطة أن السؤال الأصغر قابل للحسم دون الدلالات:

هل تغطي بتات التحكم في هذا البرنامج تبعيات بياناته الخاصة؟

يتطلب ذلك بنية التبعيات، التي يوفرها الترميز، ونموذج كمون، الذي توفره السيليكون تحت القياس. لا يتطلب أيٌّ منهما معرفة ما تحسبه أي تعليمة. يمكن لنواة أن تجتاز هذا الفحص ومع ذلك تكون الخوارزمية الخاطئة؛ ما لا يمكنها فعله هو قراءة سجل قبل وصول القيمة.

ثانيًا، لا يُقاس أي شيء آخر ببايتات البائع نفسه. مرجع basalt هو مخرجات ptxas، لذا فإن أي اختلاف هو خطأ في basalt حتى يثبت العكس. يجب على مُجمّعه إعادة إنتاج الـ128 بتًا الدقيقة للمُجمّع. يجب على المجدول التخلص من كل بت تحكم اختاره المُجمّع، وحساب بتات جديدة، وجعل GPU يحسب الإجابة نفسها.

معيار واحد لكل ذلك: طابق البائع تمامًا، أو اذكر لماذا لا.

والجزء الذي عادة ما يصمت عنه المجدول: كم تكلف الصحة. جداول basalt تستهلك 1.05x من دورات إصدار البائع، أبطأ على 111 من أصل 1,323 زوجًا من النوى ومستويات التحسين وأرخص على 842، مع بقاء كل نواة قابلة للمقارنة مطابقة بايتًا ببايت على GPU.

الصف الثالث هو الذي غيّر الصفوف الثلاثة الأخرى. المدقق الذي يُمعهر على مجموعة مرجعية لا يمكن أن يفشل على تلك المجموعة: أصغر فجوة شوهد المُجمّع يتركها هي الحد الأدنى، بالبناء، بالضبط للكود الذي قِيس عليه. في المرة الأولى التي رأى فيها هذا المدقق كودًا من مكان آخر، أبلغ عن ستة وعشرين خطرًا لكل نواة في مفكك JPEG لم يُرجع قط بكسلًا خاطئًا، وكل الـ6,593 كانت أخطاء basalt. إصلاح تلك الأخطاء أوصله إلى الصفر، والصفر على مكتبة واحدة لم يكن دليلًا أيضًا: توسيع المجموعة المستبعدة إلى ثلاث مكتبات و5.2 مليون تعليمة أعاده مباشرة إلى 940، ووجد خمسة أخطاء إضافية في النموذج فوق الثمانية الأولى. ثلاثة عشر تصحيحًا، ولا أحد منها من NVIDIA، والمتطلب الذي أُعيد استخراجه من 24,311 نواة مُصدَّرة وضع مسند حماية عند 13 دورة عبر 229,567 ملاحظة، وهو الرقم الذي قاسه حقن الأعطال على هذه البطاقة عن طريق كسر برنامج عمدًا. انظر النتيجة 32.

كونك أرخص من البائع ليس ادعاءً يستحق الافتخار. basalt يجدول كل تبعية عند أضيق فجوة شوهد ptxas يتركها لذلك الزوج المحدد، وptxas يوازن بين ضغط السجلات والذاكرة إلى جانب كمون الإصدار بينما يحسّن هذا أداة رقمًا واحدًا. كما أنه لم يُصدَّق بمجرد النظر: في المرة الأولى التي انخفضت فيها النسبة تحت 1.0 انكسر اختبار الرحلة الكاملة عبر العتاد، ولم يثبت الرقم إلا بعد إصلاح الخطأ الذي كشفه. لهذا السبب تُثبَّت النسبة من الجانبين في مجموعة الاختبارات.

العمود الأوسط هو النقطة. مدقق ومجدول يتشاركان نموذج كمون يتفقان مع بعضهما بينما كلاهما مخطئ، لذا لا يُعتبر أي منهما دليلًا على الآخر؛ فقط السيليكون لا مصلحة لها في الجدال. تشغيل المجدول على سبع نوى مكتوبة يدويًا اجتاز سبعًا من سبع لفترة طويلة. تشغيله على ثلاثمائة وجد إحدى وأربعين نواة خاطئة، وكل تصحيح في النتائج جاء من مراقبة ذلك الرقم وهو يتحرك.

الأمر نفسه ينطبق على المدخلات. القراءة القديمة لا تغير الإجابة إلا عندما تختلف القيمة القديمة عن الجديدة، لذا فإن نمطًا واحدًا من البايتات هو فرصة واحدة للاكتشاف، وتشغيل كل نواة ضد نمط ثانٍ وثالث ورابع وجد فورًا مُسند حمل (carry-out predicate) كان نموذج المعاملات يقرؤه كمصدر منذ البداية. لقد نجا من كل فحص حتى تلك اللحظة، بما في ذلك الرحلة الكاملة نفسها.

نفس الانضباط يحدد ما يُسمح للمُجمّع بفعله، ومن الجدير الفصل بين الرقمين اللذين بحوزته.

التغطية 99.9% من المجموعة المرجعية و87.5% من كود المكتبات المُصدَّرة. الصحة 100%، وهذا هو الرقم المثبَّت باختبار. الفجوة بينهما هي تعليمات يرفضها basalt بالاسم، كلٌّ منها يسمي الحقل الذي لم يستطع تحديده، لأن أداة تخمّن ستصل إلى تغطية كاملة بإصدار كلمات تُفكك إلى النص الصحيح وتحسب شيئًا آخر. لم يُصدر أيًّا منها عبر 59,760 تعليمة في المجموعة المرجعية و5,237,448 تعليمة مُصدَّرة.

لم يصل إلى ذلك إلا بعد ثماني جولات منفصلة من الثقة الخاطئة:

• كتابة رقم سجل في ترميز صيغة فورية،
• معاملة سجل موحد (uniform register) على أنه قابل للتبادل مع سجل عادي،
• الاحتفاظ بهدف الفرع لأي نواة جُمعت منها الصيغة،
• وضع العدد الصحيح 15 في حقل يحمل عائم نصف الدقة،
• كتابة معامل في بتات تبيّن أنها علم إعادة استخدام،
• الكتابة في حقل لم يُسنده المكتشف إلا جزئيًا، تاركًا الباقي ما زال يرمّز القيمة القديمة،
• نشر رقم سجل عبر البت الذي يحدد ملف السجلات الذي يوجد فيه،
• وقراءة فهرس حمل ثابت مفهرس بسجل (register-indexed constant load) باعتباره إزاحة.

كل واحدة من تلك أنتجت كلمة تُجمَّع، وتُفكك إلى النص نفسه الذي جاءت منه تمامًا، وتحسب شيئًا آخر. هذا هو الفشل نفسه الذي وُجد باقي هذا المستودع لاصطياده، ولهذا تُرفض الآن جميع الحالات الثماني مع سبب يسمي ما يحتويه الحقل فعلًا، ولهذا فإن عدد التعليمات التي تُجمَّع إلى بايتات خاطئة هو اختبار مثبَّت عند الصفر وليس رقمًا في جدول.

ظهرت حالة تاسعة في أول مرة وُجّه فيها المُجمّع إلى كود آلة لم يُنتجه، وكانت من نوع مختلف. c[0x0][UR4] يُفهرس إزاحته بسجل حيث تحمل الصيغة المسجلة رقمًا، وقد أثار المُرمِّز (encoder) خطأً بدلًا من الرفض. الانهيار على مدخلات خارجية أسوأ من حكم خاطئ، لأن المتصل لا يحصل على أيٍّ منهما.

أي وحدات GPU

sm_120 ليس رقم طراز. إنها إمكانية الحوسبة المشتركة بين خط Blackwell الاستهلاكي بأكمله، لذا فإن ترميز التعليمات وقاعدة البيانات والمُجمّع والمدقق تنطبق على كل بطاقة فيه:

ptxas يستهدف أيضًا sm_121، وهي شريحة مختلفة في العائلة نفسها. basalt لم يعمل قط على واحدة، ولا يدّعي دعمها. ما يمكنه قوله مُقاس: المُجمّع يُصدر كودًا مطابقًا بايتًا ببايت، بما في ذلك كلمات التحكم، لجميع الأهداف الستة التي يقدمها هنا، لذا فإن الجدولة التي تحتاجها النواة هي خاصية للبنية وليست للشريحة (النتيجة 28). إذا لم يكن ذلك صحيحًا، لكان مُجمّع NVIDIA نفسه يُصدر جدولة غير آمنة لإحداها.

كل رقم قِيس على السيليكون يأتي من بطاقة مادية واحدة، مُسمّاة بدقة، لأن "5070 Ti" ليست كافية لإعادة إنتاج تشغيل:

هذا ليس تواضعًا. نموذج زمن الاستجابة المشترك بين المدقّق والمجدول هو بالضبط
المكان الذي يختبئ فيه رقم خاطئ، لذا فإن البطاقة الثانية هي أكثر شيء مفيد يمكن لأي شخص أن يساهم به.

</details>

## كيف يعمل

يعتمد كل شيء على أوراكلَين اثنين، وكلاهما ثنائيات NVIDIA قياسية تُدار كعمليات خارجية. لا يتم استخدام أو إعادة توزيع أي من كود مصدر NVIDIA أو ملفات الرأس أو المكتبات.

| الأوراكل | الاستدعاء | ما يقدمه |
| :--- | :--- | :--- |
| **الحقيقة الأساسية** | `ptxas` → cubin → `nvdisasm -c -hex` | الترميزات التي يصدّرها مترجم البائع فعليًا. دلالات لا تقبل الجدل. |
| **المسبار** | `nvdisasm -b SM120a` على البايتات الخام | يفكّ ترميز كلمات لن يُصدرها `ptxas` أبدًا، مما يحوّل فضاء الترميز إلى شيء قابل للبحث بدلاً من شيء يُخمَن. |

أوراكل المسبار هو الأهم. الأداة المقتصرة على مخرجات المترجم لا يمكنها إلا أن تعيد اكتشاف ما يفعله المترجم بالفعل. إن تغذية كلمات مُصنَّعة بطول 128 بت مباشرةً إلى وحدة فك الترميز تعني أن مجموعة التعليمات يمكن *قياسها*.

لا يحتاج أيٌّ من الأوراكلَين إلى GPU، لذا فإن قاعدة بيانات التعليمات بأكملها يُعاد بناؤها في CI على أي جهاز.

### اشتقاق الترميز بتغييره

basalt لا يقرأ جدول رموز التشغيل (opcodes) من أي مكان. إنه يأخذ ترميزًا تم تجميعه، يقلب بِتة واحدة، يفك ترميز النتيجة، ويسجّل ما تغيّر. البِتة التي تغيّر سجل الوجهة هي بِتة وجهة؛ البِتة التي تغيّر رمز العملية (mnemonic) هي مُحدِّد؛ البِتة التي لا تغيّر شيئًا ملحوظًا هي خاملة.

عند تشغيله على `IADD R5, R5, 0x2a`، تظهر نتيجة القياس كما يلي:```
operand[0]  bits 16:23     flip 16 -> R4,  flip 17 -> R7      destination register
operand[1]  bits 24:31     plus bit 72, which negates it      source register
operand[2]  bits 32:63     flip 32 -> 0x2b, flip 33 -> 0x28   32-bit immediate
opcode      bits 2, 4, 12:15
inert       36 bits        no observable effect
invalid     11 bits        the decoder rejects the mutation