تحديثات مارس

أحتاج إلى نقل بعض الأعمال من المستودعات الخاصة. تستمر الاستكشافات في استخدام النماذج متعددة الرؤوس الضخمة مع فصل دوال المزيج والقراءة. نقوم حاليًا بتدريب نموذج صيني TinyStories على نموذج مكافئ لـ 3B يتدرب بسهولة على وحدة معالجة رسومية بسعة 8 جيجابايت. نحن نتطلع إلى تقليل بنسبة 80-90% في الذاكرة المطلوبة لوحدة المعالجة الرسومية. سأنقل المزيد من العمل خلال الأسبوع القادم.

تحديثات يناير

لقد كانت عطلة ممتعة. تم تقديم أول براءات الاختراع. تم إجراء عدة نماذج إثبات المفهوم باستخدام الاستدلال البصري الكامل (بدون وحدة معالجة رسومية!) لاستكشاف حدود الممكن:

AlphaGo، لاعب Go بصري كامل يعتمد على انهيار قاعدة بورن الوحدوي تقريبًا (هذا من تدريب ليلة واحدة)

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-alphago/README.md

2gps، خط أنابيب بصري مماثل يحدد إحداثياته وارتفاعه واتجاهه بناءً على ما يراه من الكاميرا الأمامية

نسختان: مخرجات تشبه شاشة العرض العلوية (HUD) المباشرة و (أفضل) ترميز الإحداثيات بشكل مناسب للاتصالات الليزرية الآمنة عبر خط الرؤية

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-gps/README.md

Target، هذه المرة نقوم باكتشاف وتتبع الأهداف

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-target/README.md

الخلفية (قيد العمل)

نقدم Entropica، أول نموذج لغوي توليدي يمكن تحقيق مروره الأمامي فعليًا كمقياس تداخل خطي بصري سلبي يعمل بطاقة كهربائية صفرية أثناء الاستدلال.

يستخدم النموذج فضاء هلبرت معقدًا بأبعاد 1024 مع 32 طبقة من شبكات ماتش-زيندر القابلة للبرمجة (هندسة ريك) ويستمد احتمالات الرموز مباشرة عبر قاعدة بورن على شعاع ليزر بطول 650 نانومتر.

على الرغم من استخدامه للعمليات الوحدوية فقط وبدون آلية انتباه، فإن نموذج 1024×32 يحقق توليدًا متماسكًا لـ TinyStories بعد أقل من 1.8 ساعة من التدريب على وحدة معالجة رسومية استهلاكية واحدة. كما نعرض مسار تنفيذ بصري كامل باستخدام أقنعة طور مطبوعة على فيلم شفاف وصمام ليزر بقيمة 30 دولارًا.

أحدث مذكرة تقنية: