Mises à jour de mars

Je dois transférer une partie du travail depuis les dépôts privés. L'exploration de l'utilisation de modèles à très multiples têtes avec des fonctions de mixage et de lecture séparées se poursuit. Actuellement, j'entraîne un modèle Chinese TinyStories sur un modèle équivalent à 3B qui s'entraîne facilement sur un GPU de 8 Go. Nous observons une réduction de 80 à 90 % de la mémoire GPU nécessaire. Davantage de travail sera transféré la semaine prochaine.

Mises à jour de janvier

Ce furent des vacances amusantes. Les premiers titres de propriété intellectuelle ont été déposés. Plusieurs POC réalisés avec inférence tout-optique (pas de GPU !) pour explorer les limites du possible :

AlphaGo, un joueur de Go tout-optique basé sur l'effondrement par la règle de Born (unitary-ish) (issu d'un entraînement d'une nuit)

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-alphago/README.md

2gps, un pipeline optique similaire qui détermine ses coordonnées, son altitude et son cap en fonction de ce qu'il voit depuis la caméra frontale

Deux versions : une sortie directe de type HUD et (mieux) un encodage des coordonnées dans un format adapté aux communications laser sécurisées en visibilité directe

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-gps/README.md

Target, cette fois nous détectons et suivons des cibles

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-target/README.md

Contexte (WIP)

Nous présentons Entropica, le premier modèle de langage génératif dont le passage avant est physiquement réalisable sous forme d'un interféromètre linéaire-optique passif fonctionnant sans consommation électrique pendant l'inférence.

Le modèle utilise un espace de Hilbert complexe de dimension 1024 avec 32 couches de mailles de Mach–Zehnder programmables (architecture Reck) et calcule les probabilités des tokens directement via la règle de Born sur un faisceau laser de 650 nm.

Malgré l'utilisation uniquement d'opérations unitaires et d'aucun mécanisme d'attention, un modèle 1024×32 parvient à générer des TinyStories cohérentes après moins de 1,8 heure d'entraînement sur un seul GPU grand public. Nous démontrons en outre une voie de mise en œuvre optique complète utilisant des masques de phase imprimés sur film transparent et une diode laser à 30 $.

Note technique la plus récente :