Aggiornamenti di marzo

Devo spostare qui parte del lavoro dai repository privati. Continua l'esplorazione dell'uso di modelli massicciamente multi-testa con funzioni mixer e readout separate. Attualmente sto addestrando una TinyStories in cinese su un modello equivalente a 3B che si addestra facilmente su una GPU da 8GB. Stiamo vedendo una riduzione dell'80-90% della memoria GPU necessaria. Sposterò altro lavoro la prossima settimana.

Aggiornamenti di gennaio

È stata una vacanza divertente. Sono stati depositati i primi IP. Diverse PoC realizzate con inferenza completamente ottica (senza GPU!) per esplorare i limiti di ciò che è possibile:

AlphaGo, un giocatore di Go completamente ottico con collasso quasi-unitario secondo la regola di Born (questo deriva da un singolo addestramento notturno)

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-alphago/README.md

2gps, una pipeline ottica simile che calcola le proprie coordinate, altitudine e rotta in base a ciò che vede dalla telecamera frontale

Due versioni: un output diretto in stile HUD e (più, meglio) la codifica delle coordinate in una forma adatta a comunicazioni laser sicure in linea di vista

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-gps/README.md

Target, questa volta rileviamo e tracciamo i bersagli

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-target/README.md

Contesto (WIP)

Presentiamo Entropica, il primo modello linguistico generativo il cui forward pass è fisicamente realizzabile come un interferometro ottico lineare passivo che opera a zero potenza elettrica durante l'inferenza.

Il modello utilizza uno spazio di Hilbert complesso a 1024 dimensioni con 32 strati di reti programmabili di Mach–Zehnder (architettura di Reck) e deriva le probabilità dei token direttamente tramite la regola di Born su un raggio laser da 650 nm.

Nonostante utilizzi solo operazioni unitarie e nessun meccanismo di attenzione, un modello 1024×32 ottiene una generazione coerente di TinyStories dopo < 1.8 ore di addestramento su una singola GPU consumer. Dimostriamo inoltre un percorso di implementazione ottica completo utilizzando maschere di fase stampate su pellicola trasparente e un diodo laser da $30.

Nota tecnica più recente: