EntropicaPublic

Actualizaciones de marzo

Necesito trasladar algo de trabajo desde los repositorios privados. Continúa la exploración del uso de modelos masivamente multicabezales con funciones de mezcla y lectura separadas. Actualmente estoy entrenando un Chinese TinyStories en un modelo equivalente a 3B que se entrena fácilmente en una GPU de 8 GB. Estamos hablando de una reducción del 80-90% en la memoria de GPU necesaria. Trasladaré más trabajo durante la próxima semana.

Actualizaciones de enero

Fueron unas vacaciones divertidas. Se han presentado las primeras PI. Se realizaron varias PoC con inferencia totalmente óptica (¡sin GPU!) para explorar el límite de lo posible:

1. AlphaGo, un jugador de Go totalmente óptico con colapso de regla de Born unitario aproximado (esto proviene de un entrenamiento nocturno)

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-alphago/README.md

2. 2gps, un pipeline óptico similar que determina sus coordenadas, altitud y rumbo basándose en lo que ve a través de la cámara frontal

• Dos versiones: salida directa tipo HUD y (más, mejor) codificación de las coordenadas en una forma adecuada para comunicaciones láser seguras en línea de visión

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-gps/README.md

3. Target, esta vez detectamos y rastreamos objetivos

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-target/README.md

Antecedentes (WIP)

Presentamos Entropica, el primer modelo de lenguaje generativo cuyo pase hacia adelante es físicamente realizable como un interferómetro lineal-óptico pasivo que opera con cero potencia eléctrica durante la inferencia.

El modelo utiliza un espacio de Hilbert complejo de 1024 dimensiones con 32 capas de redes Mach-Zehnder programables (arquitectura Reck) y deriva las probabilidades de los tokens directamente mediante la regla de Born sobre un haz láser de 650 nm.

A pesar de usar solo operaciones unitarias y ningún mecanismo de atención, un modelo 1024×32 logra una generación coherente de TinyStories después de menos de 1.8 horas de entrenamiento en una sola GPU de consumo. Además, demostramos una ruta de implementación óptica completa utilizando máscaras de fase impresas en película de transparencia y un diodo láser de $30.

Nota técnica más reciente:

https://zenodo.org/records/17764289

Repositorio Público para la Exploración de Quantum-LM

v001

https://zenodo.org/records/17764289

El código fuente del primer artículo de Entropica. El modelo en sí está en v000/quantum_lm.py

https://github.com/dwallener/EntropicaPublic/blob/main/v001/quantum_lm.py

Los scripts generate/sample/train gestionan el dataset, la inferencia y el proceso de entrenamiento.