Мартовские обновления

Мне нужно перенести часть работы из приватных репозиториев. Продолжается исследование использования моделей с огромным количеством голов, в которых функции микшера и считывания разделены. В настоящее время обучаю китайский TinyStories на модели, эквивалентной 3B, которая легко обучается на 8 ГБ GPU. Мы наблюдаем снижение необходимой памяти GPU на 80-90%. На следующей неделе я перенесу больше наработок.

Январские обновления

Были весёлые праздники. Поданы первые заявки на патенты. Выполнено несколько PoC с полностью оптическим выводом (без GPU!) для исследования границ возможного:

AlphaGo — унитарный, основанный на коллапсе по правилу Борна, полностью оптический игрок в го (это результат одной ночной тренировки)

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-alphago/README.md
2gps — аналогичный оптический конвейер, определяющий свои координаты, высоту и курс на основе изображения с передней камеры
- Две версии: прямой HUD-подобный вывод и (более продвинутый) кодирование координат в форму, подходящую для защищённой лазерной связи прямой видимости
https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-gps/README.md
Target — на этот раз мы обнаруживаем и отслеживаем цели

https://github.com/dwallener/EntropicaPublic/blob/main/v0.4-target/README.md

Background (WIP)

Мы представляем Entropica — первую генеративную языковую модель, прямой проход которой физически реализуем как пассивный линейно-оптический интерферометр, работающий с нулевым энергопотреблением во время вывода.

Модель использует 1024-мерное комплексное гильбертово пространство с 32 слоями программируемых решёток Маха–Цендера (архитектура Рекка) и получает вероятности токенов напрямую через правило Борна на лазерном луче 650 нм.

Несмотря на использование только унитарных операций и отсутствие механизма внимания, модель размером 1024×32 достигает coherent-генерации TinyStories после менее чем 1,8 часов обучения на одном потребительском GPU. Мы также демонстрируем полный путь оптической реализации с использованием напечатанных фазовых масок на прозрачной плёнке и лазерного диода за $30.

Последняя техническая заметка: