Исследователи из UCLA разработали оптические генеративные модели — революционную технологию, способную создавать изображения с помощью света всего за один проход. В отличие от цифровых моделей типа DDPM, требующих 1000 итераций, новый подход генерирует картинки мгновенно, используя дифракционные декодеры и световые волны.
Система работает в два этапа: сначала трехслойный цифровой энкодер преобразует случайный гауссов шум в фазовые паттерны, затем дифракционный оптический декодер через свободное распространение света формирует финальное изображение. При этом энергопотребление составляет всего 0.003-0.033 мДж на изображение для MNIST против 0.14-1.58 Дж у традиционных DDPM — разница в тысячи раз.
В экспериментах модель продемонстрировала впечатляющие результаты: на датасете MNIST достигнут FID-скор 131.08, а на Fashion-MNIST — 180.57. Особенно интересно, что классификаторы, обученные на 100% оптически сгенерированных изображениях, показали точность 99.18% — всего на 0.4% хуже, чем при обучении на оригинальных данных.
b, Итеративная оптическая генеративная модель обучается аналогично цифровому DDPM (диффузионной вероятностной модели с денойзингом).
c, После обучения, в процессе автономного вывода, итеративная оптическая генеративная модель постепенно восстанавливает целевое распределение данных (генерируя изображение на временном шаге 0) из гауссовского распределения шума (на временном шаге T).
Команда также создала многоцветные оптические модели, работающие с тремя длинами волн {450, 520, 638} нм. Система способна генерировать произведения в стиле Ван Гога разрешением до 1000×1000 пикселей, используя цифровой энкодер с 580 миллионами параметров против 1.07 миллиарда у цифрового учителя.
Главное преимущество технологии — статичность декодера: после обучения его можно изготовить как пассивную поверхность методами двухфотонной полимеризации или оптической литографии. Это открывает путь к компактным «оптическим художникам» для дополненной реальности и носимых устройств. Одна система может переключаться между разными задачами, просто меняя оптические seeds на пространственном модуляторе света с частотой обновления свыше 1 кГц.
Источник новости и обложки: www.nature.com