Исследователи из нескольких университетов, включая Рочестерский университет, разработали ИИ-модель MagicTime, способную генерировать реалистичные видео природных трансформаций. Система обучалась на датасете из более 2 000 таймлапс-видео с подробными описаниями.
В текущей версии MagicTime создает видеоролики разрешением 512×512 пикселей длительностью 2 секунды при 8 кадрах в секунду. Улучшенная архитектура на основе диффузионного трансформера способна генерировать clips продолжительностью до 10 секунд.
В отличие от существующих text-to-video моделей вроде Sora от OpenAI, MagicTime специализируется именно на метаморфозах — например, может показать, как распускается цветок или строится здание. Это стало возможным благодаря тому, что модель обучилась понимать физические процессы реального мира.
Исследователи видят в этой технологии большой потенциал для научного применения. Например, биологи смогут использовать генеративное видео для предварительной проверки гипотез, что позволит сократить количество необходимых практических экспериментов.
Источник новости и обложки: www.rochester.edu