Исследователи из Наньянского технологического университета представили MatAnyone — новую систему для видеоматтинга (отделения объектов от фона), которая решает проблему нестабильной работы с фоном. В отличие от существующих решений, система использует модуль «последовательной» памяти для адаптивной интеграции информации из предыдущих кадров.
Для обучения модели исследователи создали масштабный датасет высокого качества. Они также разработали новую стратегию обучения, которая эффективно использует данные сегментации для повышения стабильности маттинга. Система может работать как с обычным видео, так и с контентом, сгенерированным ИИ, и даже с игровым видео.
Одно из главных преимуществ MatAnyone — возможность интерактивного маттинга: пользователю достаточно выделить целевой объект всего несколькими кликами в первом кадре. Система также поддерживает уточнение результатов без необходимости переобучения модели, что повышает устойчивость маски к сегментации.
Источник новости и обложки: pq-yang.github.io