Нейронный рендеринг | Замена неба на заранее заготовленную текстуру
Наиболее распространенные и доступные для тестов модели нейронного рендеринга - модели подмены лица и тела (Deep Fake), однако они не единственные.
Мы протестировали модель замены неба на заранее заготовленную текстуру. Проект называется "Castle in the Sky Dynamic Sky Replacement and Harmonization in Videos" и он позволяет изменить в видеопотоке не только видимый фрагмент неба, но и освещение во всем кадре, а в редких случаях, может добавить блики и переотражения. Сейчас модель хорошо работает только с видео, где съемка ведется с земли.
Скорее всего в ближайшем будущем будет появляться все больше доступных для тестов проектов, связанных с нейронным рендерингом, и мы постараемся рассказать и показать вам самые интересные! А пока можете прочитать нашу статью на эту тему на Хабре: https://habr.com/ru/company/itmai/blo...
Мы команда PHYGITALISM, иммерсивные технологии - наша страсть. Реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными технологиями и машинным обучением. Подписывайтесь, чтобы узнавать новое о потрясающих фиджитал-технологиях!
