Исследователи Disney создали новую нейронную сеть, которая может изменять визуальный возраст актеров на телевидении или в кино, сообщает Gizmodo. Эта технология позволит теле и кинопродюсерам делать актеров старше или моложе с помощью автоматизированного процесса, который будет менее дорогостоящим и трудоемким, чем предыдущие методы.
Традиционно, когда специалистам по спецэффектам в видео или кинопроизводстве нужно заставить актера выглядеть старше или моложе (техника, которую Дисней называет «re-aging»), они обычно используют либо процесс 3D-сканирования и 3D-моделирования, либо 2D-покадровую съемку -кадровая цифровая ретушь лица актера с использованием инструментов, похожих на Photoshop. Этот процесс может занять недели или больше, в зависимости от продолжительности работы.
Напротив, новая технология искусственного интеллекта Disney, называемая Face Re-aging Network (FRAN), автоматизирует этот процесс. Дисней называет это «первым практичным, полностью автоматическим и готовым к производству методом повторного старения лиц на видеоизображениях».
Демонстрационное видео о технологии повторного старения от Disney.
Чтобы построить FRAN, исследователи Disney случайным образом сгенерировали тысячи примеров искусственно состаренных лиц в возрасте от 18 до 85 лет, используя StyleGAN2. Имея в руках эти обучающие данные, FRAN изучил общие принципы того, как внешний вид человека меняется с возрастом. Теперь, когда обучение завершено, можно применить эти принципы старения к реальному актеру в движении, кадр за кадром.
«Наша сеть обучается контролируемым образом на большом количестве пар изображений лиц, показывающих одного и того же синтетического и фотореалистичного человека, помеченных соответствующим исходным и целевым возрастом», — написали исследователи в соответствующей академической статье. Создав обучающие данные синтетическим путем, они обошли «кажущуюся невыполнимой задачу» сбора изображений, изображающих «различные личности, возрасты и этнические группы с разных точек зрения».
Результатом является то, что Disney называет «готовым к производству» решением, что означает, что оно обеспечивает достаточно высокое качество продукции для использования в реальном фильме или телешоу. Возможно, это первое в своем роде ИИ-решение, которое может динамически изменять возраст актера на видео, несмотря на различные выражения лица, условия освещения и точки обзора. Исследователи также разработали удобный интерфейс для FRAN, который позволит художникам легко использовать инструмент в производственной среде.
Компания Disney представила исследование в документе под названием «Re-aging, готовое к производству для визуальных эффектов» в среду и представила его для включения в декабрьскую конференцию ACM SIGGRAPH Asia 2022 года. Среди авторов статьи Гаспар Зосс, Прашант Чандран, Эфтихиос Сифакис, Маркус Гросс, Пауло Готардо и Дерек Брэдли, все они связаны с Disney Research Studios в Цюрихе, Швейцария.
Принимая во внимание историю Диснея с добавлением созданных компьютером актеров в фильмы и телешоу «Звездных войн», в том числе тех, которые были омоложены с помощью компьютерной графики, мы не удивимся, увидев, что технология, подобная FRAN, будет широко использоваться в будущих продуктах Диснея, хотя никаких планов не было объявлено.
