Disney Объединяет CGI С Нейронной Отрисовкой Для Решения Проблемы ‘Долины Неудобства’

Исследовательское отделение Disney по искусственному интеллекту разработало гибридный метод для симуляции лица в качестве фильма, сочетая сильные стороны нейронной отрисовки лица с последовательностью подхода, основанного на CGI.

Ждущая публикации статья озаглавлена Отрисовка Стилем: Объединение Традиционных И Нейронных Подходов Для Высококачественной Отрисовки Лица, и представлена в новом 10-минутном видео на канале Disney Research YouTube (встроенном в конце этой статьи*).

Сетки, объединенные с нейронными отрисовками лица. См. видео в конце статьи для более подробного и качественного просмотра. Источник: https://www.youtube.com/watch?v=k-RKSGbWLng (заменено на https://www.youtube.com/watch?v=TwpLqTmvqVk)

Как отмечается в видео, нейронная отрисовка лица (включая дипфейки) может производить более реалистичные глаза и внутреннюю часть рта, чем способна CGI, в то время как текстуры лица, созданные с помощью CGI, более последовательны и подходят для кинематографического уровня VFX-вывода.

Следовательно, Disney экспериментирует с использованием нейронного генератора NVIDIA StyleGan2 для обработки окружающих особенностей лица и ‘жизненно важных’ элементов, таких как глаза, а также наложения последовательных текстур лица, созданных с помощью CGI, на выход.

Из видео (см. конец статьи), архитектурная концепция гибридного подхода Disney, где старомодная сетка CGI, такого типа, который использовался для воссоздания ‘молодой’ Кэрри Фишер и покойного Питера Кушинга для Rogue One (2016), интегрируется в среду нейронной отрисовки лица.

Видео содержит косвенную ссылку на частую критику неаутентичности и эффекта ‘долины неудобства’ CGI-воссоздания покойного британского актера Star Wars Питера Кушинга в Rogue One (2016), признает:

‘[Еще] существует огромная пропасть между тем, что люди могут легко захватить и отрендерить, и окончательными фотореалистичными цифровыми дублерами, полными с волосами, глазами и внутренней частью рта. Чтобы закрыть эту пропасть, обычно требуется много ручной работы от опытных художников.’

В действительности, даже самые современные системы захвата лица не пытаются воссоздать глаза, внутреннюю часть рта или волосы, которые либо имеют проблемы аутентичности в таких техниках (глаза), либо проблемы временной последовательности (волосы).

Видео показывает, что художники VFX получат после типичной современной сессии захвата лица. Глаза, волосы, борода и внутренняя часть рта будут обрабатываться отдельными командами в производственной цепочке, в дополнение к текстурированию и освещению.

Контроль Освещения

Гибридный подход также является преимуществом при перенастройке освещения – заметной проблемой для нейронной отрисовки лица, поскольку наложения текстур лица, созданные с помощью CGI, могут быть более легко перенастроены на освещение.

Анимированная версия подхода CGI/Нейрон.

В более сложных средах, таких как наружные съемки, исследователи разработали метод заполнения вокруг某кого рода демилитаризованной зоны, окружающей человека, которого ‘создают’.

Черная граница генерируется для создания ‘холста’ для заполнения внешних частей идентичности и интеграции текстур лица, созданных с помощью CGI, в объединенный выход CGI/Нейрон.

Видео отмечает:

‘[Нейронная отрисовка] не идеально соответствует ограничениям фона. – это предназначено только как руководство, поскольку оптимизация для реалистичных человеческих компонентов, таких как волосы, глаза и зубы, является основной целью. Более сложно попытаться сохранить последовательную идентичность, меняя освещение среды.’

Создание Сеток CGI Из Нейронных Отрисовок

Исследовательская команда также разработала вариационный автоэнкодер, обученный на большой базе данных 3D-изображений лица, и утверждает, что он может производить ‘случайные, но правдоподобные’ 3D-сетки лица из фактических данных.

Существуют ограничения, которые необходимо преодолеть в этом исследовании, включая трудность сохранения волос во временной последовательности в нейронных отрисовках, и видео (см. ниже) показывает несколько примеров быстро меняющихся волос в панораме вокруг CGI/Нейронного лица.

Временная последовательность в нейронной видеоотрисовке – это гораздо более широкая проблема, чем только у Disney, и кажется вероятным, что более поздние итерации этой системы могут прибегнуть к добавлению волос ‘в постпродакшене’ или к другим возможным подходам к генерации волос, чем надеяться, что какой-то новый нейронный подход в конечном итоге решит эту проблему.

Использование Для Генерации Данных

Метод предлагается также как потенциальный метод генерации синтетических данных и обогащения ландшафта изображений лица, который в последние годы стал опасно монотонным.

Disney предвидит, что новая техника будет населять наборы данных изображений лица.

‘[Каждый] фотореалистичный результат, который мы генерируем, имеет соответствующую геометрию и карты внешнего вида, отрендеренные из неизвестных точек зрения с известным освещением. Эта ‘фактическая информация’ может быть важна для обучения последующих приложений, таких как монокулярная 3D-реконструкция лица, распознавание лица или понимание сцены. Итак, каждый результат отрисовки может быть рассмотрен как образец данных, и мы можем генерировать много вариаций разных людей.

‘Кроме того, даже для одного человека, отрендеренного в одном выражении с одной точкой зрения и освещением, мы можем генерировать случайные вариации фотореалистичной отрисовки, изменяя случайное значение во время оптимизации.’

Исследователи отмечают, что этот разнообразный настраиваемый выход может быть полезен для обучения приложений распознавания лица, заключая:

‘[Наш] метод может использовать текущую технологию для захвата, моделирования и отрисовки кожи лица, и автоматически создавать полные фотореалистичные отрисовки лица, соответствующие желаемой идентичности, выражению и конфигурации сцены. Этот подход имеет применения в области отрисовки лица для фильмов и развлечений, экономя ручной труд художников, и также для генерации данных в различных областях глубокого обучения.’

Для более глубокого понимания нового подхода посмотрите 10-минутное видео, выпущенное сегодня:

 * Оригинальная ссылка на видео была заменена на другую, якобы идентичную, 8 часов после публикации этой статьи. Я изменил все соответствующие ссылки, поскольку нет никаких следов оригинального видео.

8:24 GMT+2 – Заменил видео, поскольку оно было заменено на канале Disney Research YouTube по какой-то причине.