Исследователи ИИ создали 3D-модели лиц для видеоигр из фотографий пользователей

Команда исследователей китайской игровой компании NetEase (NTES ) создала систему, которая может автоматически извлекать лица из фотографий и генерировать игровые модели с использованием данных изображения. Результаты статьи, озаглавленной Face-to-Parameter Translation for Game Character Auto-Creation, были подробно описаны на Medium.

Все больше и больше разработчиков игр выбирают использование ИИ для автоматизации трудоемких задач. Например, разработчики игр используют алгоритмы ИИ для помощи в рендеринге движений персонажей и объектов. Другое недавнее использование ИИ разработчиками игр – создание более мощных инструментов настройки персонажей.

Настройка персонажей – это очень любимая функция ролевых видеоигр, позволяющая игрокам настраивать своих аватаров множеством разных способов. Многие игроки выбирают сделать своих аватаров похожими на себя, что становится более достижимым по мере увеличения сложности систем настройки персонажей. Однако, по мере того, как эти инструменты создания персонажей становятся более сложными, они также становятся намного более сложными. Создание персонажа, похожего на себя, может занять часы регулировки слайдеров и изменения криптических параметров. Команда исследователей NetEase стремится изменить все это, создав систему, которая анализирует фотографию игрока и генерирует модель лица игрока на игровом персонаже.

Автоматический инструмент создания персонажей состоит из двух частей: системы имитационного обучения и системы перевода параметров. Система перевода параметров извлекает особенности из входного изображения и создает параметры для использования системой обучения. Эти параметры затем используются моделью имитационного обучения для итеративной генерации и улучшения представления входного лица.

Система имитационного обучения имеет архитектуру, имитирующую способ создания игровым движком моделей персонажей с постоянным стилем. Модель имитации предназначена для извлечения основной сути лица, учитывая сложные переменные, такие как борода, помада, брови и прическа. Параметры лица обновляются через процесс градиентного спуска, сравниваемого с входными данными. Разница между входными особенностями и сгенерированной моделью постоянно проверяется, и корректировки делаются в модели до тех пор, пока игровая модель не совпадет с входными особенностями.

После того, как сеть имитации была обучена, система перевода параметров проверяет выходные данные сети имитации против особенностей входного изображения, решая вопрос о пространстве особенностей, которое позволяет вычислять оптимальные параметры лица.

Самой большой проблемой было обеспечение того, чтобы 3D-модели персонажей могли сохранять детали и внешний вид на основе фотографий людей. Это проблема пересечения доменов, где 3D-генерированные изображения и 2D-изображения реальных людей должны быть сравнены, и основные особенности обоих должны быть одинаковыми.

Исследователи решили эту проблему двумя разными методами. Первый метод заключался в том, чтобы разделить обучение их модели на две разные задачи обучения: задачу содержания лица и дискриминационную задачу. Общая форма и структура лица человека определяются путем минимизации разницы/потерь между двумя глобальными значениями внешнего вида, в то время как дискриминационные/тонкие детали заполняются путем минимизации потерь между такими вещами, как тени в небольшом регионе. Две разные задачи обучения объединяются для достижения полного представления.

Второй метод, использованный для генерации 3D-моделей, был системой построения 3D-лиц, которая использует симулированную скелетную структуру, учитывая форму костей. Это позволило исследователям создать намного более сложные и точные 3D-изображения по сравнению с другими системами 3D-моделирования, которые полагаются на сетки или сетки лица.

Создание системы, которая может создавать реалистичные 3D-модели на основе 2D-изображений, впечатляет само по себе, но система автоматической генерации не работает только с 2D-фотографиями. Система также может принимать эскизы и карикатуры лиц и отображать их как 3D-модели с впечатляющей точностью. Исследовательская команда подозревает, что система может генерировать точные модели на основе 2D-персонажей, потому что система анализирует семантику лица вместо интерпретации сырых значений пикселей.

Хотя автоматический генератор персонажей можно использовать для создания персонажей на основе фотографий, исследователи говорят, что пользователи также должны иметь возможность использовать его как вспомогательный метод и дальнейшее редактирование сгенерированного персонажа в соответствии с их предпочтениями.