Дослідники штучного інтелекту створюють 3D-моделі обличчя для відеоігор з фотографій користувачів

Команда дослідників у компанії NetEase, китайській компанії з виробництва відеоігор, створила систему, яка може автоматично витягувати обличчя з фотографій та генерувати моделі персонажів у грі за допомогою даних зображення. Результати статті, озаглавленої Face-to-Parameter Translation for Game Character Auto-Creation, були підсумовані компанією Synced на Medium.

Дедалі більше розробників ігор обирають використання штучного інтелекту для автоматизації трудомістких завдань. Наприклад, розробники ігор використовували алгоритми штучного інтелекту, щоб допомогти відтворювати рухи персонажів та об’єктів. Іншим недавнім застосуванням штучного інтелекту розробниками ігор є створення потужніших інструментів налаштування персонажів.

Налаштування персонажа – це дуже улюблена функція рольових відеоігор, яка дозволяє гравцям налаштовувати своїх аватарів різними способами. Багато гравців обирають зробити своїх аватарів схожими на себе, що стає більш досяжним із зростанням складності систем налаштування персонажів. Однак, коли ці інструменти створення персонажів стають більш складними, вони також стають набагато більш складними. Створення персонажа, який нагадує себе, може зайняти години регулювання слайдерів та зміни криптичних параметрів. Команда дослідників NetEase має на меті змінити все це, створивши систему, яка аналізує фотографію гравця та генерує модель обличчя гравця на персонажі у грі.

Автоматичний інструмент створення персонажа складається з двох частин: системи імітативного навчання та системи перекладу параметрів. Система перекладу параметрів витягує ознаки з вхідного зображення та створює параметри для використання системою навчання. Ці параметри потім використовуються моделлю імітативного навчання для ітеративної генерації та покращення представлення вхідного обличчя.

Система імітативного навчання має архітектуру, яка імітує спосіб створення моделей персонажів у грі з постійним стилем. Модель імітативного навчання призначена для витягування основної істини про обличчя, враховуючи складні змінні, такі як бороди, помада, брови та стилі зачіски. Параметри обличчя оновлюються через процес градієнтного спуску, порівнюючи з вхідними даними. Різниця між ознаками вхідного зображення та згенерованою моделлю постійно перевіряється, і внесені зміни до моделі до тих пір, поки модель у грі не буде відповідати ознакам вхідного зображення.

Після того, як мережа імітативного навчання була навчена, система перекладу параметрів перевіряє виходи мережі імітативного навчання проти ознак вхідного зображення, визначаючи простір ознак, який дозволяє обчислити оптимальні параметри обличчя.

Найбільшою проблемою було забезпечення того, щоб 3D-моделі персонажів могли зберігати деталі та зовнішній вигляд на основі фотографій людей. Це проблема між доменами, де 3D-генеровані зображення та 2D-зображення реальних людей повинні бути порівняні, а основні ознаки обох повинні бути однаковими.

Дослідники вирішили цю проблему двома різними техніками. Перша техніка полягала у тому, щоб розділити навчання їхньої моделі на два окремі завдання навчання: завдання змісту обличчя та дискримінативне завдання. Загальна форма та структура обличчя людини визначаються шляхом мінімізації різниці/втрат між двома глобальними значеннями зовнішнього вигляду, тоді як дискримінативні/дрібні деталі заповнюються шляхом мінімізації втрат між такими речами, як тінь у малому регіоні. Два окремі завдання навчання об’єднуються для досягнення повного представлення.

Друга техніка, яка використовувалася для генерації 3D-моделей, була системою створення 3D-обличь, яка використовує симульовану скелетну структуру, враховуючи форму кісток. Це дозволило дослідникам створити набагато більш складні та точні 3D-зображення порівняно з іншими системами 3D-моделювання, які залежать від ґраток або сіток обличчя.

Створення системи, яка може створювати реалістичні 3D-моделі на основі 2D-зображень, already достатньо вражаюче, але система автоматичної генерації не працює лише з 2D-фотографіями. Система також може приймати нариси та карикатури облич та відтворювати їх у вигляді 3D-моделей з вражаючою точністю. Команда дослідників підозрює, що система здатна генерувати точні моделі на основі 2D-персонажів, оскільки система аналізує семантику обличчя замість інтерпретації сурових значень пікселів.

Хоча автоматичний генератор персонажів можна використовувати для створення персонажів на основі фотографій, дослідники кажуть, що користувачі також повинні мати можливість використовувати його як додаткову техніку та подальше редагування згенерованого персонажа відповідно до їхніх уподобань.