GAN як рендерер обличчя для традиційної CGI

Опінія Коли Генеративні Адверсарні Мережі (GAN) вперше продемонстрували свою здатність відтворювати вражаюче реалістичні 3D-обличчя, це стало поштовхом для золотої лихоманки щодо непроявленого потенціалу GAN для створення тимчасово узгодженого відео з людськими обличчями.

Десь у латентному просторі GAN, здавалося, що там має бути прихований порядок і раціональність – схема наївної семантичної логіки, захованої в латентних кодах, яка б дозволила GAN генерувати узгодженні 여러 види і кілька інтерпретацій (наприклад, зміни виразу) одного й того самого обличчя – і згодом запропонувати тимчасово-конвінційний метод глибоких підробок відео, який би витіснив автоенкодери з води.

Високоякісний вивід буде тривіальним порівняно з низькоякісними середовищами, в яких обмеження GPU змушують DeepFaceLab і FaceSwap працювати, тоді як зона “заміни” обличчя (у робочих процесах автоенкодерів) стане зоною “створення” GAN, інформованою кількома вхідними зображеннями або навіть лише одним зображенням.

Там не буде більше розбіжності між “заміною” і “гостевим” обличчями, оскільки цілість зображення буде створена з нуля, включаючи волосся, лінії щелепи та зовнішні крайності ліній обличчя, які часто стають викликом для “традиційних” глибоких підробок автоенкодерів.

GAN Зимова Фасова Відео

Як з’ясувалося, це не буде так легко. Врешті-решт, розрізнення стало центральною проблемою і залишається основною викликом. Як можна зберегти окрему ідентичність обличчя і змінити його позу чи вираз без збору тисячу посилочних зображень, які вчать нейронну мережу, що відбувається при цих змінах, так само, як це роблять системи автоенкодерів?

Відповідно, подальша думка в дослідженнях GAN щодо обличчя і синтезу була така, що вхідна ідентичність можна зробити предметом телологічних, загальних, шаблонних перетворень, які не є ідентично-специфічними. Прикладом цього може бути застосування виразу до обличчя GAN, який не був присутній у жодному з зображень цієї людини, які GAN знає.

… (переклад продовжується)