GAN як рендерер обличчя для ‘традиційної’ CGI

Думка Коли Генеративні Адверсарні Мережі (GAN) вперше продемонстрували свою здатність відтворювати вражаюче реалістичні 3D-обличчя, це стало золотою лихоманкою для невиданного потенціалу GAN для створення тимчасово узгодженого відео з людськими обличчями.

Десь у латентному просторі GAN, здається, що там повинно бути приховане порядку та раціональності – схема насиченої семантичної логіки, похованої в латентних кодах, яка дозволить GAN генерувати узгодженні 여러 види та інтерпретації (наприклад, зміни виразу) одного й того ж обличчя – і згодом запропонувати тимчасово-переконливу методу глибоких підробок відео, яка перевершить автокодувальники у всіх аспектах.

Високорозрядний вивід буде тривіальним порівняно з низькорозрядними середовищами, в яких обмеження GPU змушують DeepFaceLab і FaceSwap працювати, тоді як “зона заміни” обличчя (у робочих потоках автокодувальників) стане “зоною створення” GAN, інформованою кількома вхідними зображеннями або навіть лише одним зображенням.

Не буде більше розбіжності між “заміною” та “гостевим” обличчями, оскільки усієї зображення буде генеруватися з нуля, включаючи волосся, лінії щелепи та зовнішні крайності ліній обличчя, які часто стають викликом для “традиційних” автокодувальників глибоких підробок.

Зима GAN-відео обличчя

Як з’ясувалося, це не буде майже так легко. В кінцевому підсумку, розрізнення стало центральною проблемою і залишається основною проблемою. Як можна зберегти окрему ідентичність обличчя і змінити його позу чи вираз без збору тисяч посилань зображень, які вчать нейронну мережу, що відбувається, коли ці зміни відбуваються, так само, як це роблять системи автокодувальників?

Натомість подальша думка в дослідженні GAN щодо обличчя та синтезу була така, що вхідна ідентичність можна perhaps зробити предметом телологічних, загальних, шаблонних перетворень, які не є ідентичними. Прикладом цього може бути застосування виразу до обличчя GAN, яке не було присутнє в жодному з зображень цієї людини, про які знає GAN.

… (переклад продовжується згідно з правилами)