Disney Combină CGI cu Renderizarea Neuronală pentru a Aborda “Valea Încântătoare”

Divizia de cercetare AI a Disney a dezvoltat o metodă hibridă pentru simularea feței de calitate cinematografică, combinând puterea renderizării neurale a feței cu consistența abordării bazate pe CGI.

Articolul în așteptare se intitulează Renderizare cu Stil: Combinarea Abordărilor Tradiționale și Neurale pentru Renderizarea Feței de Calitate Superioară și este prezentat într-un noul videoclip de 10 minute de pe canalul YouTube Disney Research (încorporat la sfârșitul acestui articol*).

Măști combinate cu renderizări neurale ale feței. Vezi videoclipul încorporat la sfârșitul articolului pentru detalii și calitate mai bună. Sursă: https://www.youtube.com/watch?v=k-RKSGbWLng (înlocuită cu https://www.youtube.com/watch?v=TwpLqTmvqVk)

După cum menționează videoclipul, renderizarea neurală a feței (inclusiv deepfakes) poate produce ochi și interioare ale gurii mult mai realiste decât CGI, în timp ce texturile faciale conduse de CGI sunt mai consistente și mai potrivite pentru ieșiri VFX de nivel cinematografic.

Prin urmare, Disney experimentează cu utilizarea generatorului neural StyleGan2 al NVIDIA pentru a gestiona caracteristicile înconjurătoare ale unei fețe și elementele “vitale” cum ar fi ochii, în timp ce suprapune texturi faciale CGI consistente și elemente conexe în ieșire.

Din videoclip (vezi sfârșitul articolului), conceptul arhitectural din spatele abordării hibride a Disney, unde o masca CGI de tip vechi, de tipul utilizat pentru a recrea ‘tânăra’ Carrie Fisher și târziu Peter Cushing pentru Rogue One (2016), este integrată în medii de fețe neurale.

Videoclipul face o referire tacită la critica frecventă a inautenticității și efectului “văii încântătoare” al recreării CGI a târziu actorului britanic Star Wars Peter Cushing în Rogue One (2016), concesiv:

‘[Există] încă o mare diferență între ceea ce oamenii pot captura și renderiza ușor și dublurile digitale fotorealiste finale, complete cu păr, ochi și interiorul gurii. Pentru a închide această lacună, de obicei, este necesară o mulțime de muncă manuală din partea artiștilor calificați.’

În realitate, chiar și cele mai moderne sisteme de captură facială nu încearcă să recrieze ochi, interioare ale gurii sau păr, care fie au probleme de autenticitate în astfel de tehnici (ochi) sau de consistență temporală (păr).

Videoclipul ilustrează ceea ce artiștii VFX vor obține după o sesiune tipică de captură facială modernă. Ochii, părul, barba și interioarele gurii vor trebui să fie gestionate de echipe separate în pipeline-ul de producție, pe lângă texturare și iluminare.

Controlul Iluminării

Abordarea hibridă este, de asemenea, benefică pentru reluarea – o provocare notabilă pentru renderizarea neurală a feței, deoarece suprapunerea pielii CGI poate fi mai ușor reluată.

O versiune animată a abordării CGI/Neurale.

În medii mai provocatoare, cum ar fi filmările exterioare, cercetătorii au dezvoltat o metodă de completare a zonei din jurul unei zone demilitarizate care înconjoară persoana care este “creată”.

O margine neagră este generată pentru a permite un ‘canvas’ pentru completarea părților exterioare ale identității și integrarea pielii CGI în ieșirea combinată CGI/neurală.

Videoclipul menționează:

‘[Renderizarea] neurală nu se potrivește perfect cu constrângerile de fundal. – este menită doar ca o ghidare, deoarece optimizarea pentru componente realiste umane, cum ar fi părul, ochii și dinții, este obiectivul principal. Mai provocator este să mențineți o identitate consistentă, în timp ce schimbați iluminarea mediului.’

Creat CGI Meshes Din Renderizări Neurale

Echipa de cercetare a dezvoltat, de asemenea, un autoencoder variabil antrenat pe o bază de date mare de imagini 3D ale feței, și susține că poate produce “aleatoriu, dar plauzibil” măști 3D ale feței din date reale.

Există limitări pentru această cercetare pentru a fi depășite, inclusiv dificultatea de a menține părul consistent temporal în renderizările neurale, și videoclipul (vezi mai jos) prezintă mai multe exemple de păr care se modifică rapid într-un tur consistent în jurul unei fețe CGI/neurale.

Consistența temporală în renderizarea video neurală este o problemă mult mai largă decât doar a Disney, și pare probabil că iterațiile ulterioare ale acestui sistem pot recurge la adăugarea părului “în post-producție” sau la alte abordări posibile pentru generarea părului decât să sperăm că o abordare neurală nouă va rezolva în cele din urmă această problemă.

Utilizări pentru Generarea Datelor

Metoda este propusă, de asemenea, ca o metodă potențială pentru generarea de date sintetice și îmbogățirea peisajului de imagini ale feței, care a devenit în ultimii ani periculoasă.

Disney își imaginează tehnica nouă populând seturile de date ale imaginilor feței.

‘[Fiecare] rezultat fotorealistic pe care îl generăm are o geometrie subiacentă și hărți de aparență, renderizate din puncte de vedere ale camerei necunoscute cu iluminare cunoscută. Aceste informații “adevărate” pot fi vitale pentru antrenarea aplicațiilor în aval, cum ar fi reconstrucția 3D a feței monoculară, recunoașterea feței sau înțelegerea scenei. Și astfel, fiecare rezultat renderizat poate fi considerat un eșantion de date, și putem genera multe variații ale mai multor indivizi diferiți.

‘Mai mult, chiar și pentru o singură persoană renderizată într-o singură expresie cu un singur punct de vedere și iluminare, putem genera variații aleatorii ale renderizării fotorealistice prin varierea seminței de randomizare în timpul optimizării.’

Cercetătorii menționează că această diversitate de ieșire configurabilă poate fi utilă în antrenarea aplicațiilor de recunoaștere a feței, concluzionând:

‘[Metoda noastră] este capabilă să valorifice tehnologia actuală pentru capturarea, modelarea și renderizarea pielii feței, și să creeze automat renderizări fotorealistice complete ale feței care se potrivesc identității, expresiei și configurației scenei dorite. Această abordare are aplicații și pentru renderizarea feței în film și divertisment, economisind munca manuală a artiștilor și, de asemenea, pentru generarea de date în diferite domenii de învățare profundă.’

Pentru o privire mai profundă asupra noii abordări, verificați videoclipul de 10 minute lansat astăzi:

 * Legătura originală a videoclipului a fost înlocuită cu una aparent identică, cu 8 ore după publicarea acestui articol. Am modificat toate legăturile relevante, deoarece nu există urmă a videoclipului original.

8:24 GMT+2 – Am înlocuit videoclipul, deoarece a fost înlocuit de canalul YouTube Disney Research dintr-un anumit motiv.