Chirurgie plastică pentru fețele generate de GAN

Nou cercetare din Coreea de Sud promite să îmbunătățească calitatea datelor sintetice ale feței create de Generative Adversarial Networks (GAN).

Sistemul este capabil să identifice artefactele de imagine produse de procesele GAN și să le remedieze, chiar și până la punctul de a înlocui părul care a fost ascuns de o șapcă, înlocuind părți ale feței care lipsesc complet în original și îndepărtând ocluziile precum mâinile și ochelarii de soare. , și, de asemenea, funcționează bine pe producția scenica și arhitecturală.

Lăsat pentru fiecare coloană, ieșirea GAN originală cu defecte, urmată de alte două abordări ale artefactelor și, în sfârșit, de metoda folosită de cercetătorii sud-coreeni. Sursă: https://arxiv.org/pdf/2104.06118.pdf

Cele mai recente abordări pentru îmbunătățirea calității imaginilor generate de GAN au luat poziția că artefactele reprezintă un pericol profesional al procesului, tratând metodologia ca pe o „forță a naturii” și rezultatele mai psihedelice sau aberaționale pe care le poate produce ca un produs secundar inevitabil.

În schimb, cercetarea sud-coreeană propune de fapt „repararea” imaginilor afectate într-un mod care să nu interfereze cu lanțul generativ continuu, prin identificarea fațetelor care cauzează artefacte și prin reducerea sau eliminarea influenței acestora în rețeaua GAN la un mediu semi-supravegheat. nivel care depășește și extinde mecanismele native de autocorecție din arhitectura GAN.

Pentru proiect, a fost necesar să se creeze un set de date etichetat manual, aplicabil pe scară largă, de imagini care au fost afectate grav de artefactele GAN. Inițial, cercetătorii au folosit Frechet Inception Distance (FID), O metric care evaluează calitatea ieșirii GAN prin compararea caracteristicilor din imagini, ca unitate de calificare. Cele 10,000 de imagini cu cele mai mari scoruri FID dintr-o serie de 200,000 de imagini au fost folosite ca „unități de artefact” discrete. Ulterior, cercetătorii au etichetat manual 2,000 de imagini generate, clasificându-le pe fiecare drept „normală” sau afectată de artefacte FID. Apoi a fost creat un model pentru a clasifica setul de date în eșantioane artefacte, normale și aleatorii din lumea reală.

După aceasta, Maparea activării clasei ponderată în gradient (Grad-CAM) a fost folosit pentru a genera măști pentru regiunile afectate de artefacte, automatizând eficient etichetarea defectelor.

În imaginea de mai sus, măștile Grad-CAM au fost aplicate la ieșirea de la LSUN-Biserică în aer liber setul de date și Setul de date CelebA-HQ.

Analizând primele 20 de rezultate cele mai afectate dintr-o serie de 20,000 de imagini, sunt generate măști de segmentare, în care rezultatele reprezentative ale zonei de-a lungul generațiilor (care sunt probabil să fie mai precise sau convingătoare decât artefactele) pot fi înlocuite prin scăderea activării unitățile producătoare de artefacte în generațiile următoare.

Evaluarea umană a corecțiilor a dus la 53% dintre imaginile „reparate” să fie etichetate ca „normale”, în timp ce 97% dintre imaginile originale demonstrează încă îmbunătățiri semnificative față de originale.

Cercetătorii susțin că această metodă, cu unele re-instrumente minore, poate fi, de asemenea, adaptată la NVIDIA. StyleGAN2.

Beneficiile datelor sintetice

În primul rând în ceea ce privește datele feței, deficitul general de seturi de date din lumea reală pentru viziunea computerizată este un obstacol în calea cercetării diverse în sectoare importante de cercetare, cum ar fi recunoașterea facială, recunoașterea emoțiilor, cercetarea medicală și studiile privind segmentarea mai granulară a topologiei față, printre diverse alte domenii.

Reacția actuală față de utilizarea gratuită a datelor orientate spre web și colectare ad-hoc de imagini ale fețelor din lumea reală pentru includerea în bazele de date de fețe este un obstacol suplimentar în calea cercetării, cu un număr tot mai mare de state și națiuni trosnind on răzuire web, și însuşirea imaginilor din rețelele sociale în aceste scopuri.

În ultimii zece ani, un număr limitat de foarte curate seturi de date fata au oferit refugiu de acest tip de incertitudine, cu diverse provocări anuale de cercetare publică centrate în jurul lor. Cu toate acestea, acest lucru a condus, fără îndoială, la proiectele de cercetare care își obligă metodologiile în mod specific către acele seturi de date, cu rezultate consistente și comparabile de la an la an, obținute cu costul ridicat al lipsei de diversitate a materialului sursă - o situație care se înrăutățește în fiecare an, deoarece noi cercetări se limitează la aceste limite.

În plus, unele dintre aceste seturi de date „tradiționale” au apărut sub critici pentru o lipsă de diversitate rasială, ceea ce sugerează că acești stalwarți de evaluare comparativă ar putea să nu fie considerați resurse adecvate în viitorul apropiat.

Acest lucru înseamnă nevoia de date de înaltă calitate a feței, care să fie realiste, dar în care imaginile din „lumea reală” care au contribuit au fost transformate cu mult dincolo de recunoaștere. Chiar dacă această utilizare a datelor reale ale feței „la o singură eliminare” poate declanșa în cele din urmă probleme cu privire la proveniență a fețelor generate de GAN, este o piatră de poticnire care nu este probabil să apară până la apariția mecanismelor legale și tehnice de colectare a datelor de acest tip; și, în ceea ce privește posibilele modificări ale cadrelor legale în jurul problemei, este încă un pericol mai mic decât utilizarea imaginilor cu oameni reali.

Citirea ulterioară:

Îmbunătățirea realismului imaginilor sintetice
Corecția automată a unităților interne din rețelele neuronale generative