Chirurgie plastică pentru fețe generate de GAN

Noi cercetări din Coreea de Sud promit să îmbunătățească calitatea datelor sintetice de fețe create de Rețelele Adversative Generative (GAN).

Sistemul este capabil să identifice artefactele de imagine produse de procesele GAN și să le corecteze, chiar și până la punctul de a înlocui părul care a fost ascuns de o căciulă, de a înlocui părți ale feței care lipseau complet în imaginea originală și de a elimina obstacole precum mâinile și ochelarii de soare, și funcționează bine și pe imagini peisagistice și arhitecturale.

În stânga fiecărui coloan, imaginea originală GAN cu defecte, urmată de două abordări diferite ale artefactelor și, în final, de metoda utilizată de cercetătorii coreeni. Sursă: https://arxiv.org/pdf/2104.06118.pdf

Majoritatea abordărilor recente pentru îmbunătățirea calității imaginilor generate de GAN au adoptat poziția că artefactele sunt un risc profesional al procesului, tratând metodologia ca pe o “forță a naturii” și rezultatele mai psihedelice sau aberante pe care le poate produce ca un produs secundar inevitabil.

În schimb, cercetarea coreeană propune să “repare” imagini afectate într-un mod care nu interferează cu lanțul generativ continuu, identificând aspectele care cauzează artefacte și reducând sau eliminând influența lor în rețeaua GAN la un nivel semi-supervizat care depășește și extinde mecanismele native de auto-corectare din arhitectura GAN.

Pentru proiect, a fost necesar să se creeze un set de date etichetate manual, larg aplicabil, de imagini care au fost afectate puternic de artefactele GAN. Inițial, cercetătorii au utilizat distanța Frechet Inception (FID), o metrică care evaluează calitatea ieșirii GAN prin compararea caracteristicilor din imagini, ca o unitate de calificare. Cele 10.000 de imagini cu scoruri FID cele mai mari dintr-un set de 200.000 de imagini au fost utilizate ca “unități de artefacte” discrete. Ulterior, cercetătorii au etichetat manual 2.000 de imagini generate, clasificând fiecare imagine ca “normală” sau afectată de artefacte FID. Apoi, a fost creat un model pentru a clasifica setul de date în artefacte, imagini normale și mostre reale aleatorii.

După aceea, s-a utilizat harta de activare a clasificării ponderate cu gradient (Grad-CAM) pentru a genera măști pentru regiunile afectate de artefacte, eficientizând în mod eficient etichetarea defectelor.

În imaginea de mai sus, măștile Grad-CAM au fost aplicate ieșirii din setul de date LSUN-Church outdoor și setul de date CelebA-HQ.

Prin analiza celor mai afectate 20 de rezultate dintr-un set de 20.000 de imagini, se generează măști de segmentare, în care pot fi înlocuite rezultate reprezentative din generații (care sunt probabil mai precise sau mai convingătoare decât artefactele) prin reducerea activării unităților care produc artefacte în generațiile ulterioare.

Evaluarea umană a corecțiilor a arătat că 53% din imaginile “reparate” au fost etichetate ca “normale”, în timp ce 97% din imaginile originale arată încă îmbunătățiri semnificative față de originale.

Cercetătorii susțin că această metodă, cu unele reconfigurări minore, poate fi adaptată și pentru StyleGAN2 de la NVIDIA.

Beneficiile datelor sintetice

În primul rând, în ceea ce privește datele de fețe, lipsa generală a seturilor de date din lumea reală pentru viziunea computerizată este un obstacol în calea cercetărilor diverse în sectoare importante de cercetare, cum ar fi recunoașterea feței, recunoașterea emoțiilor, cercetarea medicală și studii despre segmentarea mai fină a topologiei feței, printre alte domenii.

Reacția actuală împotriva utilizării gratuite a datelor orientate spre web și colectarea ad-hoc a imaginilor de fețe din lumea reală pentru includerea în baze de date de fețe este un obstacol suplimentar pentru cercetare, cu un număr tot mai mare de state și națiuni care iau măsuri împotriva extragerii de date de pe web, și aproprierea imaginilor de pe rețelele sociale pentru aceste scopuri.

În ultimii zece ani, un număr limitat de seturi de date de fețe foarte bine întreținute au oferit un refugiu de la acest gen de incertitudine, cu diverse provocări publice de cercetare anuale centrate pe ele. Cu toate acestea, acest lucru a condus, probabil, la proiecte de cercetare care și-au direcționat metodologiile în mod special către aceste seturi de date, cu rezultate consistente și comparabile de la an la an, obținute la costul lipsei de diversitate a materialului sursă – o situație care se înrăutățește în fiecare an în care noile cercetări se limitează la aceste limite.

În plus, unele dintre aceste “seturi de date tradiționale” au fost criticate pentru lipsa de diversitate rasială, ceea ce sugerează că aceste repere de benchmarking nu ar trebui să fie considerate resurse adecvate în viitorul apropiat.

Acest lucru semnifică nevoia de date de fețe de înaltă calitate care sunt realiste, dar în care imaginile “din lumea reală” care contribuie au fost transformate mult dincolo de recunoaștere. Chiar dacă utilizarea acestor date de fețe “la o distanță” poate declanșa, la rândul său, probleme legate de proveniența fețelor generate de GAN, este un obstacol care nu va apărea probabil până la apariția mecanismelor legale și tehnice pentru acest tip de colectare a datelor; și, în ceea ce privește eventualele schimbări ale cadrului legal din jurul acestei probleme, este totuși un risc mai mic decât utilizarea imaginilor unor persoane reale.

Citire suplimentară:

Îmbunătățirea realismului imaginilor sintetice
Corectarea automată a unităților interne în rețelele neurale generative