Sustav umjetne inteligencije koji slike ljudi može učiniti "ljepšima"

Istraživači iz Kine razvili su novi sustav poboljšanja slike temeljen na umjetnoj inteligenciji koji je sposoban učiniti slike osobe "ljepšima", temeljen na novom pristupu učenju s potkrepljenjem.

Novi pristup koristi 'mrežu predviđanja ljepote lica' za ponavljanje varijacija na slici na temelju brojnih čimbenika, među kojima 'osvjetljenje' i položaj očiju mogu biti ključni čimbenici. Ovdje su izvorni izvori (s lijeve strane svakog stupca) iz EigenGAN sustava, s novim rezultatima desno od njih. Izvor: https://arxiv.org/pdf/2208.04517.pdf

Tehnika se oslanja na inovacije otkrivene za EigenGAN generator, još jedan kineski projekt, iz 2021., koji je napravio značajan napredak u identificiranju i stjecanju određene kontrole nad različitim semantički atributi unutar latentnog prostora Generativnih kontradiktornih mreža (GAN).

Generator EigenGAN iz 2021. uspio je individualizirati koncepte visoke razine kao što je 'boja kose' unutar latentnog prostora generativne kontradiktorne mreže. Novi rad se nadovezuje na ovu inovativnu instrumentalnost za isporuku sustava koji može 'uljepšati' izvorne slike, ali bez mijenjanja prepoznatljivog identiteta – što je bio problem u prethodnim pristupima. Izvor: https://arxiv.org/pdf/2104.12476.pdf

Sustav koristi 'mrežu estetskih rezultata' izvedenu iz SCUT-FBP5500 (SCUT), referentni skup podataka za 2018. za predviđanje ljepote lica, s Južnokineskog tehnološkog sveučilišta u Guangzhouu.

Iz dokumenta iz 2018. 'SCUT-FBP5500: Raznolik referentni skup podataka za predviđanje ljepote lica s više paradigmi', koji je ponudio mrežu 'Predviđanje ljepote lica' (FBP) koja može rangirati lica u smislu percipirane privlačnosti, ali koja zapravo nije mogla transformirati ili 'upgrade' lica.  Izvor: https://arxiv.org/pdf/1801.06345.pdf

Za razliku od novog rada, projekt iz 2018. zapravo ne može izvršiti transformacije, ali sadrži algoritamske vrijednosne prosudbe za 5,500 lica, koje je dostavilo 60 osoba koje označavaju mješoviti spol (podjela 50/50). One su ugrađene u novi sustav kao učinkovite diskriminator, za informiranje o transformacijama koje će vjerojatno povećati 'privlačnost' slike.

Zanimljivo je da je novom papiru naslovljen je Generiranje lijepog lica bijele rase koje se može kontrolirati atributima pomoću učenja potkrepljenja vođenog estetikom. Razlog zašto su sve rase osim bijele rase isključene iz sustava (također uzmite u obzir da su sami istraživači Kinezi) je taj što izvorni podaci za SCUT skreću uglavnom s azijskim izvorima (4000 ravnomjerno podijeljenih žena/muškaraca Azijata, 1500 ravnomjerno podijeljenih žena bijele rase /muškarci), što čini 'prosječnu osobu' u tom skupu podataka smeđokosom i smeđookom.

Stoga, kako bi se prilagodila varijacija boje barem unutar jedne rase, bilo je potrebno isključiti azijsku komponentu iz izvornih podataka ili uložiti znatan trošak rekonstrukcije podataka da bi se razvila metoda koja možda ne bi uspjela. Dodatno, varijacije u kulturnim percepcijama ljepote neizbježno znači da će takvi sustavi trebati određeni stupanj geografske konfigurabilnosti u odnosu na ono što predstavlja 'privlačnost'.

Odgovarajući atributi

Kako bi odredili primarne čimbenike koji pridonose 'privlačnoj' fotografiji osobe, istraživači su također testirali učinak različitih promjena na slikama, u smislu toga koliko dobro takva povećanja jačaju algoritamsku percepciju 'ljepote'. Otkrili su da je barem jedan od aspekata važniji za dobru fotografiju nego dobra genetika:

Osim rasvjete, aspekti koji su imali najveći utjecaj na ocjenu ljepote bile su šiške (koje, u slučaju muškaraca, često mogu biti jednake kao da uopće imaju punu kosu), poza tijela i raspored očiju (gdje je uključenost u gledište kamere je dodatak atraktivnosti).

(Što se tiče 'boje ruža za usne', novi sustav, koji može učinkovito djelovati i na muške i na ženske prezentacije roda, ne individualizira rodni izgled, već se oslanja na novi diskriminatorski sustav kao 'filtar' u tom pogledu)

način

Funkcija nagrađivanja u mehanizmu učenja potkrepljenja u novom sustavu pokreće se jednostavnom regresijom nad SCUT podacima, koja daje predviđanja ljepote lica.

Sustav za obuku ponavlja preko ulaznih slika podataka (dolje lijevo u shemi ispod). U početku prethodno obučen ResNet18 model (obučen na ImageNet) izvlači značajke iz pet identičnih ('y') slika. Zatim, potencijalna transformativna radnja izvedena je iz skrivenog stanja a potpuno povezani sloj (GRUCell, na slici ispod), i primijenjene transformacije, što dovodi do pet izmijenjenih slika koje se unose u mrežu estetskih rezultata, čije će rangiranje, u Darwinovom stilu, odrediti koje će se varijacije razviti, a koje odbaciti.

Ilustracija tijeka rada za novi sustav.

Mreža estetskih rezultata koristi Učinkovit kanal pažnje (ACE) modul, dok je prilagodba prethodno obučene instance od EfficientNet-B4 ima zadatak izdvojiti 1,792 značajke iz svake slike.

Nakon normalizacije kroz a ReLU aktivacijska funkcija, 4-dimenzionalni vektor se dobiva natrag iz ECA modula, koji se zatim izravnava u jednodimenzionalni vektor nakon aktivacije i adaptivno prosječno udruživanje. Na kraju se rezultati unose u regresijska mreža, koji dohvaća ocjenu estetike.

Kvalitativna usporedba izlaza iz sustava. U donjem redu vidimo zbirni zbroj svih pojedinačnih aspekata koji su identificirani metodom EigenGAN i naknadno poboljšani. Prosječni rezultati FID-a za slike nalaze se lijevo od redaka slika (što je više to bolje).

Testovi i korisnička studija

Pet varijanti predložene metode procijenjeno je algoritamski (vidi sliku iznad), s Fréchetovom početnom udaljenošću (FID, kontroverzan u nekim krugovima) bodovi dodijeljeni ukupno 1000 slika stavljenih kroz sustav.

Istraživači primjećuju da je poboljšanjem osvjetljenja postignuta bolja ocjena privlačnosti za subjekte na fotografijama od nekoliko drugih 'očitijih' mogućih promjena (tj. stvarnog izgleda prikazane osobe).

U određenoj je mjeri testiranje sustava na ovaj način ograničeno ekscentričnostima SCUT podataka, koji nemaju mnogo 'blistavih osmijeha', a autori tvrde da bi to moglo pretjerano previsoko rangirati tipičniji 'enigmatični' izgled u podatke, u usporedbi s vjerojatnim preferencijama potencijalnih ciljanih krajnjih korisnika (vjerojatno, u ovom slučaju, zapadno tržište).

Međutim, budući da se cijeli sustav oslanja na prosječna prosječna mišljenja samo 60 ljudi (u EigenGAN dokumentu), a budući da je kvaliteta koja se proučava daleko od empirijske, moglo bi se tvrditi da je postupak ispravniji od skupa podataka.

Iako se u radu vrlo kratko govori o tome, slike iz EigenGAN-a i vlastitih pet varijanti sustava također su prikazane u ograničenoj korisničkoj studiji (osam sudionika), od kojih je zatraženo da odaberu 'najbolju sliku' (riječ 'atraktivna' bila je izbjegavati).

Gore, GUI predstavljen maloj studijskoj grupi; ispod, rezultati.

Rezultati pokazuju da je rezultat novog sustava postigao najveću stopu odabira među sudionicima ('MAES' na gornjoj slici).

(Besciljna?) potraga za ljepotom

Teško je utvrditi korisnost takvog sustava, unatoč onome što se čini a značajan lokusa of napor in Kina prema ovim ciljevima. Ništa nije navedeno u novoj publikaciji.

Prethodni EigenGAN dokument sugerira* da bi se sustav za prepoznavanje ljepote mogao koristiti u njezi lica sustavi preporuka za sintezu šminke, estetska kirurgija, uljepšavanje lica, ili dohvaćanje slika temeljeno na sadržaju.

Vjerojatno bi se takav pristup mogao koristiti i na stranicama za upoznavanje, od strane krajnjih korisnika, kako bi 'poboljšali' vlastite profilne fotografije u zajamčenu 'sretnu priliku', kao alternativu korištenju zastarjelih fotografija ili fotografija drugih ljudi.

Isto tako, same stranice za upoznavanje mogu također 'bodovati' svoje klijente za stvaranje ocjena, pa čak i razine ograničenog pristupa, iako bi to vjerojatno funkcioniralo samo putem snimanja autentifikacije živosti, a ne dostavljenih fotografija (koje bi klijenti također mogli 'poboljšati', ako bi pristup postao popularan).

U oglašavanju, algoritamska metoda za procjenu ljepote (tehnologija koju je predvidio pokojni autor znanstvene fantastike Michael Crichton u svom kinematografskom izletu 1982. Posmatrač) mogao bi se koristiti za odabir nepoboljšanog kreativnog rezultata koji će najvjerojatnije privući ciljnu publiku, dok bi sposobnost stvarnog maksimiziranja estetskog utjecaja slika lica, bez njihovog stvarnog prepisivanja u stilu deepfakeova, mogla poboljšati već učinkovite slike pobuditi interes javnosti.

Novi rad podupiru Kineska nacionalna zaklada za prirodne znanosti, Projekt otvorenog fonda Državnog ključnog laboratorija za upravljanje i kontrolu složenih sustava i Projekt istraživanja filozofije i društvenih znanosti kineskog ministarstva obrazovanja, između ostalih podupiratelja.

* Mnoge preporuke EigenGAN papira upućuju na komercijalno dostupnu knjigu iz 2016. pod naslovom 'Računalni modeli za analizu ljepote lica', a ne na akademske izvore.

Prvi put objavljeno 11. kolovoza 2022.