Et AI-system, der kan gøre billeder af mennesker mere ‘smukke’

Forskere fra Kina har udviklet et nyt AI-baseret billedforbedringssystem, der kan gøre billeder af en person mere ‘smukke’, baseret på en ny tilgang til forstærkning af læring.

Den nye tilgang bruger et ‘facial beauty prediction network’ til at iterere gennem variationer på et billede baseret på en række faktorer, hvoraf ‘belysning’ og øjnestilling kan være kritiske faktorer. Her er de originale kilder (til venstre for hver kolonne) fra EigenGAN-systemet, med de nye resultater til højre for disse. Kilde: https://arxiv.org/pdf/2208.04517.pdf

Teknikken bygger på innovationer opdaget til EigenGAN-generatoren, et andet kinesisk projekt fra 2021, der gjorde betydelige fremskridt i at identificere og opnå en vis kontrol over de diverse semantiske attributter i latent rummet af Generative Adversarial Networks (GANs).

EigenGAN-generatoren fra 2021 kunne individuere højniveauforhold som ‘hårfarve’ i latent rummet af en generativ adversarial network. Det nye arbejde bygger på denne innovative instrument til at levere et system, der kan ‘forbedre’ kildebilleder, men uden at ændre den genkendelige identitet – et problem i tidligere tilgange. Kilde: https://arxiv.org/pdf/2104.12476.pdf

Systemet anvender et ‘æstetik-score-netværk’ afledt fra SCUT-FBP5500 (SCUT), en 2018-benchmark-dataset for ansigtskønhedsforudsigelse, fra South China University of Technology i Guangzhou.

Fra 2018-papiret ‘SCUT-FBP5500: En divers benchmark-dataset for multi-paradigm ansigtskønhedsforudsigelse’, som tilbød et ‘facial beauty prediction’ (FBP)-netværk, der kunne rangere ansigter efter opfattet tiltrækning, men som ikke kunne faktisk transformere eller ‘opgradere’ ansigter. Kilde: https://arxiv.org/pdf/1801.06345.pdf

I modsætning til det nye arbejde kan 2018-projektet ikke faktisk udføre transformationer, men indeholder algoritmiske værdidomme for 5.500 ansigter, leveret af 60 blandede kønslabel (en 50/50-deling). Disse er blevet inkorporeret i det nye system som en effektiv diskriminator for at informere transformationer, der sandsynligvis kan forbedre ’tiltrækningen’ af et billede.

Interessant nok er det nye papir titlen Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning. Årsagen til, at alle racer undtagen kaukasiske er ekskluderet fra systemet (bemærk også, at forskerne selv er kinesere), er, at kilde-dataene for SCUT er betydeligt fordelt til asiatiske kilder (4.000 ligeligt fordelt asiatiske kvinder/mænd, 1.500 ligeligt fordelt kaukasiske kvinder/mænd), hvilket gør ‘den gennemsnitlige person’ i denne dataset brunhåret og bruneøjnet.

Derfor var det nødvendigt at ekskludere den asiatiske komponent fra de originale data eller gå til den betydelige omkostning at genskabe dataene for at udvikle en metode, der måske ikke ville lykkes. Desuden variation i kulturelle opfattelser af skønhed betyder nødvendigvis, at sådanne systemer vil kræve en vis grad af geografisk konfigurerbarhed i forhold til, hvad der udgør ’tiltrækning’.

Pertinente attributter

For at bestemme de primære bidragende faktorer til et ’tiltrækkende’ billede af en person, testede forskerne også effekten af forskellige ændringer af billeder i forhold til, hvor godt sådanne forbedringer forbedrede algoritmensk perception af ‘skønhed’. De fandt, at mindst en af aspekterne er mere central for god fotografering end god genetik:

Foruden belysning havde aspekterne, der havde den største indvirkning på skønhedsscore, pandehår (hvad der i mænds tilfælde ofte kan være lig med at have en fuld hoved af hår), kropsholdning og øjnestilling (hvor engagement med kameraets synspunkt er en fordel til tiltrækning).

(Med hensyn til ‘læbestiftsfarve’ kan det nye system, der kan fungere effektivt på både mandlige og kvindelige præsentationer af køn, ikke individuere kønsudseende, men hviler i stedet på det nye diskriminatorsystem som en ‘filter’ i denne henseende)

Metode

Belønningsfunktionen i forstærkning af læring i det nye system er drevet af en simpel regression over SCUT-data, der udgiver ansigtskønhedsforudsigelser.

Træningssystemet itererer over data-input-billeder (nederst til venstre i skemaet nedenfor). Først udtrækker en forudtrænet ResNet18-model (trænet på ImageNet) funktioner fra de fem identiske (‘y’) billeder. Dernæst udledes en potentiel transformerende handling fra det skjulte tilstand af en fuldt forbundet lag (GRUCell, i billedet nedenfor), og transformationerne anvendes, hvilket fører til fem ændrede billeder, der føres ind i æstetik-score-netværket, hvis rangeringer, Darwin-stil, vil bestemme, hvilke variationer der vil blive udviklet og hvilke der vil blive forkastet.

En illustration af arbejdsgangen for det nye system.

Æstetik-score-netværket anvender en Efficient Channel Attention (ECA)-modul, mens en tilpasning af en forudtrænet instance af EfficientNet-B4 er tildelt til at udtrække 1.792 funktioner fra hvert billede.

Efter normalisering gennem en ReLU-aktiveringsfunktion opnås en 4-dimensionel vektor fra ECA-modulen, der derefter flades til en 1-dimensionel vektor efter aktivering og adaptiv gennemsnitspooling. Til sidst føres resultaterne ind i regressionsnetværket, der henter en æstetik-score.

En kvalitativ sammenligning af output fra systemet. I bunden af rækken ser vi den samlede sum af alle de individuerede aspekter, der er identificeret af EigenGAN-metoden og herefter forbedret. Gennemsnitlige FID-scores for billederne er til venstre for billedrækkerne (højere er bedre).

Tests og brugerstudie

Fem varianter af den foreslåede metode blev evalueret algoritmiske (se billedet ovenfor), med Fréchet-inception-afstand (FID, kontroversiel i nogle kvartaler) scores tildelt til i alt 1000 billeder, der blev ført gennem systemet.

Forskere bemærker, at forbedring af belysning opnåede en bedre tiltrækningsscore for subjekterne på billederne end flere andre mere ‘åbenlyse’ mulige ændringer (dvs. til det faktiske udseende af personen afbildet).

I en vis udstrækning er testning af systemet på denne måde begrænset af de ekscentriske SCUT-data, der ikke har mange ‘lyse smil’, og forfatterne argumenterer for, at dette kunne over-rangere den mere typiske ‘gådefulde’ look i dataene i forhold til de sandsynlige præferencer af potentielle slutbrugere (formodentlig i dette tilfælde en vestlig marked).

Men da hele systemet hænger på den gennemsnitlige mening af kun 60 personer (i EigenGAN-papiret), og da kvaliteten, der studeres, er langt fra empirisk, kan det argumenteres for, at proceduren er mere solid end datasettet.

Selvom det kun behandles meget kort i papiret, blev billeder fra EigenGAN og systemets egen fem varianter også vist i en begrænset brugerstudie (otte deltagere), der blev bedt om at vælge det ‘bedste billede’ (ordet ’tiltrækkende’ blev undgået).

Ovenfor er GUI-præsenteret for den lille studiegruppe; nedenfor er resultaterne.

Resultaterne indikerer, at det nye systems output opnåede den højeste valgfrekvens blandt deltagerne (‘MAES’ i billedet ovenfor).

Den (målrette?) jagt på skønhed

Nyttien af et sådant system er svær at etablere, på trods af hvad der synes at være en bemærkelsesværdig lokus af indsats i Kina mod disse mål. Ingen er nævnt i den nye publikation.

Tidligere EigenGAN-papiret foreslår*, at et skønheds-genkendelsessystem kunne bruges i ansigts makeup-synthese-anbefalingsystemer, æstetisk kirurgi, ansigtsforbedring, eller indholdsbaseret billedhentning.

Formodentlig kunne en sådan tilgang også bruges på dating-sites, af slutbrugere, til at ‘forbedre’ deres egne profilbilleder til en garanteret ‘heldig skud’, som en alternativ til at bruge forældede billeder eller billeder af andre personer.

Ligeledes kunne dating-sites selv ‘score’ deres kunder for at skabe vurderinger og endda begrænsede-adgangsniveauer, selvom dette formodentlig kun ville fungere via en liveness-autentificeringsfangst, snarere end indsendte billeder (der ligeledes kunne ‘forbedres’ af kunderne, hvis tilgange blev populære).

I reklame kunne en algoritme-baseret metode til at vurdere skønhed (en teknologi forudset af den afdøde science fiction-forfatter Michael Crichton i hans 1982 film Looker) bruges til at vælge den ikke-forbedrede kreative output, der er mest sandsynlig at engagere en målgruppe, mens evnen til faktisk at maksimere den æstetiske virkning af ansigtsbilleder, uden at faktisk overskrive dem i stil med deepfakes, kunne forbedre allerede effektive billeder, der er tiltænkt at tiltrække offentlighedens interesse.

Det nye arbejde er støttet af National Natural Science Foundation of China, Open Fund Project of the State Key Laboratory of Complex System Management and Control, og Project of Philosophy and Social Science Research from China’s ministry of education, blandt andre støtter.

* Mange af EigenGAN-papirets anbefalinger peger mod en kommercielt tilgængelig bog fra 2016 med titlen ‘Computer Models for Facial Beauty Analysis’, snarere end akademiske ressourcer.

Offentliggjort første gang den 11. august 2022.