Ett AI-system som kan göra bilder av människor mer “vackra”

Forskare från Kina har utvecklat ett nytt AI-baserat bildförbättringssystem som kan göra bilder av en person mer “vackra”, baserat på en ny approach till förstärkt inlärning.

Den nya metoden använder ett ‘facial beauty prediction network’ för att iterera genom variationer av en bild baserat på ett antal faktorer, bland vilka ‘belysning’ och ögonställning kan vara kritiska faktorer. Här är de ursprungliga källorna (till vänster om varje kolumn) från EigenGAN-systemet, med de nya resultaten till höger om dessa. Källa: https://arxiv.org/pdf/2208.04517.pdf

Tekniken bygger på innovationer som upptäckts för EigenGAN-generatoren, ett annat kinesiskt projekt från 2021, som gjorde betydande framsteg i att identifiera och få viss kontroll över de diverse semantiska attributen inom den latenta utrymmet för Generative Adversarial Networks (GANs).

Den 2021 EigenGAN-generatoren kunde individuera högnivåkoncept som ‘hårfärg’ inom den latenta utrymmet för en generativ adversarial nätverk. Det nya arbetet bygger på denna innovativa instrument till att leverera ett system som kan ‘försköna’ källbilder, men utan att ändra den igenkännliga identiteten – ett problem i tidigare tillvägagångssätt. Källa: https://arxiv.org/pdf/2104.12476.pdf

Systemet använder ett ‘aesthetics score network’ som härrör från SCUT-FBP5500 (SCUT), en 2018-benchmarkdataset för facial beauty prediction, från South China University of Technology i Guangzhou.

Från 2018-papperet ‘SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction’, som erbjöd ett ‘Facial beauty prediction’ (FBP) nätverk som kunde ranka ansikten i termer av upplevd attraktivitet, men som inte kunde faktiskt transformera eller ‘uppgradera’ ansikten. Källa: https://arxiv.org/pdf/1801.06345.pdf

Till skillnad från det nya arbetet, kan det 2018-projektet inte faktiskt utföra transformationer, men innehåller algoritmiska värderingsdomar för 5 500 ansikten, tillhandahållna av 60 blandade könsmässiga märkare (en 50/50-delning). Dessa har införlivats i det nya systemet som en effektiv diskriminatör, för att informera transformationer som sannolikt kommer att förbättra ‘attraktiviteten’ hos en bild.

Intressant nog är den nya artikeln titeln Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning. Anledningen till att alla raser utom kaukasiska är uteslutna från systemet (se också att forskarna själva är kinesiska) är att källdata för SCUT lutade betydligt mot asiatiska källor (4000 jämnt fördelade asiatiska kvinnor/män, 1500 jämnt fördelade kaukasiska kvinnor/män), vilket gör ‘genomsnittspersonen’ i den dataseten brunt hår och bruna ögon.

Därför var det nödvändigt att utesluta den asiatiska komponenten från de ursprungliga data, eller också gå till betydande kostnad för att återskapa data för att utveckla en metod som kanske inte skulle ha fungerat. Dessutom varierar kulturella uppfattningar om skönhet oundvikligen, vilket innebär att sådana system kommer att behöva någon grad av geografisk konfigurerbarhet i fråga om vad som utgör ‘attraktivitet’.

Relevant attribut

För att bestämma de primära bidragande faktorerna till en ‘attraktiv’ bild av en person, testade forskarna också effekten av olika förändringar i bilderna, i termer av hur väl sådana förbättringar ökade den algoritmiska uppfattningen om ‘skönhet’. De fann att minst en av aspekterna är mer central för bra fotografering än bra genetik:

Förutom belysning, var aspekter som hade den största inverkan på skönhetspoängen frisyrer (som, i fallet med män, ofta kan vara ekvivalent med att ha ett fullt hår), kroppsställning och ögonställning (där engagemang med kameravyn är en fördel för attraktivitet).

(Med avseende på ‘läppstiftsfärg’, det nya systemet, som kan fungera effektivt på både manliga och kvinnliga presentationer av kön, individuerar inte könsutseende, utan förlitar sig på det nya diskriminerings-systemet som ett ‘filter’ i detta avseende)

Metod

Belöningsfunktionen i den förstärkta inlärningsmekanismen i det nya systemet drivs av en enkel regression över SCUT-data, som producerar facial beauty prediction.

Tränings-systemet itererar över datainmatningsbilderna (nederst till vänster i schemat nedan). Initialt extraherar ett förtränat ResNet18-modell (tränad på ImageNet) funktioner från de fem identiska (‘y’) bilderna. Nästa, en potentiell transformerande åtgärd hämtas från det dolda tillståndet för ett fullständigt anslutet lager (GRUCell, i bilden nedan), och transformationerna appliceras, vilket leder till fem ändrade bilder som matas in i skönhetspoängnätverket, vars rankningar, Darwin-style, kommer att bestämma vilka variationer som kommer att utvecklas och vilka som kommer att kasseras.

En illustration av arbetsflödet för det nya systemet.

Skönhetspoängnätverket använder ett Efficient Channel Attention (ECA) modul, medan en anpassning av en förtränad instans av EfficientNet-B4 är uppgiften att extrahera 1 792 funktioner från varje bild.

Efter normalisering genom en ReLU-aktiveringsfunktion, erhålls en 4-dimensionell vektor tillbaka från ECA-modulen, som sedan plattas till en en-dimensionell vektor efter aktivering och adaptiv genomsnittspoolning. Slutligen matas resultaten in i regressionsnätverket, som hämtar en skönhetspoäng.

En kvalitativ jämförelse av utdata från systemet. I den nedre raden ser vi den sammanlagda summan av alla de individuerade aspekter som har identifierats av EigenGAN-metoden och sedan förbättrats. Genomsnittliga FID-poäng för bilderna är till vänster om bildraderna (högre är bättre).

Tester och användarstudie

Fem varianter av den föreslagna metoden utvärderades algoritmiskt (se bilden ovan), med Fréchet-inception-avstånd (FID, kontroversiellt i vissa kretsar) poäng tilldelades till totalt 1000 bilder som passerade genom systemet.

Forskarna noterar att förbättring av belysningen uppnådde en bättre attraktivitetspoäng för ämnena på fotografierna än flera andra mer ‘uppenbara’ möjliga förändringar (dvs. till det faktiska utseendet på personen som avbildas).

Att testa systemet på detta sätt är till viss del begränsat av de egenskaper som finns i SCUT-data, som inte har många ‘ljusa leenden’, och författarna hävdar att detta kan överdrivet rangordna den mer typiska ‘gåtfulla’ blicken i data, i jämförelse med de troliga preferenserna hos potentiella målslag (förmodligen, i detta fall, en västerländsk marknad).

Men eftersom hela systemet hänger på de genomsnittliga åsikterna från bara 60 personer (i EigenGAN-papperet), och eftersom kvaliteten som studeras är långt ifrån empirisk, kan det hävdas att proceduren är mer sund än datasetet.

Även om det behandlas mycket kortfattat i papperet, visades bilder från EigenGAN och systemets fem varianter också i en begränsad användarstudie (åtta deltagare), som ombads att välja den ‘bästa bilden’ (ordet ‘attraktiv’ undveks).

Ovan, gränssnittet som presenterades för den lilla studiegruppen; nedan, resultaten.

Resultaten indikerar att det nya systemets utdata uppnådde den högsta urvalsfrekvensen bland deltagarna (‘MAES’ i bilden ovan).

Den (syfte-lösa?) jakten på skönhet

Nyttan av ett sådant system är svår att fastställa, trots att det verkar vara en anmärkningsvärd plats för insats i Kina mot dessa mål. Ingen är utställd i den nya publikationen.

Tidigare EigenGAN-papper föreslår* att ett skönhetsigenkännande system kunde användas i ansikts makeup-syntes-rekommendationssystem, estetisk kirurgi, ansiktsförskönande, eller innehållsbaserad bildsökning.

Antagligen kunde ett sådant tillvägagångssätt också användas på dating-sajter, av slutanvändare, för att ‘förbättra’ sina egna profilfoton till en garanterad ‘lyckad skott’, som ett alternativ till att använda föråldrade foton, eller foton av andra människor.

Likaså kunde dating-sajter själva ‘poängsätta’ sina kunder för att skapa betyg och till och med begränsade åtkomstnivåer, även om detta förmodligen bara skulle fungera via en liveness-autentiseringsinsamling, snarare än inskickade foton (som likaså kunde ‘förbättras’ av kunderna, om tillvägagångssättet skulle bli populärt).

I reklam, kunde en algoritmisk metod för att bedöma skönhet (en teknik som förutspåddes av den avlidne science fiction-författaren Michael Crichton i hans 1982 filmiska utflykt Looker) användas för att välja den icke-förbättrade kreativa utdata som sannolikt kommer att engagera en målgrupp, medan förmågan att faktiskt maximera den estetiska inverkan av ansiktsbilder, utan att faktiskt skriva över dem i stil med deepfakes, kunde förbättra redan effektiva bilder som är avsedda att väcka allmänhetens intresse.

Det nya arbetet stöds av National Natural Science Foundation of China, Open Fund Project of the State Key Laboratory of Complex System Management and Control, och Project of Philosophy and Social Science Research från Kinas utbildningsministerium, bland andra stöd.

* Många av EigenGAN-papperets rekommendationer pekar mot en kommersiellt tillgänglig 2016-bok med titeln ‘Computer Models for Facial Beauty Analysis’, snarare än akademiska resurser.

Publicerad första gången den 11:e augusti 2022.