Een AI-systeem dat afbeeldingen van mensen ‘mooier’ kan maken

Onderzoekers uit China hebben een nieuw AI-gebaseerd beeldverbeteringssysteem ontwikkeld dat in staat is om afbeeldingen van een persoon ‘mooier’ te maken, op basis van een novatieve aanpak van versterking van het leren.

De nieuwe aanpak gebruikt een ‘facial beauty prediction network’ om door variaties op een afbeelding te itereren op basis van een aantal factoren, waarvan ‘lichting’ en oogposities kritische factoren kunnen zijn. Hier zijn de originele bronnen (links in elke kolom) van het EigenGAN-systeem, met de nieuwe resultaten rechts van deze. Bron: https://arxiv.org/pdf/2208.04517.pdf

De techniek maakt gebruik van innovaties die zijn ontdekt voor de EigenGAN-generator, een ander Chinees project, uit 2021, dat opmerkelijke stappen zette in het identificeren en enige controle krijgen over de diverse semantische attributen binnen de latent ruimte van Generative Adversarial Networks (GANs).

De 2021 EigenGAN-generator was in staat om hoge-niveau-concepten zoals ‘haarkleur’ binnen de latent ruimte van een generatief adversariaal netwerk te individueren. Het nieuwe werk bouwt voort op deze innovatieve instrumentatie om een systeem te leveren dat ‘mooier’ kan maken van bronafbeeldingen, zonder de herkenbare identiteit te veranderen – een probleem in eerdere benaderingen. Bron: https://arxiv.org/pdf/2104.12476.pdf

Het systeem maakt gebruik van een ‘aesthetics score network’ dat is afgeleid van SCUT-FBP5500 (SCUT), een 2018-benchmarkdataset voor gezichtsschoonheidspredictie, van de South China University of Technology in Guangzhou.

Uit het 2018-artikel ‘SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction’, dat een ‘Facial beauty prediction’ (FBP) netwerk aanbood dat in staat was om gezichten te rangschikken in termen van waargenomen aantrekkelijkheid, maar dat niet daadwerkelijk gezichten kon transformeren of ‘upgraden’. Bron: https://arxiv.org/pdf/1801.06345.pdf

Anders dan het nieuwe werk, kan het 2018-project geen transformaties uitvoeren, maar bevat het algoritmirische waardeoordelen voor 5.500 gezichten, geleverd door 60 gemengde geslachtslabels (een 50/50-verdeling). Deze zijn opgenomen in het nieuwe systeem als een effectieve discriminator, om transformaties te informeren die waarschijnlijk de ‘aantrekkelijkheid’ van een afbeelding zullen verhogen.

Interessant is dat het nieuwe artikel de titel Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning heeft. De reden dat alle rassen behalve het Caucasische ras zijn uitgesloten van het systeem (zie ook dat de onderzoekers zelf Chinees zijn) is dat de brondata voor SCUT aanzienlijk naar Aziatische bronnen neigt (4000 gelijk verdeelde Aziatische vrouwen/mannen, 1500 gelijk verdeelde Caucasische vrouwen/mannen), waardoor de ‘gemiddelde persoon’ in die dataset bruinharig en bruinoogig is.

Daarom was het, om kleurvariatie te accommoderen binnen ten minste één ras, noodzakelijk om het Aziatische component uit de oorspronkelijke data te verwijderen, of om aanzienlijke kosten te maken om de data opnieuw samen te stellen om een methode te ontwikkelen die mogelijk niet zou lukken. Bovendien variëren culturele percepties van schoonheid onvermijdelijk, waardoor dergelijke systemen enige geografische configuratie nodig zullen hebben in verband met wat ‘aantrekkelijkheid’ vormt.

Relevante Attributen

Om de primaire bijdragende factoren voor een ‘aantrekkelijke’ foto van een persoon te bepalen, hebben de onderzoekers ook de effecten van verschillende veranderingen in afbeeldingen getest, in termen van hoe goed dergelijke verbeteringen de algoritmirische perceptie van ‘schoonheid’ verhogen. Zij vonden dat ten minste één van de facetten centraal staat voor goede fotografie dan voor goede genetica:

Naast lichting, hadden de aspecten die de grootste impact hadden op de schoonheidscore ‘bangs’ (die, in het geval van mannen, vaak equivalent kan zijn aan het hebben van een volle bos haar), lichaamshouding en oogpositie (waarbij betrokkenheid met de camera een positieve invloed heeft op aantrekkelijkheid).

(Met betrekking tot ‘lipstickkleur’, werkt het nieuwe systeem, dat effectief kan werken op zowel mannelijke als vrouwelijke presentaties van geslacht, niet de geslachtsverschijning individueel, maar vertrouwt op het novatieve discriminatiesysteem als een ‘filter’ in dit opzicht)

Methode

De beloningsfunctie in de versterking van het leren in het nieuwe systeem wordt aangedreven door een eenvoudige regressie over de SCUT-gegevens, die gezichtsschoonheidsvoorspellingen produceert.

Het trainsysteem itereert over de invoerafbeeldingen (onderaan links in het schema hieronder). Aanvankelijk extracteert een pregetrainde ResNet18-model (getraind op ImageNet) kenmerken uit de vijf identieke (‘y’) afbeeldingen. Vervolgens wordt een potentieel transformatieactie afgeleid van de verborgen toestand van een volledig verbonden laag (GRUCell, in de afbeelding hieronder), en de transformaties worden toegepast, waardoor vijf gewijzigde afbeeldingen ontstaan die worden gevoerd in het aesthetische scoresysteem, waarvan de rangschikking, Darwin-achtig, zal bepalen welke variaties zullen worden ontwikkeld en welke zullen worden verworpen.

Een illustratie van de workflow voor het nieuwe systeem.

Het aesthetische scoresysteem gebruikt een Efficient Channel Attention (ECA)-module, terwijl een aanpassing van een pregetrainde instantie van EfficientNet-B4 is belast met het extraheren van 1.792 kenmerken uit elke afbeelding.

Na normalisatie door een ReLU-activatiefunctie wordt een 4-dimensionale vector verkregen vanuit de ECA-module, die vervolgens wordt geplat tot een één-dimensionale vector na activatie en adaptieve gemiddelde pooling. Ten slotte worden de resultaten gevoerd in het regressienetwerk, dat een aesthetische score ophaalt.

Een kwalitatieve vergelijking van de output van het systeem. In de onderste rij zien we de geaggregeerde som van alle geïndividualiseerde facetten die zijn geïdentificeerd door de EigenGAN-methode en vervolgens verhoogd. De gemiddelde FID-scores voor de afbeeldingen zijn links van de afbeeldingsrijen (hoger is beter).

Tests en Gebruikersonderzoek

Vijf varianten van de voorgestelde methode werden algoritmirisch geëvalueerd (zie afbeelding hierboven), met Fréchet-inceptie-afstand (FID, omstreden in sommige kwartalen) scores toegewezen aan in totaal 1000 afbeeldingen die door het systeem zijn verwerkt.

De onderzoekers merken op dat het verbeteren van de lichting een betere aantrekkelijkheidscore opleverde voor de onderwerpen op de foto’s dan enkele andere meer ‘voor de hand liggende’ mogelijke veranderingen (d.w.z. aan het daadwerkelijke uiterlijk van de afgebeelde persoon).

Tot op zekere hoogte is het testen van het systeem op deze manier beperkt door de eigenaardigheden van de SCUT-gegevens, die niet veel ‘stralende glimlachen’ bevatten, en de auteurs betogen dat dit excessief de meer typische ‘enigmatische’ blik in de gegevens kan overwaarderen in vergelijking met de waarschijnlijke voorkeuren van potentiële eindgebruikers (vermoedelijk, in dit geval, een westerse markt).

Hoewel het hele systeem hangt van de gemiddelde meningen van slechts 60 mensen (in het EigenGAN-artikel), en aangezien de kwaliteit die wordt bestudeerd ver van empirisch is, kan worden betoogd dat de procedure meer solide is dan de dataset.

Hoewel het in het artikel zeer kort wordt behandeld, werden afbeeldingen van EigenGAN en de vijf varianten van het systeem ook getoond in een beperkt gebruikersonderzoek (acht deelnemers), die werden gevraagd om de ‘beste afbeelding’ te selecteren (het woord ‘aantrekkelijk’ werd vermeden).

Boven, de GUI die aan de kleine studiegroep werd gepresenteerd; onder, de resultaten.

De resultaten geven aan dat de output van het nieuwe systeem de hoogste selectiescore behaalde onder de deelnemers (‘MAES’ in de afbeelding hierboven).

Het (Doelloze?) Streven naar Schoonheid

De bruikbaarheid van een dergelijk systeem is moeilijk vast te stellen, ondanks wat lijkt op een opvallende locus van inspanning in China naar deze doelen. Geen enkele wordt in de nieuwe publicatie uitgestippeld.

Het vorige EigenGAN-artikel suggereert* dat een schoonheidsherkenningssysteem kan worden gebruikt in gezichtsmake-upsyntheserecomendatiesystemen, esthetische chirurgie, gezichtsverfraaiing, of content-gebaseerde afbeeldingopname.

Waarschijnlijk kan een dergelijke benadering ook worden gebruikt op datingsites, door eindgebruikers, om hun eigen profielfoto’s te ‘verbeteren’ tot een gegarandeerde ‘gelukschot’, als alternatief voor het gebruik van verouderde foto’s, of foto’s van andere mensen.

Evenzo kunnen datingsites zelf ook ‘scoren’ hun klanten om ratings en zelfs beperkte toegangsniveaus te creëren, hoewel dit waarschijnlijk alleen zou werken via een liveness-authenticatie-opname, in plaats van ingediende foto’s (die eveneens door de klanten kunnen worden ‘verbeterd’ als de benadering populair zou worden).

In reclame kan een algoritmirische methode om schoonheid te beoordelen (een technologie die is voorspeld door de overleden sciencefictionschrijver Michael Crichton in zijn 1982-film Looker) worden gebruikt om de niet-verbeterde creatieve output te selecteren die het meest waarschijnlijk een doelpubliek zal aanspreken, terwijl de capaciteit om daadwerkelijk het aesthetische effect van gezichtsafbeeldingen te maximaliseren, zonder ze daadwerkelijk te overschrijven in de stijl van deepfakes, de reeds effectieve afbeeldingen die zijn bedoeld om publieke belangstelling te wekken, kan verhogen.

Het nieuwe werk wordt ondersteund door de National Natural Science Foundation of China, het Open Fund Project van de State Key Laboratory of Complex System Management and Control, en het Project of Philosophy and Social Science Research van China’s ministerie van Onderwijs, onder andere ondersteuners.

* Veel van de aanbevelingen van het EigenGAN-artikel wijzen naar een commercieel beschikbaar boek uit 2016 getiteld ‘Computer Models for Facial Beauty Analysis’, in plaats van academische bronnen.

Publicatie op 11 augustus 2022.