Andersons hoek
Een AI-systeem dat afbeeldingen van mensen mooier kan maken

Belangrijkste puntenNieuw AI-systeem gebruikt reinforcement learning om gezichten te verfraaien zonder de…
Meer weergeven
- Nieuw AI-systeem gebruikt reinforcement learning om gezichten te verfraaien zonder de identiteit te veranderen.
- Verlichting en oogstand doen er meer toe dan genetica voor het verhogen van algoritmische schoonheidsscores.
- Het systeem vertrouwt op slechts 60 beoordelaars van schoonheid uit de SCUT-FBP5500-dataset.
Onderzoekers uit China hebben een nieuw AI-gebaseerd beeldverbeteringssysteem ontwikkeld dat in staat is om afbeeldingen van een persoon ‘mooier’ te maken, op basis van een nieuwe aanpak van bekrachtigingsleren.

De nieuwe aanpak gebruikt een ‘netwerk voor het voorspellen van gezichtsschoonheid’ om door variaties op een afbeelding te itereren op basis van een aantal factoren, waarvan ‘belichting’ en oogposities kritische factoren kunnen zijn. Hier zijn de originele bronnen (links in elke kolom) van het EigenGAN-systeem, met de nieuwe resultaten rechts van deze. Bron: https://arxiv.org/pdf/2208.04517.pdf
De techniek maakt gebruik van innovaties die zijn ontdekt voor de EigenGAN-generator, een ander Chinees project, uit 2021, dat opmerkelijke stappen zette in het identificeren en enige controle krijgen over de diverse semantische attributen binnen de latente ruimte van Generative Adversarial Networks (GANs).

De EigenGAN-generator uit 2021 was in staat om hoge-niveau-concepten zoals ‘haarkleur’ binnen de latente ruimte van een generatief adversariaal netwerk te individueren. Het nieuwe werk bouwt voort op deze innovatieve instrumentatie om een systeem te leveren dat ‘mooier’ kan maken van bronafbeeldingen, zonder de herkenbare identiteit te veranderen – een probleem in eerdere benaderingen. Bron: https://arxiv.org/pdf/2104.12476.pdf
Het systeem maakt gebruik van een ‘netwerk voor esthetische scores’ dat is afgeleid van SCUT-FBP5500 (SCUT), een 2018-benchmarkdataset voor gezichtsschoonheidspredictie, van de South China University of Technology in Guangzhou.

Uit het 2018-artikel ‘SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction’, dat een ‘Facial beauty prediction’ (FBP) netwerk aanbood dat in staat was om gezichten te rangschikken in termen van waargenomen aantrekkelijkheid, maar dat niet daadwerkelijk gezichten kon transformeren of ‘upgraden’. Bron: https://arxiv.org/pdf/1801.06345.pdf
Anders dan het nieuwe werk, kan het 2018-project geen transformaties uitvoeren, maar bevat het algoritmische waardeoordelen voor 5.500 gezichten, geleverd door 60 beoordelaars, voor de helft vrouwen en voor de helft mannen. Deze zijn opgenomen in het nieuwe systeem als een effectieve discriminator, om transformaties te informeren die waarschijnlijk de ‘aantrekkelijkheid’ van een afbeelding zullen verhogen.
Interessant is dat het nieuwe artikel de titel Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning heeft. De reden dat alle rassen behalve het Caucasische ras zijn uitgesloten van het systeem (zie ook dat de onderzoekers zelf Chinees zijn) is dat de brondata voor SCUT aanzienlijk naar Aziatische bronnen neigt (4000 gelijk verdeelde Aziatische vrouwen/mannen, 1500 gelijk verdeelde Caucasische vrouwen/mannen), waardoor de ‘gemiddelde persoon’ in die dataset bruinharig en bruinoogig is.
Daarom was het, om kleurvariatie te accommoderen binnen ten minste één ras, noodzakelijk om het Aziatische component uit de oorspronkelijke data te verwijderen, of om aanzienlijke kosten te maken om de data opnieuw samen te stellen om een methode te ontwikkelen die mogelijk niet zou lukken. Bovendien variëren culturele percepties van schoonheid onvermijdelijk, waardoor dergelijke systemen enige geografische configuratie nodig zullen hebben in verband met wat ‘aantrekkelijkheid’ vormt.
Relevante Attributen
Om de primaire bijdragende factoren voor een ‘aantrekkelijke’ foto van een persoon te bepalen, hebben de onderzoekers ook de effecten van verschillende veranderingen in afbeeldingen getest, in termen van hoe goed dergelijke verbeteringen de algoritmische perceptie van ‘schoonheid’ verhogen. Zij vonden dat ten minste één van de facetten meer te maken heeft met goede fotografie dan met goede genen:

Naast belichting, hadden de aspecten die de grootste impact hadden op de schoonheidscore een pony (die, in het geval van mannen, vaak equivalent kan zijn aan het hebben van een volle bos haar), lichaamshouding en oogpositie (waarbij betrokkenheid met de camera een positieve invloed heeft op aantrekkelijkheid).
(Met betrekking tot ‘lipstickkleur’, maakt het nieuwe systeem, dat werkt bij zowel een mannelijk als vrouwelijk uiterlijk, geen onderscheid naar genderexpressie, maar vertrouwt het op het nieuwe discriminatornetwerk als een ‘filter’ in dit opzicht)
Methode
De beloningsfunctie in de bekrachtigingsleren in het nieuwe systeem wordt aangedreven door een eenvoudige regressie over de SCUT-gegevens, die gezichtsschoonheidsvoorspellingen produceert.
Het trainsysteem itereert over de invoerafbeeldingen (onderaan links in het schema hieronder). Aanvankelijk extracteert een vooraf getraind ResNet18-model (getraind op ImageNet) kenmerken uit de vijf identieke (‘y’) afbeeldingen. Vervolgens wordt een mogelijke transformatieactie afgeleid van de verborgen toestand van een volledig verbonden laag (GRUCell, in de afbeelding hieronder), en de transformaties worden toegepast, waardoor vijf gewijzigde afbeeldingen ontstaan die worden gevoerd in het esthetische scoresysteem, waarvan de rangschikking, Darwin-achtig, zal bepalen welke variaties zullen worden ontwikkeld en welke zullen worden verworpen.
Het esthetische scoresysteem gebruikt een Efficient Channel Attention (ECA)-module, terwijl een aanpassing van een pregetrainde instantie van EfficientNet-B4 is belast met het extraheren van 1.792 kenmerken uit elke afbeelding.
Na normalisatie door een ReLU-activatiefunctie wordt een 4-dimensionale vector verkregen vanuit de ECA-module, die vervolgens wordt geplat tot een één-dimensionale vector na activatie en adaptieve gemiddelde pooling. Ten slotte worden de resultaten gevoerd in het regressienetwerk, dat een esthetische score ophaalt.

Een kwalitatieve vergelijking van de output van het systeem. In de onderste rij zien we de geaggregeerde som van alle geïndividualiseerde facetten die zijn geïdentificeerd door de EigenGAN-methode en vervolgens verbeterd. De gemiddelde FID-scores voor de afbeeldingen zijn links van de afbeeldingsrijen (hoger is beter).
Tests en Gebruikersonderzoek
Vijf varianten van de voorgestelde methode werden algoritmisch geëvalueerd (zie afbeelding hierboven), met Fréchet-inceptie-afstand (FID, omstreden in sommige kringen) scores toegewezen aan in totaal 1000 afbeeldingen die door het systeem zijn verwerkt.
De onderzoekers merken op dat het verbeteren van de belichting een betere aantrekkelijkheidscore opleverde voor de personen op de foto’s dan enkele andere meer ‘voor de hand liggende’ mogelijke veranderingen (d.w.z. aan het daadwerkelijke uiterlijk van de afgebeelde persoon).
Tot op zekere hoogte is het testen van het systeem op deze manier beperkt door de eigenaardigheden van de SCUT-gegevens, die niet veel ‘stralende glimlachen’ bevatten, en de auteurs betogen dat dit excessief de meer typische ‘enigmatische’ blik in de gegevens kan overwaarderen in vergelijking met de waarschijnlijke voorkeuren van potentiële eindgebruikers (vermoedelijk, in dit geval, een westerse markt).
Aangezien het hele systeem afhangt van de gemiddelde meningen van slechts 60 mensen (in het EigenGAN-artikel), en aangezien de kwaliteit die wordt bestudeerd ver van empirisch is, kan worden betoogd dat de procedure meer solide is dan de dataset.
Hoewel het in het artikel zeer kort wordt behandeld, werden afbeeldingen van EigenGAN en de vijf varianten van het systeem ook getoond in een beperkt gebruikersonderzoek (acht deelnemers), die werden gevraagd om de ‘beste afbeelding’ te selecteren (het woord ‘aantrekkelijk’ werd vermeden).

Boven, de GUI die aan de kleine studiegroep werd gepresenteerd; onder, de resultaten.
De resultaten geven aan dat de output van het nieuwe systeem de hoogste selectiescore behaalde onder de deelnemers (‘MAES’ in de afbeelding hierboven).
Het (Doelloze?) Streven naar Schoonheid
De bruikbaarheid van een dergelijk systeem is moeilijk vast te stellen, ondanks wat lijkt op een opvallende locus van inspanning in China naar deze doelen. De nieuwe publicatie beschrijft geen concrete toepassing.
Het vorige EigenGAN-artikel suggereert* dat een schoonheidsherkenningssysteem kan worden gebruikt in aanbevelingssystemen voor het synthetiseren van gezichtsmake-up, esthetische chirurgie, gezichtsverfraaiing, of inhoudsgebaseerd zoeken naar afbeeldingen.
Waarschijnlijk kan een dergelijke benadering ook worden gebruikt op datingsites, door eindgebruikers, om hun eigen profielfoto’s te ‘verbeteren’ tot een gegarandeerd geslaagde foto, als alternatief voor het gebruik van verouderde foto’s, of foto’s van andere mensen.
Evenzo kunnen datingsites zelf ook hun klanten beoordelen om ratings en zelfs beperkte toegangsniveaus te creëren, hoewel dit waarschijnlijk alleen zou werken via een opname waarbij wordt gecontroleerd of een levende persoon aanwezig is, in plaats van ingediende foto’s (die eveneens door de klanten kunnen worden ‘verbeterd’ als de benadering populair zou worden).
In reclame kan een algoritmische methode om schoonheid te beoordelen (een technologie die is voorspeld door de overleden sciencefictionschrijver Michael Crichton in zijn 1982-film Looker) worden gebruikt om de niet-verbeterde creatieve output te selecteren die het meest waarschijnlijk een doelpubliek zal aanspreken, terwijl de capaciteit om daadwerkelijk het esthetische effect van gezichtsafbeeldingen te maximaliseren, zonder ze daadwerkelijk te overschrijven in de stijl van deepfakes, de reeds effectieve afbeeldingen die zijn bedoeld om publieke belangstelling te wekken, kan verhogen.
Het nieuwe werk wordt ondersteund door de National Natural Science Foundation of China, het Open Fund Project van de State Key Laboratory of Complex System Management and Control, en het Project of Philosophy and Social Science Research van China’s ministerie van Onderwijs, onder andere ondersteuners.
* Veel van de aanbevelingen van het EigenGAN-artikel wijzen naar een commercieel beschikbaar boek uit 2016 getiteld ‘Computer Models for Facial Beauty Analysis’, in plaats van academische bronnen.
Voor het eerst gepubliceerd op 11 augustus 2022.













