AI:s jakt på skönhet

En ny AI-driven skönhetsevalueringssystem bedömer hur attraktiva ansikten verkar, samtidigt som den tränar snabbare än typiska djupa inlärningsmodeller, vilket potentiellt kan göra storskalig automatiserad skönhetsskattning mer praktisk.

Ansikts skönhet förutsägelse (FBP) är en stor affär, och en ganska stark tråd i forskningslitteraturen. Även om det bryter mot praktiskt taget varje princip bakom bekämpning av bias i AI och maskinlärningspraxis, och även om det på många sätt stöder föremålsliggörande och reduktionism i algoritmiska uppfattningar om kvinnor, så lockar det ändå intresset från flera multibilliondollarindustrier, de flesta riktade direkt mot kvinnor, som kosmetik, kosmetisk ansiktskirurgi, livestreaming och mode, bland andra:

Kvinnor bedömda från 1-5, från artikeln ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’. Källa

Bortom dessa uppenbara kvinnocentrerade affärsenklaver har reklam och flera andra industrier, inklusive underhållning och publicering, betydande insatser i att förstå vad både män och kvinnor finner ‘attraktivt’, nödvändigtvis på en per-kulturell basis.

Faktum är att aggregatperceptioner av skönhet varierar över regioner, vilket innebär att inga definitiva globalt tillämpliga datamängder kan erhållas, och att ny forskning antingen måste vara parokial eller koncentrera sig på ‘hög-nivå’-metoder som kan tillämpas över olika kulturella data.

En gränssnitt för ett ansikts skönhet bedömningsystem för 2015 års SCUT-FBP-projekt. Källa

Ofta är geografisk plats inte den enda begränsningen, eftersom attraktivitetssinriktade datamängder kan ha svårt att ge lika effektivitet över kön, eller kan ha curerats med ett särskilt tillämpningsområde i åtanke – och detta kan begränsa samlingens användning i andra områden.

Till exempel rapporterade jag 2025 om utvecklingen av en relativt stor (100 000+ identiteter) datamängd för att bedöma attraktivitet i liveströmmar, vars närbildsstandarder kan behöva betydande anpassning till bredare projekt, trots den enorma insatsen bakom initiativet.

Ansikts återgivning

Som kan vara uppenbart från länkarna och bilderna ovan, så opererar asiatiska forskningsorgan ofta inte under samma kulturella begränsningar som deras västerländska motparter, som skulle ha svårt att publicera en vetenskaplig illustration som bedömer fem västerländska kvinnor från minst till mest attraktiva, som vi ser i den ovan nämnda studien.

Det kan argumenteras att där asiatiska system av detta slag har visat sig vara effektiva i offentligheten, utan rädsla för lokal kritik, kan västerländska intressen använda eller anpassa sådan forskning till privata, egna implementationer. Uppgiften att ‘bedöma kvinnor’ i detta scenario är återgiven till en plats där den kan utföras utan kritik.

Oavsett om detta är vanligt eller om mindre offentliggjorda västerländska motsvarigheter tenderar att utvecklas bort från öppen källkods-samarbete och från offentlig granskning, så är det rimligt att anta att målet är av globalt intresse, på grund av det stora antalet professionella sektorer som kan eller skulle kunna dra nytta av precisa bedömningar av attraktivitet.

Överlevnad av den starkaste

Det kan tyckas som att massiva webbskrabbbara korpusar som Tik Tok, Instagram och YouTube skulle vara utmärkta bedömare av skönhet, genom att korrelera följare, gillanden och trafik till attraktivitet, eftersom detta är en vanlig och rimlig association (även om det finns vissa undantag).

Likaså kommer befintliga samlingar – som ImageNet och LAION – som innehåller skådespelare och modeller som har ‘stigit till toppen’ – vanligtvis att innehålla attraktiva individer (även om det ofta finns för många datapunkter om för få människor), vilket tillåter bredare kulturella mekanismer att fungera som en proxy för attraktivitet.

Men detta tar inte hänsyn till förändrade smaker i vad människor finner attraktivt över tid (för att inte tala om geografiskt). Därför behövs återigen hög-nivå- och data-agnostiska system, inte individuella och specifika samlingar eller kureringar som kommer att misslyckas med att återspegla förändrade smaker.

Kombinationshud

Den senaste akademiska bidraget för att tackla dessa utmaningar kommer från Kina, där överföringsinlärning och Broad Learning System (BLS) kombineras för att hantera den långvariga avvägningen mellan precision och beräkningskostnad.

Traditionella neuronnät tenderar att uppnå starka resultat endast med tung träning, medan lättare system som BLS tränar snabbt, men har svårt att fånga tillräckligt med detaljer. Det nya arbetet brottas med denna klyfta genom att använda ett förtränat visuellt modell för att extrahera ansiktsdrag, som sedan skickas till ett snabbt BLS-baserat system för bedömning, vilket tillåter funktioner att återanvändas istället för att läras in från scratch, samtidigt som träningen hålls effektiv:

Exempelbilder från LSAFBD-datasamlingen, som visar kvinnliga ansikten grupperade efter mänskligt tilldelade skönhetsscore från 1 till 5. Betygen hämtades från flera annotatorer och användes som övervakade etiketter för träning och utvärdering av ansikts skönhet förutsägelse över variationer i pose, belysning och utseende. Källa

Den första av de två variationerna, E-BLS, kombinerar EfficientNet-baserad överföringsinlärning med BLS, extraherar detaljerade visuella funktioner från ett ansikte och skickar sedan dessa till BLS, vilket medför en slutlig förutsägelse som undviker behovet av att träna ett fullständigt djupt neuronnät från scratch:

Arkitekturschema för E-BLS-modellen.

EfficientNet, förtränad på ImageNet-1k, och till stor del oförändrad, omvandlar varje inmatningsbild till en kompakt uppsättning funktionsvärden som beskriver ansiktet på ett strukturerat sätt, medan BLS tar dessa värden och bearbetar dem genom ett nätverk av enkla, slumpmässigt anslutna noder som omvandlar och kombinerar informationen, innan den producerar den slutliga attraktivitetsscoren.

Eftersom BLS inte förlitar sig på djupa lagerstrukturer, kan E-BLS uppdateras genom att lägga till fler noder istället för att träna om hela systemet. Detta håller träningen snabb och gör det enklare att förbättra modellen när ny data introduceras.

Den andra av de två variationerna, ER-BLS, bygger på E-BLS genom att införa ett ytterligare bearbetningssteg mellan EfficientNet-funktionsextraheraren och BLS, med målet att förbättra hur de extraherade funktionerna förbereds innan de används för förutsägelse:

Arkitektur för ER-BLS-modellen.

Istället för att skicka de råa EfficientNet-funktionerna direkt till BLS, skickar ER-BLS dem först genom ett raffineringslager som standardiserar och omformar data, vilket hjälper till att reducera brus och göra funktionerna mer konsekventa över olika bilder. Detta steg är utformat för att förbättra hur väl systemet generaliserar, särskilt när ansikten varierar i belysning, pose eller andra visuella förhållanden som annars kan introducera instabilitet i förutsägelserna.

De raffinerade funktionerna skickas sedan till samma BLS-struktur som används i E-BLS, där funktionella noder och förbättringsnoder omvandlar och kombinerar informationen för att producera den slutliga attraktivitetsscoren.

Metod

Den ovan nämnda Broad Learning System är ett lättalternativ till djupa neuronnät, som hoppar över att stapla flera lager, och istället sprider inlärningen över ett brett urval av enklare anslutningar, vilket tillåter modeller att träna snabbt – men vanligtvis på bekostnad av att missa finare visuell detalj.

Den första av de två variationerna, E-BLS, kombinerar EfficientNet-baserad överföringsinlärning med BLS, extraherar detaljerade visuella funktioner från ett ansikte och skickar sedan dessa till BLS, vilket medför en slutlig förutsägelse som undviker behovet av att träna ett fullständigt djupt neuronnät från scratch:

Arkitekturschema för E-BLS-modellen.

EfficientNet, förtränad på ImageNet-1k, och till stor del oförändrad, omvandlar varje inmatningsbild till en kompakt uppsättning funktionsvärden som beskriver ansiktet på ett strukturerat sätt, medan BLS tar dessa värden och bearbetar dem genom ett nätverk av enkla, slumpmässigt anslutna noder som omvandlar och kombinerar informationen, innan den producerar den slutliga attraktivitetsscoren.

Eftersom BLS inte förlitar sig på djupa lagerstrukturer, kan E-BLS uppdateras genom att lägga till fler noder istället för att träna om hela systemet. Detta håller träningen snabb och gör det enklare att förbättra modellen när ny data introduceras.

Den andra av de två variationerna, ER-BLS, bygger på E-BLS genom att införa ett ytterligare bearbetningssteg mellan EfficientNet-funktionsextraheraren och BLS, med målet att förbättra hur de extraherade funktionerna förbereds innan de används för förutsägelse:

Arkitektur för ER-BLS-modellen.

Istället för att skicka de råa EfficientNet-funktionerna direkt till BLS, skickar ER-BLS dem först genom ett raffineringslager som standardiserar och omformar data, vilket hjälper till att reducera brus och göra funktionerna mer konsekventa över olika bilder. Detta steg är utformat för att förbättra hur väl systemet generaliserar, särskilt när ansikten varierar i belysning, pose eller andra visuella förhållanden som annars kan introducera instabilitet i förutsägelserna.

De raffinerade funktionerna skickas sedan till samma BLS-struktur som används i E-BLS, där funktionella noder och förbättringsnoder omvandlar och kombinerar informationen för att producera den slutliga attraktivitetsscoren.

Data och tester

För att testa sitt tillvägagångssätt, använde författarna SCUT-FBP5500-datamängden, en ansikts skönhet förutsägelse-samling från South China University, som innehåller 5 500 främre ansiktsbilder i 350x350px, med varierande raser, kön och åldrar:

Exempelbilder från SCUT-FBP5500-datamängden, som visar ansikten bedömda från minst (1) till mest (5) attraktiva.

Varje bild bedömdes med en skönhetsscore av 60 volontärer, på en skala från 1 till 5, som sträckte sig från extremt oattraktiv (1) till extremt attraktiv (5):

Fördelningen av proportioner av bilder efter skönhetsscore.

Den andra datamängden som användes var Large-Scale Asian Female Beauty Dataset (LSAFBD), en datamängd som curerades av författarna själva.

Exempelbilder från LSAFBD-datamängden, som visar ansikten bedömda från minst (1) till mest (5) attraktiva.

Samlingen består av 80 000 obetalda bilder i 144x144px-upplösning, med variationer i pose och bakgrund, samt ålder. Dessa bedömdes av 75 volontärer för samma kriterier som den tidigare datamängden, den här gången på en skala från 0 till 4:

Fördelningen för LSAFBD-datamängden.

Varje datamängd delades upp i tränings- och testsegment i ett förhållande 8/20, och korsvalidering användes för att stabilisera resultaten över körningar. BLS-komponenten konfigurerades genom antalet funktionella fönster, antalet noder per fönster och antalet förbättringsnoder, med Hyperopt använd för att söka efter effektiva kombinationer.

För att etablera en baslinje, tränades ett standard-BLS-modell under identiska inställningar, varefter en serie överföringsinlärningsmodeller introducerades, inklusive ResNet50, Inception-V3, DenseNet121, InceptionResNetV2, EfficientNetB7, MobileNetV2, NASNet och Xception – alla initierade med ImageNet-1k-vikter och tränade med deras sista lager upplåsta.

Träning använde en inlärningshastighet på 0,001 (reducerad när framsteg stannade av), och en batchstorlek på 16, över 50 epoker, med reglering och rektifierad linjär aktivering (ReLU) tillämpad genom hela.

Prestanda utvärderades med Pearsons korrelation och total tränningstid, med resultat genomsnittligt över fem körningar.

Författarna rapporterar träningsuppsättningen som en Intel-i7 3,6 GHz CPU och 64 GB RAM på en ‘skrivbordsdator’:

Prestandajämförelse på SCUT-FBP5500, där E-BLS och ER-BLS uppnår konkurrenskraftig precision mot djupa CNN-modeller, inklusive ResNet50, EfficientNetB7, InceptionV3 och Xception, samtidigt som de kräver avsevärt mindre tränings tid – vilket betonar effektivitetsvinster från att kombinera överföringsinlärning med ett Broad Learning System.

Resultaten visade att E-BLS förbättrade precisionen från 65,85% till 73,13%, medan ER-BLS nådde 74,69%, vilket överträffade alla jämförda modeller. Tränings tid förblev avsevärt lägre än djupa CNN:er, på cirka 1 300 sekunder, jämfört med flera tusen till över 25 000 sekunder.

För testerna på LSAFBD visade resultaten att E-BLS förbättrade precisionen jämfört med vanligt BLS, medan ER-BLS uppnådde den högsta precisionen bland alla jämförda metoder:

Prestanda på LSAFBD, där ER-BLS och E-BLS levererar högre precision än alla bas- och överföringsinlärningsmodeller, samtidigt som de kräver endast en bråkdel av deras tränings tid, vilket indikerar en konsekvent fördel i effektivitet utan att offra prediktiv kvalitet.

Båda variationerna upprätthöll avsevärt lägre tränings tid än djupa CNN-modeller, vilket indikerar en mer effektiv balans mellan prestanda och beräkningskostnad.

Slutsats

Detta är något av en ‘throwback’-publikation, som visas av dess användning av pre-boom-favoriter som CNN:er, och av den lägsta nivån av träningsutrustning jag har stött på i en ny artikel på många år.

Ändå handlar det om ett överraskande resilientt mål i datorseende; ett som berör tungt på mänsklig upplevelse och subjektiv tolkning, och som kräver ett schema som transcenderar den estetiska trenden för stunden, och som kan förse en verkligt resilient pipeline för uppgiften.

Publicerad första gången torsdagen den 19 mars 2026