‘Försämrade’ syntetiska ansikten kan hjälpa till att förbättra ansiktsigenkänning

Forskare från Michigan State University har utvecklat en metod för att syntetiska ansikten ska kunna bidra till att förbättra ansiktsigenkänningssystem genom att generera ansikten i stil med riktiga övervakningsvideor, snarare än att förlita sig på de enhetligt högkvalitativa bilderna som används i populära öppen källkodsdatamängder av kändisar, som inte återspeglar alla brister och begränsningar i äkta övervakningssystem, såsom ansiktsoskärpa, låg upplösning och sensorbrus – faktorer som kan påverka igenkänningsprecisionen.

Det nya kontrollerbara ansiktssyntesmodulen (CFSM) som de har utvecklat kan återge ansikten i stilen hos riktiga övervakningsvideor, snarare än att förlita sig på de enhetligt högkvalitativa bilderna som används i populära öppen källkodsdatamängder av kändisar.

Konceptuell arkitektur för Controllable Face Synthesis Module (CFSM). Källa: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

CFSM är inte avsett att autentiskt simulera huvudpositioner, uttryck eller alla andra vanliga egenskaper som är målet för deepfakesystem, utan snarare att generera en mängd olika vyer i stilen hos det måligenkänningssystemet, med hjälp av stilöverföring.

Systemet är utformat för att imitera stilområdet för målsystemet och anpassa sin utdata enligt upplösning och omfång av ‘excentriciteter’ där. Användningsfallet inkluderar äldre system som inte sannolikt kommer att uppgraderas på grund av kostnad, men som kan bidra lite till den nya generationen av ansiktsigenkänningsteknologier, på grund av dålig kvalitet på utdata som en gång kan ha varit ledande.

Vid testning av systemet fann forskarna att det gjorde betydande vinster på den nuvarande tillståndet i ansiktsigenkänningssystem som måste hantera den här typen av brusiga och lågkvalitativa data.

Träning av ansiktsigenkänningsmodellerna för att anpassa sig till begränsningarna i målsystemen. Källa: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

De fann också en användbar biprodukt av processen – att måldatamängderna nu kunde karakteriseras och jämföras med varandra, vilket gör det lättare att jämföra, benchmarka och generera skräddarsydda datamängder för varierande övervakningssystem i framtiden.

Ytterligare kan metoden tillämpas på befintliga datamängder, vilket utför de facto domänanpassning och gör dem mer lämpliga för ansiktsigenkänningssystem.

Den nya artikeln heter Kontrollerbar och vägledande ansiktssyntes för obegränsad ansiktsigenkänning, och stöds delvis av den amerikanska regeringens kontor för nationell underrättelsetjänst (ODNI, på IARPA), och kommer från fyra forskare vid datavetenskaps- och ingenjörsavdelningen vid MSU.

Utvalt innehåll

Lågkvalitativ ansiktsigenkänning (LQFR) har blivit ett väsentligt studieområde under de senaste åren. Eftersom civila och kommunala myndigheter byggde övervakningssystem för att vara beständiga och långvariga (inte villiga att omfördela resurser till problemet periodvis), har många ‘äldre’ övervakningsnätverk blivit offer för teknisk skuld, i termer av deras anpassningsförmåga som datakällor för maskinlärning.

Varierande nivåer av ansiktsupplösning över ett urval av historiska och mer nyliga övervakningsystem. Källa: https://arxiv.org/pdf/1805.11519.pdf

Lyckligtvis är detta en uppgift som diffusionsmodeller och andra brusbaserade modeller är ovanligt väl anpassade att lösa. Många av de mest populära och effektiva bildsyntesmodellerna under de senaste åren utför uppskalering av lågupplösta bilder som en del av deras pipeline, medan detta också är absolut nödvändigt för neurala komprimeringstekniker (metoder för att spara bilder och filmer som neurala data istället för bitmapdata).

En del av utmaningen med ansiktsigenkänning är att erhålla den maximala möjliga precisionen från det minsta antalet egenskaper som kan extraheras från de minsta och minst lovande lågupplösta bilderna. Denna begränsning finns inte bara för att det är användbart att kunna identifiera (eller skapa) ett ansikte i låg upplösning, utan också på grund av tekniska begränsningar på storleken av bilder som kan passera genom den framväxande latenta utrymmet för en modell som tränas i den tillgängliga VRAM:en på en lokal GPU.

I denna mening är termen ‘egenskaper’ förvirrande, eftersom sådana egenskaper också kan erhållas från en datamängd av parkbänkar. I datorsektorn för syn refererar ‘egenskaper’ till särskiljande egenskaper som erhålls från bilder – alla bilder, oavsett om det är linjementerna på en kyrka, ett berg eller dispositionen av ansiktsegenskaper i en ansiktsdatamängd.

Eftersom datorsektorn för syn nu är skicklig på att uppskala bilder och videofilmer, har olika metoder föreslagits för att ‘förbättra’ lågupplösta eller på annat sätt försämrade äldre övervakningsmaterial, så att det kan vara möjligt att använda sådana förbättringar för rättsliga ändamål, såsom att placera en viss person på en plats i samband med en brottsutredning.

Förutom möjligheten till felidentifiering, som ibland har samlat rubriker, borde det i teorin inte vara nödvändigt att hyperupplösa eller på annat sätt omvandla lågupplösta videofilmer för att göra en positiv identifiering av en individ, eftersom ett ansiktsigenkänningssystem som fokuserar på lågnivåegenskaper inte borde behöva den nivån av upplösning och tydlighet. Dessutom är sådana omvandlingar dyra i praktiken och väcker ytterligare, återkommande frågor kring deras potentiella giltighet och laglighet.

Behovet av fler ‘nedgångna’ kändisar

Det vore mer användbart om ett ansiktsigenkänningssystem kunde erhålla egenskaper (dvs. maskinlärningsfunktioner av mänskliga egenskaper) från utdatat av äldre system som de är, genom att förstå bättre relationen mellan ‘högupplöst’ identitet och de försämrade bilderna som finns i oföränderliga (och ofta oumbärliga) befintliga övervakningsramverk.

Problemet här är ett problem med standarder: vanliga webbsamlade datamängder som MS-Celeb-1M och WebFace260M (bland flera andra), har latchats på av forskarsamhället eftersom de tillhandahåller konsekventa benchmarkvärden som forskare kan mäta sin progress mot den nuvarande tillståndet i konsten.

Exempel från Microsofts populära MS-Celeb1m-datamängd. Källa: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Men författarna hävdar att ansiktsigenkänning (FR) algoritmer som tränats på dessa datamängder är olämpliga material för de visuella ‘domänerna’ av utdatat från många äldre övervakningssystem.

Artikeln påstår*:

‘[State-of-the-art] (SoTA) FR-modeller fungerar inte bra på riktiga övervakningsbilder (obegränsade) på grund av domänförändringsproblemet, det vill säga de stora skalförändringarna i träningsdatamängderna (semibegränsade) som erhållits via web-crawled kändisansikten saknar variationer i vilt tillstånd, såsom inneboende sensorbrus, låg upplösning, rörelseoskärpa, turbulenseffekt, etc.

‘Till exempel är 1:1-verifieringsprecisionen som rapporterats av en av SoTA-modellerna på obegränsade IJB-S-datamängden cirka 30% lägre än på semibegränsade LFW.

‘En möjlig lösning på detta prestandagap är att samla in en stor obegränsad ansiktsdatamängd. Men att konstruera en sådan träningsdatamängd med tiotusentals ämnen är förbjudande svårt med hög manuell etiketteringskostnad.’

Artikeln berättar om tidigare metoder som har försökt att ‘matcha’ de varierande typerna av utdata från historiska eller lågkostnadsövervakningssystem, men noterar att dessa har hanterat ‘blinda’ förbättringar. I kontrast tar CFSM emot direkt feedback från den riktiga utdatat av målsystemet under träningsprocessen och anpassar sig via stilöverföring för att imitera det domänet.

Skådespelerskan Natalie Portman, ingen främling för den handfull datamängder som dominerar datorsynsamhället, är en av identiteterna i det här exemplet på CFSM som utför stilmatchad domänanpassning baserat på feedback från domänet för den faktiska målmodellen.

Arkitekturen som utvecklats av författarna använder Fast Gradient Sign Method (FGSM) för att individuera och ‘importera’ de erhållna stilarna och egenskaperna från den riktiga utdatat av målsystemet. Delen av pipelinen som är avsedd för bildgenerering kommer att förbättras och bli mer trogen mot målsystemet med träningsprocessen. Denna feedback från det låga dimensionsutrymmet för målsystemet är lågnivå och motsvarar de bredaste härledda visuella beskrivningarna.

Författarna kommenterar:

‘Med feedback från FR-modellen är de syntetiserade bilderna mer fördelaktiga för FR-prestandan, vilket leder till betydligt förbättrade generaliseringsförmågor för FR-modellerna som tränats med dem.’

Tester

Forskarna använde MSU:s tidigare arbete som en mall för att testa sitt system. Baserat på samma experimentella protokoll använde de MS-Celeb-1m, som består uteslutande av web-trawlad kändisfotografering, som den etiketterade träningsdatamängden. För rättvisa inkluderade de också MS1M-V2, som innehåller 3,9 miljoner bilder med 85 700 klasser.

Måldatat var WiderFace-datamängden från det kinesiska universitetet i Hong Kong. Detta är en särskilt varierad uppsättning bilder som är avsedda för ansiktsdetektering i utmanande situationer. 70 000 bilder från denna uppsättning användes.

För utvärdering testades systemet mot fyra ansiktsigenkänningsbenchmarkvärden: IJB-B, IJB-C, IJB-S och TinyFace.

CFSM tränades med cirka 10% av träningsdatat från MS-Celeb-1m, cirka 0,4 miljoner bilder, under 125 000 iterationer med en batchstorlek på 32 under Adam-optimiseraren med en (mycket låg) inlärningshastighet på 1e-4.

Målansiktsigenkänningsmodellen använde en modifiering av ResNet-50 som ryggrad, med ArcFace-förlustfunktion aktiverad under träningsprocessen. Dessutom tränades en modell med CFSM som en ablations- och jämförande övning (noterad som ‘ArcFace’ i resultattabellen nedan).

Resultat från de primära testerna för CFSM. Högre värden är bättre.

Författarna kommenterar de primära resultaten:

‘ArcFace-modellen överträffar alla baselinevärdena i både ansiktsidentifiering och verifiering, och uppnår en ny SoTA-prestanda.’

Förmågan att extrahera domäner från de olika egenskaperna hos äldre eller underutrustade övervakningssystem möjliggör också för författarna att jämföra och utvärdera distributionslikheten mellan dessa ramverk, och att presentera varje system i termer av en visuell stil som kan utnyttjas i efterföljande arbete.

Exempel från olika datamängder visar tydliga skillnader i stil.

Författarna noterar dessutom att deras system kunde göra ett meningsfullt användande av vissa teknologier som hittills har setts som problem som måste lösas av forskarsamhället:

‘[CFSM] visar att antagonistisk manipulation kan gå utöver att vara en angripare, och kan öka igenkänningsprecisionen i synuppgifter. Samtidigt definierar vi en datamängdssimilaritetsmått baserat på de lärda stilbaserna, som fångar stilskillnaderna i en etikett- eller prediktoragnostisk väg.’

‘Vi tror att vår forskning har presenterat kraften i en kontrollerbar och vägledande ansiktssyntesmodell för obegränsad ansiktsigenkänning och ger en förståelse för datamängdsskillnader.’

* Min omvandling av författarnas inlinecitat till hyperlänkar.

Publicerad första gången den 1 augusti 2022.