‘Vervallen’ synthetische gezichten kunnen helpen bij het verbeteren van gezichtsherkenning

Onderzoekers van de Michigan State University hebben een manier ontwikkeld om synthetische gezichten te gebruiken om beeldherkenningsystemen nauwkeuriger te maken.

Hun nieuwe controllable face synthesis module (CFSM) kan gezichten regenereren in de stijl van echte videobewakingsbeelden, in plaats van te vertrouwen op de uniform hogere kwaliteit beelden die worden gebruikt in populaire open source datasets van beroemdheden, die niet alle fouten en tekortkomingen van echte CCTV-systemen weerspiegelen, zoals gezichtsvervaging, lage resolutie en sensorruis – factoren die de herkenningsnauwkeurigheid kunnen beïnvloeden.

Conceptuele architectuur voor de Controllable Face Synthesis Module (CFSM). Bron: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

CFSM is niet bedoeld om authentiek hoofdposities, uitdrukkingen of andere gebruikelijke kenmerken van deepfakesystemen te simuleren, maar om een reeks alternatieve weergaven te genereren in de stijl van het doelherkenningsysteem, met behulp van style transfer.

Het systeem is ontworpen om de stijldomein van het doelsysteem te imiteren en zijn uitvoer aan te passen aan de resolutie en het bereik van ‘eccentriciteiten’ daarin. Het gebruiksscenario omvat legacy-systemen die niet waarschijnlijk zullen worden geüpgraded vanwege de kosten, maar die momenteel weinig kunnen bijdragen aan de nieuwe generatie van gezichtsherkenningstechnologieën vanwege de lage kwaliteit van de uitvoer die ooit baanbrekend was.

Bij het testen van het systeem, vonden de onderzoekers dat het aanzienlijke verbeteringen opleverde in beeldherkenningsystemen die te maken hebben met dit soort lawaaierige en lage kwaliteit gegevens.

Trainen van de gezichtsherkenningmodellen om zich aan te passen aan de beperkingen van de doelsystemen. Bron: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Zij vonden ook een nuttig bijproduct van het proces – dat de doeldatasets nu gekarakteriseerd en met elkaar vergeleken konden worden, waardoor het vergelijken, benchmarken en genereren van maatwerkdatasets voor verschillende CCTV-systemen in de toekomst gemakkelijker zou worden.

Verder kan de methode worden toegepast op bestaande datasets, waardoor de facto domain adaptation wordt uitgevoerd en ze meer geschikt maakt voor gezichtsherkenningssystemen.

Het nieuwe artikel heeft als titel Controllable and Guided Face Synthesis for Unconstrained Face Recognition, wordt deels ondersteund door het Amerikaanse kantoor van de directeur van de nationale inlichtingendienst (ODNI, bij IARPA) en komt van vier onderzoekers van de afdeling Computer Science & Engineering van MSU.

Uitgelichte inhoud

Lage kwaliteit gezichtsherkenning (LQFR) is de afgelopen jaren een opvallend onderzoeksgebied geworden. Omdat civiele en gemeentelijke autoriteiten videosurveillance-systemen hebben gebouwd om robuust en langdurig te zijn (zonder middelen te willen heralloceren voor het probleem), zijn veel ‘legacy’ surveillance-netwerken slachtoffer geworden van technische schulden, in termen van hun aanpasbaarheid als gegevensbronnen voor machine learning.

Verschillende niveaus van gezichtsresolutie over een reeks historische en recentere videosurveillance-systemen. Bron: https://arxiv.org/pdf/1805.11519.pdf

Gelukkig is dit een taak die diffusiemodellen en andere ruisgebaseerde modellen ongewoon goed aankunnen. Veel van de meest populaire en effectieve beeldsynthesesystemen van de afgelopen jaren voeren upscaling van lage resolutiebeelden uit als onderdeel van hun pipeline, terwijl dit ook absoluut essentieel is voor neurale compressietechnieken (methoden om beelden en films op te slaan als neurale gegevens in plaats van bitmapgegevens).

Deel van de uitdaging van gezichtsherkenning is om de maximale mogelijke nauwkeurigheid te verkrijgen uit het minimum aantal kenmerken dat kan worden geëxtraheerd uit de kleinste en minst veelbelovende lage resolutiebeelden. Deze beperking bestaat niet alleen omdat het nuttig is om een gezicht te kunnen identificeren (of te creëren) bij lage resolutie, maar ook vanwege technische beperkingen op de grootte van beelden die door de opkomende latent ruimte van een model kunnen gaan dat op een lokale GPU wordt getraind.

In deze zin is de term ‘kenmerken’ verwarrend, omdat dergelijke kenmerken ook kunnen worden verkregen uit een dataset van parkbanken. In de computer vision sector verwijst ‘kenmerken’ naar de onderscheidende kenmerken die worden verkregen uit beelden – alle beelden, of het nu de lijnen van een kerk, een berg of de disposities van gezichts kenmerken in een gezichtsdataset.

Daar computer vision algoritmes nu goed zijn in het omhoog schalen van beelden en video’s, zijn verschillende methoden voorgesteld om lage resolutie of anderszins gedegradeerde legacy-surveillance materiaal te ‘verbeteren’, tot het punt dat het mogelijk zou kunnen zijn om dergelijke verbeteringen voor juridische doeleinden te gebruiken, zoals het plaatsen van een bepaald persoon op een locatie in verband met een onderzoek naar een misdaad.

Behalve de mogelijkheid van misidentificatie, die soms koppen heeft gehaald, zou het in theorie niet nodig moeten zijn om lage resolutiebeelden op te schalen of om te vormen om een positieve identificatie van een individu te maken, aangezien een gezichtsherkenningssysteem dat is afgestemd op lage niveau kenmerken, niet die niveau van resolutie en helderheid nodig zou moeten hebben. Bovendien zijn dergelijke transformaties duur in de praktijk en roepen ze aanvullende, recurrent vragen op over hun potentiële geldigheid en legaliteit.

De noodzaak voor meer ‘down-at-heel’ beroemdheden

Het zou nuttiger zijn als een gezichtsherkenningssysteem kenmerken (d.w.z. machine learning kenmerken van mensen kenmerken) kon afleiden uit de uitvoer van legacy-systemen zoals ze zijn, door beter te begrijpen de relatie tussen ‘hoge resolutie’ identiteit en de gedegradeerde beelden die beschikbaar zijn in onverzettelijke (en vaak onvervangbare) bestaande videosurveillancekaders.

Het probleem hier is een van standaarden: gemeenschappelijke web-gegroepeerde datasets zoals MS-Celeb-1M en WebFace260M (onder andere), zijn aangegrepen door de onderzoekscommunity omdat ze consistente benchmarks bieden waartegen onderzoekers hun incrementele of significante vooruitgang kunnen meten tegen de huidige stand van zaken.

Voorbeelden uit Microsofts populaire MS-Celeb1m-dataset. Bron: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Echter, de auteurs betogen dat gezichtsherkenning (FR) algoritmes getraind op deze datasets ongeschikt materiaal zijn voor de visuele ‘domeinen’ van de uitvoer van veel oudere surveillance-systemen.

Het artikel stelt*:

‘[State-of-the-art] (SoTA) FR-modellen werken niet goed op echte surveillancebeelden (onbeperkt) vanwege het domeinverschil, dat wil zeggen, de grote schaal trainingsdatasets (semi-beperkt) verkregen via web-gecrawled beroemdheden ontbreken in-the-wild variaties, zoals inherente sensorruis, lage resolutie, bewegingsonscherpte, turbulentie-effect, enz.

‘Bijvoorbeeld, 1:1 verificatie nauwkeurigheid gerapporteerd door een van de SoTA-modellen op onbeperkte IJB-S dataset is ongeveer 30% lager dan op semi-beperkte LFW.

‘Een potentieel middel tegen zo’n prestatieverschil is om een grote onbeperkte gezichtsdataset samen te stellen. Echter, het creëren van zo’n trainingsdataset met tienduizenden onderwerpen is prohibitief moeilijk met hoge handmatige labelkosten.’

Het artikel beschrijft verschillende eerdere methoden die hebben geprobeerd om de uiteenlopende typen uitvoer van historische of lagekwaliteit surveillance-systemen te ‘matchen’, maar merkt op dat deze ‘blinde’ augmentaties hebben behandeld. In tegenstelling tot CFSM, ontvangt CFSM directe feedback van de uitvoer van het doelsysteem tijdens de training en past zich aan via style transfer om die domein te imiteren.

Actrice Natalie Portman, geen onbekende in de handvol datasets die de computer vision community domineren, komt voor in dit voorbeeld van CFSM dat style-gematchte domeinadaptatie uitvoert op basis van feedback van de domein van het daadwerkelijke doelmodel.

Het door de auteurs ontworpen systeem maakt gebruik van Fast Gradient Sign Method (FGSM) om de verkregen stijlen en kenmerken van de uitvoer van het doelsysteem te individueren en ‘in te voeren’. Het deel van de pipeline dat is gewijd aan beeldgeneratie zal vervolgens verbeteren en meer trouw worden aan het doelsysteem met training. Deze feedback van de lage dimensionale stijlruimte van het doelsysteem is laag-niveau van aard en komt overeen met de meest afgeleide visuele descriptors.

De auteurs merken op:

‘Met de feedback van het FR-model, zijn de gesynthesiseerde beelden meer gunstig voor de FR-prestaties, wat leidt tot aanzienlijk verbeterde generalisatiecapaciteiten van de FR-modellen die ermee zijn getraind.’

Tests

De onderzoekers gebruikten MSU’s eigen eerder werk als een sjabloon voor het testen van hun systeem. Op basis van dezelfde experimentele protocollen, gebruikten zij MS-Celeb-1m, dat uitsluitend bestaat uit web-gecrawled beroemdhedenfoto’s, als de gelabelde trainingsdataset. Voor eerlijkheid, voegden zij ook MS1M-V2 toe, dat 3,9 miljoen beelden bevat met 85.700 klassen.

De doelgegevens waren de WiderFace dataset, van de Chinese University of Hong Kong. Dit is een bijzonder diverse set van beelden ontworpen voor gezichtsdetectietaken in moeilijke situaties. 70.000 beelden uit deze set werden gebruikt.

Voor evaluatie, werd het systeem getest tegen vier gezichtsherkenningbenchmarks: IJB-B, IJB-C, IJB-S, en TinyFace.

CFSM werd getraind met ∼10% van de trainingsgegevens van MS-Celeb-1m, ongeveer 0,4 miljoen beelden, voor 125.000 iteraties bij een batchgrootte van 32 onder de Adam-optimizer bij een (zeer lage) leersnelheid van 1e-4.

Het doelgezichtsherkenningmodel gebruikte een modificatie van ResNet-50 voor de backbone, met ArcFace-verliesfunctie ingeschakeld tijdens de training. Bovendien werd een model getraind met CFSM als een ablatie en vergelijkend onderzoek (aangeduid als ‘ArcFace’ in de resultaatentabel hieronder).

Resultaten van de primaire tests voor CFSM. Hogere nummers zijn beter.

De auteurs merken op over de primaire resultaten:

‘ArcFace-model overtreft alle basismodellen in zowel gezichtsidentificatie als verificatietaken en bereikt een nieuwe SoTA-prestatie.’

De mogelijkheid om domeinen te extraheren uit de verschillende kenmerken van legacy- of ondergespecificeerde surveillance-systemen, stelt de auteurs ook in staat om de distributieovereenkomst tussen deze kaders te evalueren en te presenteren in termen van een visuele stijl die in toekomstig werk kan worden gebruikt.

Voorbeelden uit verschillende datasets vertonen duidelijke stijlverschillen.

De auteurs merken verder op dat hun systeem nuttig gebruik kan maken van enkele technologieën die tot nu toe alleen zijn gezien als problemen die moeten worden opgelost door de onderzoeks- en visiecommunity:

‘[CFSM] toont aan dat adversarial manipulatie verder kan gaan dan alleen een aanvaller te zijn en kan dienen om herkenningsnauwkeurigheid te verhogen in visietaken. Ondertussen definiëren we een datasetovereenkomstmetriek op basis van de geleerde stijlbasis, die de stijlverschillen in een label- of predictoragnostische manier vastlegt.’

‘We geloven dat ons onderzoek de kracht van een controleerbare en geleide gezichtssynthesemodellen voor onbeperkte FR heeft aangetoond en een begrip van datasetverschillen biedt.’

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Origineel gepubliceerd op 1 augustus 2022.