JPEG-compressie verhoogt foutpercentage van gezichtsherkenning voor niet-Caucasische gezichten, blijkt uit onderzoek

Een nieuw onderzoek uit het VK heeft geconcludeerd dat verliesgevoelige compressietechnieken in JPEG-afbeeldingen een nadelige invloed kunnen hebben op de effectiviteit van gezichtsherkenningssystemen, waardoor dergelijke systemen meer geneigd zijn om een niet-Caucasische persoon verkeerd te identificeren.

Het artikel vermeldt:

‘Via een uitgebreide experimentele setup demonstreren we dat gebruikelijke verliesgevoelige beeldcompressiemethoden een meer uitgesproken negatieve invloed hebben op de prestaties van gezichtsherkenning voor specifieke raciale fenotypencategorieën, zoals donkere huidtinten (tot 34,55%).’

De resultaten geven ook aan dat chroma-subsampling, dat de kleurinformatie (in plaats van de helderheidsinformatie) over secties van een gezichtsafbeelding vermindert, de False Matching Rate (FMR) over een reeks geteste datasets verhoogt, waarvan veel standaardrepositories voor computerzicht zijn.

Chroma-subsamplingoperaties op een bronafbeelding, met variabele tarieven, hebben een duidelijk effect op de mate waarin details worden behouden en de mate waarin subtonen simpelweg ‘in elkaar overvloeien’, waardoor details en bepalende kenmerken verloren gaan. Houd er rekening mee dat deze afbeelding zelf mogelijk onderhevig is aan compressie en verwijzen naar het bronartikel voor een nauwkeurige resolutie. Bron: https://arxiv.org/pdf/2208.07613.pdf

Chroma-subsampling wordt toegepast als een extra economische maatregel in JPEG-compressie, omdat mensen minder in staat zijn om verminderingen in de complexiteit en het bereik van kleurbands waar te nemen dan computerzichtsystemen, die deze ‘aggregaties’ veel letterlijker nemen dan wij doen.

De onderzoekers van het nieuwe onderzoek hebben ontdekt dat het verwijderen van chroma-subsampling uit het compressieproces dit negatieve effect met maximaal 15,95% vermindert, hoewel het het probleem niet volledig oplost.

Het onderzoek stelt ook dat training op ongecomprimeerde (of minder gecomprimeerde) gegevens het probleem niet zal oplossen als de afbeeldingen die tijdens de inferentie worden gebruikt, gecomprimeerd zijn. Effectief betekent dit dat het trainen van een gezichtsherkenningmodel op minder gecomprimeerde beelden het probleem van vooroordelen niet zal oplossen als het uiteindelijke productiemodel afbeeldingen krijgt die de genoemde compressieproblemen hebben.

De auteurs melden*:

‘[Het] gebruik van verliesgevoelige beeldcompressie tijdens inferentie heeft een nadelige invloed op de prestaties van hedendaagse gezichtsherkenningbenaderingen op een subset van rasgerelateerde gezichtsfenotypengroepering (d.w.z. donkere huidtinten, monolide oogvorm) en dat het effect aanwezig is, ongeacht of gecomprimeerde beelden voor modeltraining worden gebruikt.’

Het artikel benadrukt de gevolgen van beeldcompressie op het computerzichtonderzoek, dat in detail werd uitgelegd in een onderzoek uit 2021 van de Universiteit van Maryland en Facebook AI.

Het is een moeilijk probleem om te verhelpen; zelfs als de opslag- en bandbreedteproblemen die compressie noodzakelijk maken, over nacht en ontij zouden worden opgelost, en zelfs als alle lagekwaliteitsbeelden die twintig jaar of meer aan datasets in de sector bevolken, plotseling opnieuw zouden worden gecomprimeerd tegen een betere tarief vanuit hoge kwaliteit bronnen, zou het een ‘reset’ van de continuïteit van academische benchmarktools over de afgelopen decennia vertegenwoordigen. De CV-gemeenschap is, in feite, gewend geraakt aan het probleem, tot het punt waarop het een aanzienlijke technische schuld vertegenwoordigt.

Raciale vooroordeel in gezichtsherkenning (FR) is een heet media-onderwerp geworden in recente jaren, waardoor een geconcerteerde inspanning in de onderzoekscommunity is ontstaan om het uit getroffen systemen te elimineren. Echter, de afhankelijkheid van het wereldwijde onderzoek op een overmatig beperkt aantal ‘gouden standaard’-datasets, waarvan veel niet raciaal gebalanceerd zijn of slecht gelabeld in dit opzicht, verergert de uitdaging.

De onderzoekers van het nieuwe artikel merken ook op een dissonantie tussen beeldacquisitie- en de door de algemene gezichtsherkenningbenchmarks gestelde normen, waarin wordt gesteld*:

‘[Bestaande] beeldacquisitienormen voor gezichtsherkenningssystemen, zoals ISO/IEC 19794-5 en ICAO 9303, stellen zowel beeldgebaseerde (d.w.z. verlichting, occlusie) als subjectgebaseerde (d.w.z. pose, expressie, accessoires) kwaliteitsnormen voor om de kwaliteit van gezichtsbeelden te garanderen. ‘

‘Dienvolgens moeten gezichtsbeelden ook worden opgeslagen met behulp van verliesgevoelige beeldcompressiestandaarden, zoals JPEG of JPEG2000; en identificeerbaar zijn voor geslacht, oogkleur, haarkleur, expressie, eigenschappen (d.w.z. bril), posehoeken (yaw, pitch en roll) en landmarkposities. ‘

‘Echter, komen de meeste gezichtsherkenningbenchmarks niet overeen met de ISO/IEC 19794-5- en ICAO 9303-normen. Bovendien worden in-the-wild-monsters vaak verkregen onder variabele camerabewerkingsomstandigheden om de voorgestelde oplossingen uit te dagen. ‘

‘Niettemin worden de meeste gezichtsbeeldmonsters binnen dergelijke datasets gecomprimeerd via verliesgevoelige JPEG-compressie.’

De auteurs van het nieuwe artikel verklaren dat hun toekomstige inspanningen de invloed van verliesgevoelige beeldkwantificatie op diverse gezichtsherkenningframeworks zullen onderzoeken en mogelijke methoden zullen aanbieden om de eerlijkheid van deze systemen te verbeteren.

Het nieuwe artikel heet Heeft verliesgevoelige beeldcompressie invloed op raciale vooroordelen binnen gezichtsherkenning? en komt van drie onderzoekers aan Imperial College London, samen met één van de InsightFace diepe gezichtsanalyse bibliotheek.

Gegevens en methode

Voor hun experimenten gebruikten de onderzoekers de ImageMagick– en libjpeg-open-sourcebibliotheken om versies van de bronbeeldgegevens te maken op verschillende niveaus van compressie.

Om een eerste overzicht te krijgen van de effecten van compressie, onderzochten de auteurs de effecten van Peak signaal-ruisverhouding (PSNR) op vier verschillende niveaus van JPEG-compressie op de Racial Faces in-the-Wild (RFW)-dataset.

PSNR-scores voor de Racial Faces-in-the-Wild-dataset, die de mate aantonen waarin compressie de herkenning kan beïnvloeden voor gecomprimeerde beelden.

Onder andere tests voerden ze onderzoek uit op een raciaal onevenwichtige dataset en een die raciaal gebalanceerd was. Voor de raciaal gebalanceerde set gebruikten ze de Additieve Angular Margin Loss (ArcFace)-functie met ResNet101v2, op de oorspronkelijke VGGFace2-benchmarkdataset, die 3,3 miljoen beelden bevat met 8631 raciaal onevenwichtige onderwerpen.

Voor tests gebruikten de onderzoekers de RFW-dataset. Het systeem werd vier keer getraind, bij vier verschillende niveaus van compressie, waardoor vier ArcFace-modellen ontstonden.

Voor de raciaal gebalanceerde set werden dezelfde kaders aanvankelijk op de oorspronkelijke uitgelijnde BUPT-Balanced-benchmarkdataset toegepast, die 28.000 gezichten bevat die zijn gebalanceerd over de vier groepen Afrikaans, Aziatisch, Indisch en Kaukasisch, elk ras vertegenwoordigd door 7000 beelden. Net als bij de raciaal onevenwichtige dataset werden vier ArcFace-modellen op deze manier verkregen.

Bovendien reproduceerden de onderzoekers de effecten van gecomprimeerde en ongecomprimeerde training door chroma-subsampling te verwijderen, om het effect op de prestaties te meten.

Resultaten

De False Matching Rate (FMR) over deze gegenereerde datasets werd vervolgens bestudeerd. De criteria die de onderzoekers zochten, waren vooraf gedefinieerde fenotypen met betrekking tot raciale kenmerken Huidtype (1, 2, 3, 4, 5 of 6), Ooglidtype (Monolid/Anders), Neusvorm (Wijd/Smal), Lippenvorm (Vol/Smal), Haartype (Recht/Golvend/Krullend/Kaalgeworden) en Haarkleur – metrics afgeleid van het artikel Verborgen vooroordelen meten in gezichtsherkenning via raciale fenotypen.

Het artikel vermeldt:

‘We observeren dat voor alle geselecteerde compressieniveaus q = {5, 10, 15, 95}, de FMR toeneemt wanneer aanvullende verliesgevoelige compressie wordt toegepast, waardoor compressieniveau 5 (het hoogste compressietarief) resulteert in de meest significante daling in FMR-prestaties, terwijl compressieniveau 95 (het laagste compressietarief) geen merkbare FMR-prestatieverschillen oplevert.’

Een voorbeeld uit de uitgebreide resultaatgrafieken van het artikel, die te groot en te talrijk zijn om hier te reproduceren – zie het bronartikel voor een betere resolutie en volledige resultaten. Hier zien we de reikwijdte van FMR-prestaties over steeds meer gedegradeerde/gecomprimeerde gezichtsbeelden voor VGGFace2, in een bereik dat ongecomprimeerde of weinig gecomprimeerde kwaliteit omvat.

Het artikel concludeert:

‘Over het algemeen toont onze evaluatie aan dat het gebruik van verliesgevoelig gecomprimeerde gezichtsbeeldmonsters tijdens inferentie de prestaties meer significant vermindert voor specifieke fenotypen, waaronder donkere huidtint, wijde neus, krullend haar en monolide ogen over alle andere fenotypische kenmerken. ‘

‘Echter, het gebruik van gecomprimeerde beelden tijdens training maakt de resulterende modellen meer robuust en beperkt de prestatiedegradatie die optreedt: lage prestaties onder specifieke raciaal georiënteerde subgroepen blijven bestaan. Bovendien verbetert het verwijderen van chroma-subsampling de FMR voor specifieke fenotypencategorieën die meer door verliesgevoelige compressie worden beïnvloed.’

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Publicatie op 22 augustus 2022.