JPEG-komprimering øger fejlrate for ansigtsgenkendelse hos ikke-kaukasiske ansigter, studie finder

En ny studie fra Storbritannien er fremkommet til, at tabsgivende komprimeringsteknikker i JPEG-billeder kan have en negativ indflydelse på effektiviteten af ansigtsgenkendelsessystemer, hvilket gør det mere sandsynligt, at sådanne systemer vil identificere en ikke-kaukasisk person forkert.

Artiklen siger:

‘Via en omfattende eksperimentel opsætning demonstrerer vi, at almindelige tabsgivende billedkomprimeringsmetoder har en mere udtalt negativ indvirkning på ansigtsgenkendelsespræstation for bestemte racemæssige fenotypkategorier, såsom mørkere hudtoner (op til 34,55%).’

Resultaterne viser også, at chroma-underprøvning, som reducerer farveinformationen (i stedet for lysstyrken) over dele af et ansigtsbillede, øger fejlmatchningsraten (FMR) over en række testdata, mange af hvilke er standard-repositorier for computer-vision.

Chroma-underprøvning på et kildebillede, med varierende satser, har en tydelig effekt på, i hvilken udstrækning detaljer bevares, og i hvilken udstrækning undertoner blot ‘blender’ sammen, ofrer detaljer og bestemmer træk. Bemærk, at dette billede i sig selv kan være underlagt komprimering, og se kildeartiklen for præcis opløsning. Kilde: https://arxiv.org/pdf/2208.07613.pdf

Chroma-underprøvning anvendes som en yderligere økonomisk foranstaltning i JPEG-komprimering, fordi mennesker er mindre i stand til at opfange reduceringer i kompleksiteten og omfanget af farvebånd end computer-vision-systemer, som tager disse ‘aggregater’ langt mere bogstaveligt end vi gør.

Forskerne bag den nye studie har fundet, at fjernelse af chroma-underprøvning fra komprimeringsprocessen formindsker denne negative effekt med op til 15,95%, selvom det ikke helt fjerner problemet.

Studiet påstår også, at træning på ukomprimeret (eller mindre komprimeret) data ikke vil løse problemet, hvis billederne på inferenstidspunktet er komprimeret. Det betyder effektivt, at træning af et ansigtsgenkendelsesmodel på mindre komprimeret billedmateriale ikke vil løse fordommen, hvis den endelige produktionsmodel får billeder, der har de nævnte komprimeringsproblemer.

Forfatterne rapporterer*:

‘[Brugen af] tabsgivende billedkomprimering under inferens påvirker negativt præstationen af samtidsmæssige ansigtsgenkendelsesmetoder på en undergruppe af racemæssige ansigtsfenotyper (dvs. mørkere hudtoner, monolid øjeform) og at dens effekt er til stede uanset, om komprimeret billedmateriale anvendes til modeltræning.’

Artiklen understreger konsekvenserne af billedkomprimering på computer-vision-forskningssektoren, som blev beskrevet i detaljer i en 2021-studie fra University of Maryland og Facebook AI.

Det er et svært problem at løse; selv hvis lagrings- og bandbreddsproblemerne, der gør komprimering nødvendig, blev elimineret over nat, og selv hvis alle de lavkvalitetsbilleder, der befolker 20 eller flere års datasæt i sektoren, pludselig blev genkomprimeret i en bedre rate fra højkvalitetskilder, ville det repræsentere en ‘reset’ af kontinuiteten af akademiske benchmark-værktøjer over de sidste få årtier. CV-fællesskabet har i virkeligheden været vant til problemet, til den grad, at det repræsenterer en betydelig teknisk gæld.

Racemæssig fordom i ansigtsgenkendelse (FR) er blevet et varmt medieemne i de seneste år, hvilket har ført til en koncertet indsats i forskningssamfundet for at eliminere det fra berørte systemer. Imidlertid forværres udfordringen af, at den globale forskningskrop er afhængig af et overordnet begrænset antal ‘guldstandard’-datasæt, mange af hvilke enten ikke er racemæssigt balanceret eller dårligt mærket i denne henseende, hvilket forværres udfordringen.

Forskerne bag den nye artikel bemærker desuden en diskordans mellem billedindsamlingstandarder og standarderne, der er fastsat af den generelle ansigtsgenkendelsesbenchmarks, og siger*:

‘[Eksisterende] billedindsamlingstandarder for ansigtsgenkendelsessystemer, såsom ISO/IEC 19794-5 og ICAO 9303, foreslår både billedbaserede (dvs. belysning, lukning) og subjektbaserede (dvs. pose, udtryk, tilbehør) kvalitetsstandarder for at sikre ansigtsbilledkvalitet. ‘

‘Herefter skal ansigtsbilleder også gemmes ved hjælp af tabsgivende billedkomprimeringsstandarder, såsom JPEG eller JPEG2000; og identificerbare for køn, øjenfarve, hårfarve, udtryk, egenskaber (dvs. briller), posevinkler (yaw, pitch og rulle) og vigtigste positionsbestemmelser. ‘

‘Men almindelige ansigtsgenkendelsesbenchmarks overholder ikke ISO/IEC 19794-5- og ICAO 9303-standarderne. Desuden erhverves billeder i det fri ofte under varierende kamera- og miljøforhold for at udfordre de foreslåede løsninger. ‘

‘Alligevel er de fleste ansigtsbilleder i sådanne datasæt komprimeret via tabsgivende JPEG-komprimering.’

Forfatterne af den nye artikel siger, at deres fremtidige indsats vil undersøge virkningen af tabsgivende billedkvantificering på diverse ansigtsgenkendelsesrammer og tilbyde mulige metoder til at forbedre ligheden i disse systemer.

Den nye artikel har titlen Har tabsgivende billedkomprimering indflydelse på racemæssig fordom i ansigtsgenkendelse? og kommer fra tre forskere ved Imperial College London samt en fra InsightFace deep face analysis bibliotek.

Data og metode

Til deres eksperimenter brugte forskerne ImageMagick og libjpeg åbne kildebiblioteker til at oprette versioner af kildebillederne i forskellige komprimeringsgrader.

Til en initial oversigt over effekterne af komprimering undersøgte forfatterne effekterne af Peak signal-støj-forhold (PSNR) på fire forskellige niveauer af JPEG-komprimering på Racial Faces in-the-Wild (RFW)-datasættet.

PSNR-værdier for Racial Faces-in-the-Wild-datasættet, der viser, i hvilken udstrækning komprimering kan påvirke genkendelsesevnen for komprimerede billeder.

Blandt andre tests udførte de forskning på et racemæssigt ubalanceret datasæt og et, der var racemæssigt balanceret. For det racemæssigt balancerede datasæt brugte de Additive Angular Margin Loss (ArcFace)-funktionen med ResNet101v2 på det originale VGGFace2-benchmark-datasættet, der indeholder 3,3 millioner billeder med 8631 racemæssigt ubalancerede subjekter.

Til testformål brugte forskerne RFW-datasættet. Systemet blev trænet fire gange, ved fire forskellige komprimeringsniveauer, hvilket resulterede i fire ArcFace-modeller.

For det racemæssigt balancerede datasæt blev de samme rammer initialt anvendt på det originale justerede BUPT-Balanced-benchmark-datasættet, der indeholder 28.000 ansigter, der er balanceret på tværs af de fire grupper Afrikaner, Asiat, Indier og Kaukasier, hvor hvert racemæssigt gruppe er repræsenteret af 7000 billeder. Som med det racemæssigt ubalancerede datasæt blev fire ArcFace-modeller opnået på denne måde.

Desuden genskabte forskerne effekterne af komprimeret og ukomprimeret træning ved at fjerne chroma-underprøvning for at måle dets effekt på præstationen.

Resultater

Fejlmatchningsraten (FMR) over disse genererede datasæt blev herefter undersøgt. Kriterierne, som forskerne søgte efter, var foruddefinerede fenotyper relateret til racemæssige karakteristika Hudtype (1, 2, 3, 4, 5 eller 6), Øjenlidthype (Monolid/Andet), Næseshape (Bred/Smal), Læbeshape (Fuld/Lille), Hårtyp (Lige/Bølget/Krøllet/Skaldet) og Hårfarve – målinger, der er hentet fra 2019-artiklen Måling af skjult fordom i ansigtsgenkendelse via racemæssige fenotyper.

Artiklen siger:

‘Vi observerer, at for alle valgte komprimeringsniveauer q = {5, 10, 15, 95} øges FMR, når yderligere tabsgivende komprimering anvendes, og demonstrerer, at komprimeringsniveau 5 (den højeste komprimeringsrate) resulterer i den mest betydelige nedgang i FMR-præstation, mens komprimeringsniveau 95 (den laveste komprimeringsrate) ikke resulterer i nogen bemærkelsesværdig FMR-præstationsforskel.’

Et uddrag fra artiklens omfattende resultattabeller, der er for store og talrige til at gengive her – se kildeartiklen for bedre opløsning og fulde resultater. Her ser vi FMR-præstationsomfanget over stadig mere degraderede/komprimerede ansigtsbilleder for VGGFace2, i et område, der inkluderer ukomprimeret eller lidt komprimeret kvalitet.

Artiklen konkluderer:

‘Samlet set finder vores evaluering, at brugen af tabsgivende komprimeret ansigtsbilledmateriale på inferenstidspunktet reducerer præstationen mere betydeligt på bestemte fenotyper, herunder mørk hudtone, bred næse, krøllet hår og monolid øje på tværs af alle andre fenotypiske træk. ‘

‘Men brugen af komprimeret billedmateriale under træning gør de resulterende modeller mere robuste og begrænser præstationsnedgangen, som stadig opstår: lavere præstation blandt bestemte racemæssigt orienterede undergrupper forbliver. Desuden forbedrer fjernelse af chroma-underprøvning FMR for bestemte fenotypkategorier, der er mere berørt af tabsgivende komprimering.’

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Offentliggjort første gang den 22. august 2022.