JPEG-komprimering øker feilraten for ansiktsgjenkjenning for ikke-kaucasiske ansikter, studie finner

En ny studie fra Storbritannia har konkludert med at tapende komprimeringsteknikker i JPEG-bilder kan ha en negativ innvirkning på effektiviteten av ansiktsgjenkjenningssystemer, og gjøre slike systemer mer sannsynlige til å feilidentifisere en ikke-kaucasisk person.

Studien sier:

‘Via en omfattende eksperimentell oppsett, demonstrerer vi at vanlige tapende bildekomprimeringsmetoder har en mer markert negativ innvirkning på ansiktsgjenkjenningens ytelse for bestemte ras-relaterte ansiktsfenotyper, slik som mørkere hudtoner (opptil 34,55%).’

Resultatene indikerer også at chroma-subsampling, som reduserer fargeinformasjonen (i stedet for lysinformasjonen) over deler av et ansiktsbilde, øker feilmatchingsraten (FMR) over en rekke testede datasett, mange av disse er standard-repositorier for datavisjon.

Chroma-subsampling-operasjoner på et kildebilde, med varierende hastigheter, har en tydelig effekt på hvor mye detalj som bevares, og hvor mye subtoner bare ‘blander’ seg inn i hverandre, ofrer detalj og bestemmer trekk. Vær oppmerksom på at dette bildet i seg selv kan være underlagt komprimering, og se kildestudien for nøyaktig oppløsning. Kilde: https://arxiv.org/pdf/2208.07613.pdf

Chroma-subsampling brukes som en tilleggsøkonomisk måte i JPEG-komprimering fordi mennesker er mindre i stand til å merke reduksjoner i kompleksiteten og rekkevidden av farge-bånd enn datavisjonssystemer, som tar disse ‘aggregatene’ langt mer bokstavelig enn vi gjør.

Forskerne for den nye studien har funnet ut at å fjerne chroma-subsampling fra komprimeringsprosessen reduserer denne negative effekten med opptil 15,95%, selv om det ikke helt fjerner problemet.

Studien hevder også at trening på ukomprimerte (eller mindre komprimerte) data ikke vil løse problemet hvis inferens-tidsbildene er komprimerte. Dette betyr effektivt at å trene et ansiktsgjenkjenningssystem på mindre komprimerte bilder ikke vil løse fordommen hvis den endelige produksjonsmodellen mates bilder som har de nevnte komprimeringsproblemer.

Forskerne rapporterer*:

‘[Bruken av] tapende bildekomprimering under inferens påvirker negativt ytelsen av samtids ansiktsgjenkjenningstilnærminger på en undergruppe av rase-relaterte ansiktsfenotyper (dvs. mørkere hudtoner, monolid øyeform) og at dens effekt er til stede uavhengig av om komprimerte bilder brukes til modelltrening.’

Studien understreker konsekvensene av bildekomprimering på datavisjonsforskningssektoren, som ble forklart i detalj i en 2021-studie fra University of Maryland og Facebook AI.

Dette er et svært problem å løse; selv om lagrings- og båndbreddsproblemer som gjør komprimering nødvendig ble eliminert over natten, og selv om alle lavkvalitetsbildene som populerer tjue eller flere års datasett i sektoren plutselig ble rekompimerte med en bedre rate fra høykvalitetskilder, ville det representere en ‘reset’ av kontinuiteten av akademiske benchmark-verktøy over de siste få tiårene. CV-samfunnet har, i virkeligheten, blitt vant til problemet, til den grad at det representerer en betydelig teknisk gjeld.

Rasistisk fordom i ansiktsgjenkjenning (FR) har blitt et het medieemne de siste årene, og har utløst en samlet innsats i forskningssamfunnet for å eliminere det fra berørte systemer. Imidlertid forsterker avhengigheten av den globale forskningskroppen på et overordnet begrenset antall ‘gullstandard’-datasett, mange av disse er enten ikke rasebalansert eller dårlig merket i denne henseende, forsterker utfordringen.

Forskerne i den nye studien noterer også en diskordans mellom bildeakvisisjonsstandarder og standardene satt av den generelle facial recognition-benchmark, og sier*:

‘[Eksisterende] bildeakvisisjonsstandarder for ansiktsgjenkjenningssystemer som ISO/IEC 19794-5 og ICAO 9303 foreslår både bildebaserte (dvs. belysning, okklusjon) og subjektbaserte (dvs. pose, uttrykk, tilbehør) kvalitetsstandarder for å sikre ansiktsbildekvalitet.

‘Derfor bør ansiktsbilder også lagres ved hjelp av tapende bildekomprimeringsstandarder som JPEG eller JPEG2000; og være identifiserbar for kjønn, øyefarge, hårifarve, uttrykk, egenskaper (dvs. briller), posevinkler (yaw, pitch og roll), og landemerkeposisjoner.

‘Likevel konformerer vanlige ansiktsgjenkjenningssystemer ikke til ISO/IEC 19794-5 og ICAO 9303-standardene. I tillegg er in-the-wild-prøver ofte tatt under varierende kamera- og miljøforhold for å utfordre de foreslåtte løsningene.

‘Likevel er de fleste ansiktsbilder i slike datasett komprimert via tapende JPEG-komprimering.’

Forskerne i den nye studien sier at deres fremtidige innsats vil undersøke effekten av tapende bildekvantisering på ulike ansiktsgjenkjenningssystemer, og tilby mulige metoder for å forbedre rettferdigheten i disse systemene.

Den nye studien heter Har tapende bildekomprimering en effekt på rasistisk fordom i ansiktsgjenkjenning?, og kommer fra tre forskere ved Imperial College London, sammen med en fra InsightFace deep face analysis biblioteket.

Data og metode

For deres eksperimenter brukte forskerne ImageMagick og libjpeg åpne kildebiblioteker for å lage versjoner av kildebildene i ulike komprimeringsnivåer.

For en innledende oversikt over effekten av komprimering, studerte forfatterne effekten av Peak signal-to-noise ratio (PSNR) på fire ulike nivåer av JPEG-komprimering på Racial Faces in-the-Wild (RFW)-datasettet.

PSNR-poeng for Racial Faces-in-the-Wild-datasettet, som viser hvor mye komprimering kan påvirke gjenkjenningsevnen for komprimerte bilder.

Blant andre tester, utførte de forskning på et raseu jevn datasett, og et annet som var rasebalansert. For det rasebalanserte settet, brukte de Additive Angular Margin Loss (ArcFace)-funksjonen med ResNet101v2, på det opprinnelige VGGFace2-benchmark-datasettet, som inneholder 3,3 millioner bilder med 8631 raseubalanserte subjekter.

For testing, brukte forskerne RFW-datasettet. Systemet ble trent fire ganger, på fire ulike komprimeringsnivåer, og resulterte i fire ArcFace-modeller.

For det rasebalanserte settet, ble de samme rammeverkene først brukt på det opprinnelige justerte BUPT-Balanced-benchmark-datasettet, som inneholder 28 000 ansikter balansert over fire grupper Afrikaner, Asiater, Indere og Kaukasere, hver rase representert av 7000 bilder. Som med det raseubalanserte datasett, ble fire ArcFace-modeller oppnådd på denne måten.

I tillegg reproduksjonerte forskerne effekten av komprimerte og ukomprimerte trening ved å fjerne chroma-subsampling, for å måle dens effekt på ytelse.

Resultater

Feilmatchingsraten (FMR) over disse genererte datasettene ble så studert. Kriteriene forskerne lette etter, var forhåndsdefinerte fenotyper relatert til raseegenskaper Hudtype (1, 2, 3, 4, 5 eller 6), Øyetype (Monolid/annet), Nestekvalitet (Bred/smalt), Leppetype (Fyllig/liten), Hårtyp (Rett/bølgende/krøllet/skallig), og Hårfarge – målinger hentet fra 2019-studien Måling av skjult fordom i ansiktsgjenkjenning via rasefenotyper.

Studien sier:

‘Vi observerer at for alle nedvalgte komprimeringsnivåer q = {5, 10, 15, 95}, øker FMR når ekstra tapende komprimering brukes, og demonstrerer at komprimeringsnivå 5 (høyest komprimeringshastighet) resulterer i den mest betydelige nedgangen i FMR-ytelse, mens komprimeringsnivå 95 (lavest komprimeringshastighet) ikke resulterer i noen merkbare FMR-ytelsesforskjeller.’

Et utvalg fra studiens omfattende resultattabeller, som er for store og tallrike til å gjengi her – se kildestudien for bedre oppløsning og fullstendige resultater. Her ser vi variasjonen i FMR-ytelse over økende degraderte/komprimerte ansiktsbilder for VGGFace2, i et område som inkluderer ukomprimert eller lite komprimert kvalitet.

Studien konkluderer:

‘Samlet sett finner vår evaluering at bruk av tapende komprimerte ansiktsbilder ved inferenstidpunktet reduserer ytelsen mer betydelig for bestemte fenotyper, inkludert mørk hudtone, bred nese, krøllet hår og monolid øye over alle andre fenotypiske trekk.

‘Likevel gjør bruk av komprimerte bilder under trening modellene mer motstandsdyktige og begrenser ytelsesnedgangen: lavere ytelse blant bestemte rase-relaterte undergrupper forblir. I tillegg forbedrer fjerning av chroma-subsampling FMR for bestemte fenotyper som er mer berørt av tapende komprimering.’

* Min konvertering av forfatternes inline-citater til lenker.

Først publisert 22. august 2022.