Andersons vinkel
Studie: JPEG-komprimering øker feilraten ved ansiktsgjenkjenning av ikke-kaukasiske ansikter

Viktige punkterJPEG-komprimering øker falske matchrater for mørkere hudtoner med opptil 34,55 %.
Vis mer
- JPEG-komprimering øker falske matchrater for mørkere hudtoner med opptil 34,55 %.
- Fjerning av kromasubprøvetaking reduserer den negative effekten på ansiktsgjenkjenningsskjevhet med 15,95 %.
- Trening på ukomprimerte data fikser ikke skjevhet hvis inferensbilder forblir komprimerte.
En ny studie fra Storbritannia har konkludert med at komprimeringsteknikker med tap i JPEG-bilder kan ha en negativ innvirkning på effektiviteten av ansiktsgjenkjenningssystemer, og gjøre slike systemer mer sannsynlige til å feilidentifisere en ikke-kaucasisk person.
Studien sier:
‘Via en omfattende eksperimentell oppsett, demonstrerer vi at vanlige bildekomprimeringsmetoder med tap har en mer markert negativ innvirkning på ansiktsgjenkjenningens ytelse for bestemte ras-relaterte ansiktsfenotyper, slik som mørkere hudtoner (opptil 34,55%).’
Resultatene indikerer også at chroma-subsampling, som reduserer fargeinformasjonen (i stedet for lysinformasjonen) over deler av et ansiktsbilde, øker feilmatchingsraten (FMR) over en rekke testede datasett, mange av disse er standard-repositorier for datavisjon.

Chroma-subsampling-operasjoner på et kildebilde, med varierende hastigheter, har en tydelig effekt på hvor mye detalj som bevares, og hvor mye subtoner bare ‘blander’ seg inn i hverandre, med tap av detaljer og særtrekk. Vær oppmerksom på at dette bildet i seg selv kan være underlagt komprimering, og se kildestudien for nøyaktig oppløsning. Kilde: https://arxiv.org/pdf/2208.07613.pdf
Chroma-subsampling brukes som en tilleggsøkonomisk måte i JPEG-komprimering fordi mennesker er mindre i stand til å merke reduksjoner i kompleksiteten og rekkevidden av farge-bånd enn datavisjonssystemer, som tar disse ‘aggregatene’ langt mer bokstavelig enn vi gjør.
Forskerne for den nye studien har funnet ut at å fjerne chroma-subsampling fra komprimeringsprosessen reduserer denne negative effekten med opptil 15,95%, selv om det ikke helt fjerner problemet.
Studien hevder også at trening på ukomprimerte (eller mindre komprimerte) data ikke vil løse problemet hvis inferens-tidsbildene er komprimerte. Dette betyr effektivt at å trene et ansiktsgjenkjenningssystem på mindre komprimerte bilder ikke vil løse fordommen hvis den endelige produksjonsmodellen mates bilder som har de nevnte komprimeringsproblemer.
Forskerne rapporterer*:
‘[Bruken av] bildekomprimering med tap under inferens påvirker negativt ytelsen av samtids ansiktsgjenkjenningstilnærminger på en undergruppe av rase-relaterte ansiktsfenotyper (dvs. mørkere hudtoner, monolid øyeform) og at dens effekt er til stede uavhengig av om komprimerte bilder brukes til modelltrening.’
Studien understreker konsekvensene av bildekomprimering på datavisjonsforskningssektoren, som ble forklart i detalj i en 2021-studie fra University of Maryland og Facebook AI.
Dette er et svært problem å løse; selv om lagrings- og båndbreddsproblemer som gjør komprimering nødvendig ble eliminert over natten, og selv om alle lavkvalitetsbildene som populerer tjue eller flere års datasett i sektoren plutselig ble komprimert på nytt med bedre kvalitet fra høykvalitetskilder, ville det representere en ‘reset’ av kontinuiteten av akademiske benchmark-verktøy over de siste få tiårene. CV-samfunnet har, i virkeligheten, blitt vant til problemet, til den grad at det representerer en betydelig teknisk gjeld.
Rasistisk fordom i ansiktsgjenkjenning (FR) har blitt et het medieemne de siste årene, og har utløst en samlet innsats i forskningssamfunnet for å eliminere det fra berørte systemer. Imidlertid forsterker avhengigheten av den globale forskningsmiljøet på et overordnet begrenset antall ‘gullstandard’-datasett, mange av disse er enten ikke rasebalansert eller dårlig merket i denne henseende, forsterker utfordringen.
Forskerne i den nye studien noterer også en diskordans mellom bildeakvisisjonsstandarder og standardene satt av den generelle målegrunnlaget for ansiktsgjenkjenning, og sier*:
‘[Eksisterende] bildeakvisisjonsstandarder for ansiktsgjenkjenningssystemer som ISO/IEC 19794-5 og ICAO 9303 foreslår både bildebaserte (dvs. belysning, okklusjon) og subjektbaserte (dvs. pose, uttrykk, tilbehør) kvalitetsstandarder for å sikre ansiktsbildekvalitet.
‘Derfor bør ansiktsbilder også lagres ved hjelp av bildekomprimeringsstandarder med tap som JPEG eller JPEG2000; og være identifiserbar for kjønn, øyefarge, hårifarve, uttrykk, egenskaper (dvs. briller), posevinkler (yaw, pitch og roll), og landemerkeposisjoner.
‘Likevel konformerer vanlige ansiktsgjenkjenningssystemer ikke til ISO/IEC 19794-5 og ICAO 9303-standardene. I tillegg er in-the-wild-prøver ofte tatt under varierende kamera- og miljøforhold for å utfordre de foreslåtte løsningene.
‘Likevel er de fleste ansiktsbilder i slike datasett komprimert via JPEG-komprimering med tap.’
Forskerne i den nye studien sier at deres fremtidige innsats vil undersøke effekten av bildekvantisering med tap på ulike ansiktsgjenkjenningssystemer, og tilby mulige metoder for å forbedre rettferdigheten i disse systemene.
Den nye studien heter Har bildekomprimering med tap en effekt på rasistisk fordom i ansiktsgjenkjenning?, og kommer fra tre forskere ved Imperial College London, sammen med en fra InsightFace deep face analysis biblioteket.
Data og metode
For deres eksperimenter brukte forskerne ImageMagick og libjpeg åpne kildebiblioteker for å lage versjoner av kildebildene i ulike komprimeringsnivåer.
For en innledende oversikt over effekten av komprimering, studerte forfatterne effekten av Peak signal-to-noise ratio (PSNR) på fire ulike nivåer av JPEG-komprimering på Racial Faces in-the-Wild (RFW)-datasettet.

PSNR-poeng for Racial Faces-in-the-Wild-datasettet, som viser hvor mye komprimering kan påvirke gjenkjenningsevnen for komprimerte bilder.
Blant andre tester, utførte de forskning på et raseubalansert datasett, og et annet som var rasebalansert. For det rasebalanserte settet, brukte de Additive Angular Margin Loss (ArcFace)-funksjonen med ResNet101v2, på det opprinnelige VGGFace2-benchmark-datasettet, som inneholder 3,3 millioner bilder med 8631 personer med en ubalansert fordeling mellom rasegrupper.
For testing, brukte forskerne RFW-datasettet. Systemet ble trent fire ganger, på fire ulike komprimeringsnivåer, og resulterte i fire ArcFace-modeller.
For det rasebalanserte settet, ble de samme rammeverkene først brukt på det opprinnelige justerte BUPT-Balanced-benchmark-datasettet, som inneholder 28 000 ansikter balansert over fire grupper Afrikaner, Asiater, Indere og Kaukasere, hver rase representert av 7000 bilder. Som med det raseubalanserte datasett, ble fire ArcFace-modeller oppnådd på denne måten.
I tillegg reproduksjonerte forskerne effekten av komprimerte og ukomprimerte trening ved å fjerne chroma-subsampling, for å måle dens effekt på ytelse.
Resultater
Feilmatchingsraten (FMR) over disse genererte datasettene ble så studert. Kriteriene forskerne lette etter, var forhåndsdefinerte fenotyper relatert til raseegenskaper Hudtype (1, 2, 3, 4, 5 eller 6), Øyelokktype (Monolid/annet), Neseform (Bred/smalt), Leppetype (Fyllig/liten), Hårtype (Rett/bølgende/krøllet/skallig), og Hårfarge – målinger hentet fra 2019-studien Måling av skjult fordom i ansiktsgjenkjenning via rasefenotyper.
Studien sier:
‘Vi observerer at for alle nedvalgte komprimeringsnivåer q = {5, 10, 15, 95}, øker FMR når ekstra komprimering med tap brukes, og demonstrerer at komprimeringsnivå 5 (høyest komprimeringsgrad) resulterer i den mest betydelige nedgangen i FMR-ytelse, mens komprimeringsnivå 95 (lavest komprimeringsgrad) ikke resulterer i noen merkbare FMR-ytelsesforskjeller.’

Et utvalg fra studiens omfattende resultattabeller, som er for store og tallrike til å gjengi her – se kildestudien for bedre oppløsning og fullstendige resultater. Her ser vi variasjonen i FMR-ytelse over økende degraderte/komprimerte ansiktsbilder for VGGFace2, i et område som inkluderer ukomprimert eller lite komprimert kvalitet.
Studien konkluderer:
‘Samlet sett finner vår evaluering at bruk av ansiktsbilder komprimert med tap ved inferenstidpunktet reduserer ytelsen mer betydelig for bestemte fenotyper, inkludert mørk hudtone, bred nese, krøllet hår og monolid øye over alle andre fenotypiske trekk.
‘Likevel gjør bruk av komprimerte bilder under trening modellene mer motstandsdyktige og begrenser ytelsesnedgangen: lavere ytelse blant bestemte rase-relaterte undergrupper forblir. I tillegg forbedrer fjerning av chroma-subsampling FMR for bestemte fenotyper som er mer berørt av komprimering med tap.’
* Min konvertering av forfatternes inline-citater til lenker.
Først publisert 22. august 2022.












