Andersonin kulma
Tutkimus: JPEG-pakkaus lisää kasvojentunnistuksen virheitä ei-kaukasialaisilla kasvoilla

Keskeiset kohdatJPEG-pakkaus lisää väärien osumien määrää tummemmilla ihonsävyillä jopa 34,55…
Näytä lisää
- JPEG-pakkaus lisää väärien osumien määrää tummemmilla ihonsävyillä jopa 34,55 prosenttia.
- Kroma-alasnäytteistyksen poistaminen vähentää kasvojentunnistuksen harhaan kohdistuvaa negatiivista vaikutusta 15,95 prosenttia.
- Harjoittelu pakkaamattomalla datalla ei korjaa harhaa, jos päättelykuvat pysyvät pakattuina.
Uusi tutkimus Isosta-Britanniasta on johtanut siihen, että JPEG-kuvien häviölliset pakkaustekniikat voivat vaikuttaa haitallisesti kasvojen tunnistusjärjestelmien tehokkuuteen, mikä tekee tällaisista järjestelmistä todennäköisemmin väärin tunnistavan ei-kaukasialaisen henkilön.
Tutkimusraportti toteaa:
‘Laajamittaisen kokeellisen asetelman kautta osoitamme, että yleiset häviölliset kuvapakkausmenetelmät vaikuttavat negatiivisesti kasvojen tunnistusjärjestelmien suorituskykyyn tiettyjen rotuun liittyvien kasvofenotyyppien kohdalla, kuten tummien ihonvärien (jopa 34,55 %) kohdalla.’
Tulokset osoittavat myös, että värin alinäytteistys, joka vähentää väritietoa (eikä kirkkaustietoa) kasvokuvan eri osissa, lisää virheellisten täsmäysten osuutta (FMR) useissa testatut tietokannoissa, joista monet ovat tietokoneen näön standardirepositoriot.

Värin alinäytteistys alkuperäisessä kuvassa, eri nopeuksilla, vaikuttavat selvästi yksityiskohtien säilyttämiseen ja sävyjen yhdistymiseen, uhraamalla yksityiskohtia ja määrittelemällä piirteitä. Huomaa, että tämä kuva itsessään voi olla altis pakkaamiselle, ja viittaa alkuperäiseen tutkimusraporttiin tarkkaa resoluutiota varten. Lähde: https://arxiv.org/pdf/2208.07613.pdf
Värin alinäytteistystä sovelletaan taloudellisena toimenpiteenä JPEG-pakkaamisessa, koska ihmiset eivät pysty havaitsemaan vähennyksiä värialueiden monimuotoisuudessa ja laajuudessa yhtä hyvin kuin tietokoneen näköjärjestelmät, jotka ottavat nämä “kokoomat” paljon kirjaimellisemmin kuin me.
Tutkijat ovat havainneet, että värin alinäytteistyksen poistaminen pakkausprosessista vähentää tätä negatiivista vaikutusta jopa 15,95 %, vaikka se ei poista ongelmaa täysin.
Tutkimus osoittaa myös, että koulutus pakkaamattomilla (tai vähemmän pakatuilla) tiedoilla ei ratkaise ongelmaa, jos päättelyvaiheen kuvat ovat pakattuja. Tämä tarkoittaa, että kasvojen tunnistusmallin koulutus vähemmän pakatuilla kuvilla ei poista harhaa, jos lopullinen tuotantomallille syötetään kuvia, joissa on mainittuja pakkausongelmia.
Tutkimusraportti toteaa:
‘[Häviöllisen] kuvapakkauksen käyttö päättelyvaiheessa heikentää nykyisten kasvojen tunnistusmenetelmien suorituskykyä tietyn rotuun liittyvien kasvofenotyyppien alaryhmälle (ts. tummien ihonvärien, yksiluomisen silmäluomityypin) ja että sen vaikutus on läsnä riippumatta siitä, käytetäänkö pakattuja kuvia mallin koulutukseen vai ei.’
Tutkimus korostaa kuvapakkaamisen vaikutuksia tietokoneen näön tutkimusalaan, jotka olivat selitetty yksityiskohtaisesti vuoden 2021 tutkimuksessa Marylandin yliopistosta ja Facebook AI:sta.
On vaikea ongelma; vaikka tallennus- ja kaistanleveysongelmat, jotka tekevät pakkaamisesta välttämätöntä, poistettaisiin yhdessä yössä, ja vaikka kaikki matalanlaatuiset kuvat, jotka ovat olleet osana tietokantoja useita kymmeniä vuosia, pakattaisiin uudelleen korkealaatuisista lähteistä, se edustaisi “resetin” akateemisten benchmark-työkalujen jatkuvuutta viimeisten useiden vuosikymmenien ajan. CV-yhteisö on käytännössä tottunut ongelmaan, josta se on merkittävä tekninen velka.
Rotuun perustuva harha kasvojen tunnistuksessa (FR) on muodostunut laajasti käsitellyksi media-aiheeksi viime vuosina, mikä on johtanut tutkimusyhteisön yhteiseen pyrkimykseen poistaa se ongelmasta kärsivistä järjestelmistä. Tutkijat ovat kuitenkin huomanneet, että globaalin tutkimusyhteisön riippuvuus liian rajoitettujen “kultainen standardi” -tietokantojen käytöstä, joista monet eivät ole rotuun tasapainottuneita tai huonosti merkittyjä tältä osin, vaikeuttaa haastetta.
Tutkijat toteavat myös:
‘[Olemassa olevat] kuvan hankintastandardeja kasvojen tunnistusjärjestelmille, kuten ISO/IEC 19794-5 ja ICAO 9303, ehdottavat sekä kuvapohjaisia (ts. valaistus, peittäminen) että kohteen perusteisia (ts. asento, ilme, lisävarusteet) laadun standardeja kasvojen kuvan laadun varmistamiseksi.
‘Kasvojen kuvat tulisi myös tallentaa häviöllisen kuvapakkausstandardin mukaisesti, kuten JPEG tai JPEG2000; ja ne tulisi olla tunnistettavissa sukupuolen, silmänvärin, hiusten värin, ilmeen, ominaisuuksien (ts. silmälasit), asentokulman (yaw, pitch, roll) ja kasvojen maamerkkien sijaintien perusteella.
‘Kuitenkin yleiset kasvojen tunnistusbenchmarkit eivät noudata ISO/IEC 19794-5 ja ICAO 9303 -standardeja. Lisäksi luonnollisissa kuvausolosuhteissa kerätyissä näytteissä käytetään usein eri kameran ja ympäristön olosuhteita haastamaan ehdotettuja ratkaisuja.
‘Kuitenkin useimmat kasvokuvat näissä tietokannoissa on pakattu häviöllisellä JPEG-pakkaamisella.’
Tutkijat toteavat, että heidän tulevat ponnistelunsa tarkastelevat häviöllisen kuvien kvantisoinnin vaikutusta moniin kasvojen tunnistuskehyksiin ja tarjoavat mahdollisia keinoja parantaa näiden järjestelmien reiluutta.
Uusi tutkimusraportti on nimeltään Vaikuttaako häviöllinen kuvapakkaus rotuun perustuvaan harhaan kasvojen tunnistuksessa?, ja se on tehty kolmen tutkijan toimesta Imperial College Londonista yhdessä yhden tutkijan kanssa InsightFace- syvän kasvoanalyysin kirjastosta.
Data ja menetelmä
Tutkijat käyttivät ImageMagick ja libjpeg avoimen lähdekoodin kirjastoja luomaan alkuperäisten kuvien eri pakkausasteita.
Alustavassa tarkastelussa tutkijat selvittivät huippusignaali-kohinasuhteen (PSNR) vaikutuksia neljällä JPEG-pakkaustasolla Racial Faces in-the-Wild (RFW) -aineistossa.

PSNR-arvot Racial Faces-in-the-Wild -tietokannassa, osoittaen, miten pakkaaminen voi vaikuttaa tunnistuskykyyn pakattuihin kuviihin.
Muiden testien joukossa he suorittivat tutkimuksen rotuun epätasapainottuneella tietokannalla ja toisella, joka oli rotuun tasapainottunut. Rotuun tasapainotetussa tietokannassa he käyttivät Additive Angular Margin Loss (ArcFace) -funktiota yhdessä ResNet101v2:n kanssa alkuperäisellä VGGFace2 -benchmark-tietokannalla, joka sisältää 3,3 miljoonaa kuvaa 8631 henkilöstä, joiden jakauma on rodullisesti epätasapainoinen.
Tutkijat käyttivät RFW-tietokantaa testaamiseen. Järjestelmä koulutettiin neljä kertaa neljällä eri pakkausasteella, mikä johti neljään ArcFace-malliin.
Rotuun tasapainotetussa tietokannassa tutkijat käyttivät samaa kehystä alkuperäisellä BUPT-Balanced -benchmark-tietokannalla, joka sisältää 28 000 kasvoa, jotka on tasapainottu neljässä ryhmässä: Afrikan, Aasian, Intian ja Kaukasian, kustakin ryhmästä 7000 kuvaa. Kuten rotuun epätasapainottuneessa tietokannassa, neljä ArcFace-mallia saatiin tällä tavoin.
Lisäksi tutkijat toistivat pakattujen ja pakkaamattomien koulutusvaikutuksia poistamalla värin alinäytteistyksen, jotta voitiin mitata sen vaikutus suorituskykyyn.
Tulokset
Virheellisten täsmäysten osuus (FMR) näissä generoiduissa tietokannoissa tutkittiin. Tutkijat etsivät ennalta määriteltyjä fenotyyppejä rotuun liittyvien ominaisuuksien suhteen, kuten Ihon tyyppi (1, 2, 3, 4, 5 tai 6), Silmäluomen tyyppi (Monolid/Muu), Nenän muoto (Leveä/Kapea), Huulten muoto (Täysi/Pieni), Hiusten tyyppi (Suora/Aaltoileva/Kihara/Kalju) ja Hiusten väri – mittaukset, jotka perustuvat vuoden 2019 tutkimukseen Kasvojen tunnistuksessa oleva piilevä harha rotuun perustuvien fenotyyppien kautta.
Tutkimusraportti toteaa:
‘Havaitsemme, että kaikilla valituilla pakkausasteilla q = {5, 10, 15, 95}, FMR kasvaa, kun häviöllistä pakkaamista sovelletaan, osoittaen, että pakkausaste 5 (korkein pakkausaste) johtaa merkittävimpään laskuun FMR-suorituskyvyssä, kun taas pakkausaste 95 (alhaisin pakkausaste) ei aiheuta havaittavissa olevaa FMR-suorituskyvyn eroa.’

Tutkimuksen laajan tuloksien näyte, jota ei voida tässä toistaa – katso alkuperäinen tutkimusraportti paremman resoluution ja kattavampien tuloksien vuoksi. Tässä nähdään FMR-suorituskyvyn kirjo kasvavan pakkaamisen määrän mukaan VGGFace2:ssa, mukaan lukien pakkaamattomat tai vähän pakatut laadut.
Tutkimusraportti päättelee:
‘Kokonaisuudessaan arviomme osoittaa, että häviöllisesti pakatut kasvokuvat päättelyvaiheessa heikentävät suorituskykyä merkittävästi tiettyjen fenotyyppien kohdalla, mukaan lukien tumma iho, leveä nenä, kiharat hiukset ja yksiluominen silmäluomityyppi kaikkien muiden fenotyyppien yhteydessä.
‘Kuitenkin häviöllisen kuvapakkaamisen käyttö koulutuksessa tekee tuloksena olevista malleista kestävämmät ja rajoittaa suorituskyvyn heikentymistä: alempi suorituskyky tiettyjen rotuun liittyvien alaryhmien kohdalla pysyy. Lisäksi värin alinäytteistyksen poistaminen parantaa FMR:ää tiettyjen fenotyyppien kohdalla, jotka ovat enemmän vaikutuksen alaisia häviöllisestä pakkaamisesta.’
* Minun muunnokseni alkuperäisistä viittauksista hyperlinkkeihin.
Julkaistu ensimmäisen kerran 22. elokuuta 2022.












