Compresia JPEG crește rata de eroare a recunoașterii faciale pentru fețele non-caucaziene, arată un studiu

Un nou studiu din Regatul Unit a concluzionat că tehnicile de compresie cu pierderi utilizate în imaginile JPEG pot avea o influență nefavorabilă asupra eficacității sistemelor de recunoaștere facială, făcând astfel de sisteme mai predispuse să identifice greșit o persoană non-caucaziană.

Articolul afirmă:

‘Prin intermediul unui setup experimental extins, demonstrăm că abordările comune de compresie a imaginilor cu pierderi au un impact negativ mai pronunțat asupra performanței recunoașterii faciale pentru anumite categorii de fenotipuri rasiale, cum ar fi tenul mai închis la culoare (cu până la 34,55%).’

Rezultatele arată, de asemenea, că subsamplingul cromatic, care reduce informația cromatică (și nu informația de luminozitate) pe secțiuni ale unei imagini cu față, crește rata de nepotrivire falsă (FMR) pe o gamă de seturi de date testate, multe dintre acestea fiind depozite standard pentru viziunea computerizată.

Operațiunile de subsampling cromatic pe o imagine sursă, la rate variate, au un efect evident asupra gradului în care detaliile sunt păstrate și asupra gradului în care subtonurile se ‘amalgamă’ unele cu altele, sacrificând detaliile și determinând caracteristicile. Vă rugăm să observați că această imagine în sine poate fi supusă compresiei și vă rugăm să consultați articolul sursă pentru rezoluția exactă. Sursă: https://arxiv.org/pdf/2208.07613.pdf

Subsamplingul cromatic este aplicat ca o măsură economică suplimentară în compresia JPEG, deoarece oamenii sunt mai puțin capabili să perceapă reducerile complexității și gamei benzilor cromatice decât sistemele de viziune computerizată, care iau aceste ‘agregări’ mult mai literal decât noi.

Cercetătorii noului studiu au constatat că eliminarea subsamplingului cromatic din procesul de compresie reduce acest efect negativ cu până la 15,95%, deși nu elimină complet problema.

Studiul afirmă, de asemenea, că antrenarea pe date necomprimate (sau mai puțin comprimate) nu va rezolva problema dacă imaginile de la momentul inferenței sunt comprimate. În esență, acest lucru înseamnă că antrenarea unui model de recunoaștere facială pe imagini mai puțin comprimate nu va rezolva problema de bias dacă modelul final de producție este alimentat cu imagini care au problemele de compresie menționate.

Autorii raportează*:

‘[Utilizarea] compresiei imaginilor cu pierderi în timpul inferenței afectează negativ performanța abordărilor actuale de recunoaștere a feței pe un subset de grupări de fenotipuri faciale legate de rasă (de exemplu, tenul mai închis la culoare, forma ochiului monolid) și că efectul său este prezent indiferent dacă se utilizează imagini comprimate pentru antrenarea modelului.’

Articolul subliniază consecințele compresiei imaginilor asupra sectorului de cercetare a viziunii computerizate, care au fost detaliate într-un studiu din 2021 de la Universitatea din Maryland și Facebook AI.

Este o problemă dificilă de remediat; chiar dacă problemele de stocare și lățime de bandă care fac necesară compresia ar fi eliminate peste noapte, și chiar dacă toate imaginile de calitate scăzută care populează douăzeci de ani sau mai mult de seturi de date din sector ar fi recomprimate la o rată mai bună din surse de înaltă calitate, ar reprezenta o ‘resetare’ a continuității instrumentelor de benchmarking academic pe parcursul ultimelor decenii. Comunitatea CV a devenit, în esență, obișnuită cu problema, până la punctul în care reprezintă o datorie tehnică notabilă.

Purtarea bias-ului rasial în recunoașterea feței (FR) a devenit un subiect de actualitate în mass-media în ultimii ani, determinând o încercare concertată în comunitatea de cercetare de a elimina acest bias din sistemele afectate. Cu toate acestea, dependența corpului de cercetare globală de un număr excesiv de limitat de seturi de date ‘de aur’, multe dintre acestea fiind fie neechilibrate rasial sau etichetate slab în acest sens, exacerbă provocarea.

Cercetătorii noului articol notează, de asemenea, o disonanță între standardele de achiziție a imaginilor și standardele stabilite de benchmark-urile generale de recunoaștere a feței, afirmând*:

‘[Existente] standarde de achiziție a imaginilor pentru sisteme de recunoaștere a feței, cum ar fi ISO/IEC 19794-5 și ICAO 9303, propun atât standarde de calitate bazate pe imagine (de exemplu, iluminare, occluzie) cât și standarde de calitate bazate pe subiect (de exemplu, poziție, expresie, accesorii) pentru a asigura calitatea imaginii feței. ‘

‘În consecință, imaginile cu fețe ar trebui, de asemenea, stocate utilizând standarde de compresie a imaginilor cu pierderi, cum ar fi JPEG sau JPEG2000; și identificabile pentru sex, culoare a ochilor, culoare a părului, expresie, proprietăți (de exemplu, ochelari), unghiuri de poziție (yaw, pitch și roll) și poziții de repere. ‘

‘Cu toate acestea, benchmark-urile comune de recunoaștere a feței nu se conformează standardelor ISO/IEC 19794-5 și ICAO 9303. Mai mult, mostrele din sălbăticie sunt adesea obținute în condiții variate de cameră și mediu pentru a pune la încercare soluțiile propuse. ‘

‘Cu toate acestea, majoritatea mostrelor de imagini cu fețe din astfel de seturi de date sunt comprimate prin compresia JPEG cu pierderi.’

Autorii noului studiu afirmă că eforturile lor viitoare vor examina impactul cuantificării imaginilor cu pierderi asupra diverselor cadre de recunoaștere a feței și vor oferi metode posibile pentru a îmbunătăți echitatea acestor sisteme.

Noul articol se intitulează Compresia imaginilor cu pierderi afectează bias-ul rasial în recunoașterea feței? și provine de la trei cercetători de la Imperial College London, împreună cu unul de la biblioteca de analiză a feței InsightFace deep face analysis.

Date și Metodă

Pentru experimentele lor, cercetătorii au utilizat bibliotecile open source ImageMagick și libjpeg pentru a crea versiuni ale imaginilor sursă la diferite niveluri de compresie.

Pentru o primă vedere de ansamblu asupra efectelor compresiei, autorii au studiat efectele raportului semnal-zgomot de vârf (PSNR) pe patru niveluri diferite de compresie JPEG pe setul de date Racial Faces in-the-Wild (RFW).

Scoruri PSNR pentru setul de date Racial Faces-in-the-Wild, demonstrând gradul în care compresia poate afecta capacitățile de recunoaștere pentru imagini comprimate.

Printre alte teste, ei au efectuat cercetări pe un set de date rasial dezechilibrat și pe unul care era rasial echilibrat. Pentru setul rasial echilibrat, au utilizat funcția Additive Angular Margin Loss (ArcFace) cu ResNet101v2, pe setul de date original VGGFace2, care conține 3,3 milioane de imagini cu 8631 subiecți rasial dezechilibrați.

Pentru testare, cercetătorii au utilizat setul de date RFW. Sistemul a fost antrenat de patru ori, la patru niveluri diferite de compresie, rezultând patru modele ArcFace.

Pentru setul rasial echilibrat, au fost utilizate aceleași cadre inițial pe setul de date original aliniat BUPT-Balanced, care conține 28.000 de fețe echilibrate pe patru grupuri African, Asian, Indian și Caucasian, fiecare rasă fiind reprezentată de 7000 de imagini. La fel ca și în cazul setului de date rasial dezechilibrat, au fost obținute patru modele ArcFace.

În plus, cercetătorii au reprodus efectele imaginilor comprimate și necomprimate prin eliminarea subsamplingului cromatic, pentru a măsura efectul său asupra performanței.

Rezultate

Rata de nepotrivire falsă (FMR) pe aceste seturi de date generate a fost apoi studiată. Criteriile pe care cercetătorii le căutau erau fenotipuri predefinite legate de caracteristici rasiale Tip de piele (1, 2, 3, 4, 5 sau 6), Tip de pleoapă (Monolid/Altele), Formă a nasului (Lărgit/Îngust), Formă a buzelor (Plin/Subțire), Tip de păr (Drept/Unduit/Cârlionțat/Chel) și Culoare a părului – metrice extrase din articolul Măsurarea bias-ului ascuns în recunoașterea feței prin fenotipuri rasiale din 2019.

Articolul afirmă:

‘Observăm că pentru toate nivelurile de compresie selectate q = {5, 10, 15, 95}, FMR crește atunci când se aplică compresia cu pierderi suplimentară, demonstrând că nivelul de compresie 5 (cea mai mare rată de compresie) duce la cea mai semnificativă scădere a performanței FMR, în timp ce nivelul de compresie 95 (cea mai mică rată de compresie) nu duce la nicio diferență semnificativă a performanței FMR.’

Un exemplu din graficele extinse de rezultate din articol, care sunt prea mari și numeroase pentru a fi reproduse aici – vă rugăm să consultați articolul sursă pentru o rezoluție mai bună și rezultate complete. Aici, vedem gama de performanță FMR pe imagini cu fețe din ce în ce mai degradate/comprimate pentru VGGFace2, într-o gamă care include calitate necomprimată sau puțin comprimată.

Articolul concluzionează:

‘În general, evaluarea noastră arată că utilizarea mostrelor de imagini cu fețe comprimate cu pierderi la momentul inferenței scade performanța mai semnificativ pentru anumite fenotipuri, inclusiv tenul mai închis la culoare, nasul larg, părul cârlionțat și pleoapa monolid, în toate celelalte caracteristici fenotipice. ‘

‘Cu toate acestea, utilizarea imaginilor comprimate în timpul antrenării face ca modelele rezultate să fie mai robuste și limitează degradarea performanței întâlnită: performanța mai scăzută în rândul anumitor subgrupuri rasiale aliniate rămâne. În plus, eliminarea subsamplingului cromatic îmbunătățește FMR pentru anumite categorii de fenotipuri mai afectate de compresia cu pierderi.’

* Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată pe 22 august 2022.