La compressione JPEG aumenta il tasso di errore di riconoscimento facciale per i volti non caucasici, secondo uno studio

Uno studio recente condotto nel Regno Unito ha concluso che le tecniche di compressione lossy utilizzate nelle immagini JPEG possono avere un’influenza negativa sull’efficacia dei sistemi di riconoscimento facciale, rendendoli più propensi a identificare erroneamente una persona non caucasica.

Il paper afferma:

‘Attraverso un’estensiva impostazione sperimentale, dimostriamo che gli approcci comuni di compressione lossy delle immagini hanno un impatto negativo più pronunciato sulle prestazioni del riconoscimento facciale per specifiche categorie di fenotipi razziali, come ad esempio i toni di pelle più scuri (fino al 34,55%).’

I risultati indicano anche che la sottocampionatura cromatica, che riduce le informazioni cromatiche (piuttosto che quelle di luminosità) in sezioni di un’immagine del viso, aumenta il tasso di falsa corrispondenza (FMR) in un range di dataset testati, molti dei quali sono repository standard per la visione artificiale.

Operazioni di sottocampionatura cromatica su un’immagine originale, a tassi variabili, hanno un effetto chiaro sulla misura in cui i dettagli sono preservati e sulla misura in cui i sottotoni semplicemente ‘si fondono’ l’uno nell’altro, sacrificando i dettagli e determinando le caratteristiche. Si prega di notare che questa immagine in sé potrebbe essere soggetta a compressione e si prega di fare riferimento al paper originale per una risoluzione accurata. Fonte: https://arxiv.org/pdf/2208.07613.pdf

La sottocampionatura cromatica viene applicata come misura economica aggiuntiva nella compressione JPEG perché le persone sono meno in grado di percepire le riduzioni della complessità e della gamma delle bande cromatiche rispetto ai sistemi di visione artificiale, che prendono queste ‘aggregazioni’ molto più letteralmente di quanto facciamo noi.

I ricercatori dello studio hanno scoperto che rimuovere la sottocampionatura cromatica dal processo di compressione riduce questo effetto negativo fino al 15,95%, anche se non lo elimina completamente.

Lo studio afferma anche che l’addestramento su dati non compressi (o meno compressi) non risolverà il problema se le immagini utilizzate al momento dell’inferenza sono compresse. In pratica, ciò significa che addestrare un modello di riconoscimento facciale su immagini meno compresse non risolverà il bias se il modello di produzione finale viene alimentato con immagini che presentano i problemi di compressione menzionati.

Gli autori riportano*:

‘[L’]utilizzo della compressione lossy delle immagini durante l’inferenza influisce negativamente sulle prestazioni degli approcci di riconoscimento facciale contemporanei su un subset di gruppi di fenotipi razziali (ad esempio, toni di pelle più scuri, forma dell’occhio monolide) e che il suo effetto è presente indipendentemente dal fatto che le immagini compresse vengano utilizzate per l’addestramento del modello.’

Il paper sottolinea le conseguenze della compressione delle immagini sul settore della ricerca di visione artificiale, che sono state descritte in dettaglio in uno studio del 2021 dell’Università del Maryland e Facebook AI.

È un problema difficile da risolvere; anche se i problemi di archiviazione e larghezza di banda che rendono necessaria la compressione venissero eliminati improvvisamente e anche se tutte le immagini di bassa qualità che popolano vent’anni o più di dataset nel settore venissero ricompressi a un tasso migliore da fonti di alta qualità, rappresenterebbe un ‘reset’ della continuità degli strumenti di benchmarking accademici negli ultimi decenni. La comunità CV, in effetti, si è abituata al problema, al punto da rappresentare un notevole debito tecnico.

Il bias razziale nel riconoscimento facciale (FR) è diventato un argomento di attualità nei media negli ultimi anni, suscitando uno sforzo concertato nella comunità di ricerca per eliminarlo dai sistemi interessati. Tuttavia, la dipendenza del corpo di ricerca globale da un numero eccessivamente limitato di dataset ‘gold standard’, molti dei quali sono o non bilanciati razzialmente o etichettati in modo insufficiente in questo senso, esacerba la sfida.

I ricercatori del nuovo paper notano inoltre una dissonanza tra gli standard di acquisizione delle immagini e gli standard stabiliti dalla maggior parte dei benchmark di riconoscimento facciale, affermando*:

‘[Gli] standard di acquisizione delle immagini per i sistemi di riconoscimento facciale come ISO/IEC 19794-5 e ICAO 9303 propongono sia standard di qualità basati sulle immagini (ad esempio, illuminazione, occlusione) che standard basati sul soggetto (ad esempio, posa, espressione, accessori) per garantire la qualità dell’immagine del viso. ‘

‘Di conseguenza, le immagini del viso dovrebbero anche essere archiviate utilizzando standard di compressione lossy come JPEG o JPEG2000; e identificabili per genere, colore degli occhi, colore dei capelli, espressione, proprietà (ad esempio, occhiali), angoli di posa (yaw, pitch e roll) e posizioni dei punti di riferimento. ‘

‘Tuttavia, i benchmark comuni di riconoscimento facciale non sono conformi agli standard ISO/IEC 19794-5 e ICAO 9303. Inoltre, i campioni in-the-wild vengono spesso ottenuti in condizioni di camera e ambientali variabili per sfidare le soluzioni proposte. ‘

‘Tuttavia, la maggior parte dei campioni di immagini del viso all’interno di tali dataset viene compressa tramite compressione lossy JPEG.’

Gli autori del nuovo lavoro affermano che i loro sforzi futuri esamineranno l’impatto della quantizzazione lossy delle immagini sui framework di riconoscimento facciale diversi e offriranno possibili metodi per migliorare l’equità di questi sistemi.

Il nuovo paper è intitolato La compressione lossy delle immagini influisce sul bias razziale all’interno del riconoscimento facciale? e proviene da tre ricercatori dell’Imperial College di Londra, insieme a uno della libreria di analisi del viso InsightFace deep face analysis.

Dati e Metodi

Per i loro esperimenti, i ricercatori hanno utilizzato le librerie open source ImageMagick e libjpeg per creare versioni delle immagini dei dati di origine a vari incrementi di compressione.

Per una panoramica iniziale degli effetti della compressione, gli autori hanno studiato gli effetti del rapporto segnale/rumore di picco (PSNR) su quattro livelli diversi di compressione JPEG sul dataset Racial Faces in-the-Wild (RFW).

Punteggi PSNR per il dataset Racial Faces-in-the-Wild, che dimostrano la misura in cui la compressione può influire sulle capacità di riconoscimento per immagini compresse.

Tra gli altri test, hanno condotto ricerche su un dataset razzialmente sbilanciato e su un altro che era razzialmente bilanciato. Per il dataset razzialmente bilanciato, hanno utilizzato la funzione Additive Angular Margin Loss (ArcFace) con ResNet101v2, sul dataset di riferimento originale VGGFace2, che contiene 3,3 milioni di immagini con 8631 soggetti razzialmente sbilanciati.

Per il test, i ricercatori hanno utilizzato il dataset RFW. Il sistema è stato addestrato quattro volte, a quattro livelli di compressione diversi, risultando in quattro modelli ArcFace.

Per il dataset razzialmente bilanciato, gli stessi framework sono stati inizialmente impiegati sul dataset di riferimento originale allineato BUPT-Balanced, che contiene 28.000 volti bilanciati tra i quattro gruppi Africano, Asiatico, Indiano e Caucasico, ogni razza rappresentata da 7000 immagini. Come per il dataset razzialmente sbilanciato, quattro modelli ArcFace sono stati ottenuti in questo modo.

Inoltre, i ricercatori hanno riprodotto gli effetti della formazione compressa e non compressa rimuovendo la sottocampionatura cromatica, al fine di misurare il suo effetto sulle prestazioni.

Risultati

Il tasso di falsa corrispondenza (FMR) in questi dataset generati è stato quindi studiato. I criteri che i ricercatori stavano cercando erano fenotipi predefiniti relativi a caratteristiche razziali Tipo di pelle (1, 2, 3, 4, 5 o 6), Tipo di palpebra (Monolide/Altro), Forma del naso (Largo/Stretto), Forma delle labbra (Piene/Piccole), Tipo di capelli (Dritti/Ondulati/Ricci/Baldanza), e Colore dei capelli – metriche tratte dal paper Misurazione del bias nascosto all’interno del riconoscimento facciale tramite fenotipi razziali del 2019.

Il paper afferma:

‘Osserviamo che per tutti i livelli di compressione selezionati q = {5, 10, 15, 95}, il FMR aumenta quando si applica una compressione lossy aggiuntiva, dimostrando che il livello di compressione 5 (il tasso di compressione più alto) risulta nel più significativo calo delle prestazioni del FMR, mentre il livello di compressione 95 (il tasso di compressione più basso) non risulta in alcuna differenza significativa nelle prestazioni del FMR.’

Un campione dai grafici estensivi del paper, che sono troppo grandi e numerosi per essere riprodotti qui – si prega di fare riferimento al paper originale per una risoluzione migliore e i risultati completi. Qui, vediamo la gamma di prestazioni del FMR attraverso immagini del viso degradate/comprimenti in aumento, in un range che include la qualità non compressa o poco compressa.

Il paper conclude:

‘Complessivamente, la nostra valutazione trova che l’utilizzo di campioni di immagini del viso compressi lossy al momento dell’inferenza diminuisce le prestazioni in modo più significativo su specifici fenotipi, tra cui il tono di pelle scuro, il naso largo, i capelli ricci e l’occhio monolide in tutta la gamma di caratteristiche fenotipiche. ‘

‘Tuttavia, l’utilizzo di immagini compresse durante l’addestramento rende i modelli risultanti più resilienti e limita la degradazione delle prestazioni incontrata: le prestazioni più basse tra i sottogruppi razziali allineati rimangono. Inoltre, la rimozione della sottocampionatura cromatica migliora il FMR per specifiche categorie di fenotipi più colpiti dalla compressione lossy.’

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Prima pubblicazione il 22 agosto 2022.