JPEG-Komprimierung erhöht den Fehlerrate bei der Gesichtserkennung für nicht-kaukasische Gesichter, Studie findet

Eine neue Studie aus dem Vereinigten Königreich hat zu dem Schluss gekommen, dass verlustbehaftete Komprimierungstechniken in JPEG-Bildern einen negativen Einfluss auf die Effektivität von Gesichtserkennungssystemen haben können, was dazu führt, dass solche Systeme eher dazu neigen, eine nicht-kaukasische Person falsch zu identifizieren.

Das Papier besagt:

‘Durch eine umfangreiche experimentelle Einrichtung demonstrieren wir, dass gängige verlustbehaftete Bildkomprimierungsansätze einen stärkeren negativen Einfluss auf die Gesichtserkennungsleistung für bestimmte phänotypische Rassenkategorien wie dunkle Hauttöne (um bis zu 34,55%) haben.’

Die Ergebnisse zeigen auch, dass Chroma-Subsampling, das die Farbinformation (und nicht die Helligkeitsinformation) über Abschnitte eines Gesichtsbildes reduziert, die Falsch-Übereinstimmungsrate (FMR) über einen Bereich von getesteten Datensätzen erhöht, von denen viele Standard-Repositorys für Computer-Vision sind.

Chroma-Subsampling-Operationen auf einem Quellbild, bei verschiedenen Raten, haben einen klaren Effekt auf den Umfang, in dem Details erhalten bleiben, und den Umfang, in dem Untertöne einfach ‘ineinander übergehen’, Details opfern und Merkmale bestimmen. Bitte beachten Sie, dass dieses Bild selbst möglicherweise komprimiert ist und verweisen Sie auf das Quellpapier für eine genaue Auflösung. Quelle: https://arxiv.org/pdf/2208.07613.pdf

Chroma-Subsampling wird als zusätzliche wirtschaftliche Maßnahme bei der JPEG-Komprimierung eingesetzt, da Menschen weniger in der Lage sind, Reduzierungen der Komplexität und des Umfangs von Farbbändern wahrzunehmen als Computer-Vision-Systeme, die diese ‘Aggregationen’ viel wörtlicher nehmen als wir.

Die Forscher der neuen Studie haben festgestellt, dass das Entfernen von Chroma-Subsampling aus dem Komprimierungsprozess diesen negativen Effekt um bis zu 15,95% verringert, aber das Problem nicht vollständig beseitigt.

Die Studie behauptet auch, dass das Training auf unkomprimierten (oder weniger komprimierten) Daten das Problem nicht lösen wird, wenn die Inferenzzeit-Bilder komprimiert sind. Effektiv bedeutet dies, dass das Training eines Gesichtserkennungsmodells auf weniger komprimierten Bildern das Bias nicht lösen wird, wenn das finale Produktionsmodell Bilder mit den genannten Komprimierungsproblemen erhält.

Die Autoren berichten*:

‘[Die] Verwendung von verlustbehafteter Bildkomprimierung während der Inferenz beeinträchtigt die Leistung von modernen Gesichtserkennungsansätzen auf einer Teilmenge von rassebezogenen Gesichtsphänotyp-Gruppierungen (d. h. dunkle Hauttöne, Monolid-Augenform) und dass deren Effekt unabhängig davon ist, ob komprimierte Bilder für das Modelltraining verwendet werden.’

Die Autoren unterstreichen die Konsequenzen von Bildkomprimierung auf den Computer-Vision-Forschungsbereich, die in einer Studie von 2021 von der University of Maryland und Facebook AI ausführlich dargestellt wurden.

Es ist ein schwieriges Problem zu lösen; sogar wenn die Speicher- und Bandbreitenprobleme, die Komprimierung notwendig machen, über Nacht eliminiert würden und alle niedrigauflösenden Bilder, die über 20 Jahre Datensätze im Bereich bevölkern, plötzlich mit einer besseren Rate aus hochauflösenden Quellen rekompiliert würden, würde es eine ‘Neustart’ der Kontinuität von akademischen Benchmark-Tools über die letzten Jahrzehnte darstellen. Die CV-Gemeinschaft hat sich, in der Tat, an das Problem gewöhnt, bis zu dem Punkt, an dem es eine bemerkenswerte technische Schulden darstellt.

Rassische Voreingenommenheit in der Gesichtserkennung (FR) ist zu einem heiß diskutierten Thema in den letzten Jahren geworden, was zu einem konzentrierten Bemühen in der Forschungsgemeinschaft geführt hat, es aus den betroffenen Systemen zu eliminieren. Allerdings verschärft die Abhängigkeit von der globalen Forschungsgemeinschaft auf eine übermäßig begrenzte Anzahl von ‘Gold-Standard’-Datensätzen, von denen viele entweder nicht rassisch ausgewogen oder schlecht beschriftet in dieser Hinsicht sind, die Herausforderung.

Die Forscher der neuen Studie bemerken zusätzlich eine Dissonanz zwischen Bildakquise-Standards und den Standards, die von den allgemeinen Gesichtserkennungsbenchmarks festgelegt werden, und erklären*:

‘[Bestehende] Bildakquise-Standards für Gesichtserkennungssysteme wie ISO/IEC 19794-5 und ICAO 9303 schlagen sowohl bildbasierte (d. h. Beleuchtung, Verdeckung) als auch subjektbasierte (d. h. Pose, Ausdruck, Accessoires) Qualitätsstandards vor, um die Gesichtsbildqualität zu gewährleisten. ‘

‘Demgemäß sollten Gesichtsbilder auch mit verlustbehafteter Bildkomprimierung wie JPEG oder JPEG2000 gespeichert werden; und identifizierbar für Geschlecht, Augenfarbe, Haarfarbe, Ausdruck, Eigenschaften (d. h. Brille), Posewinkel (Yaw, Pitch und Roll) und Landmarkenpositionen sein. ‘

‘Allerdings entsprechen gängige Gesichtserkennungsbenchmarks nicht den ISO/IEC 19794-5- und ICAO-9303-Standards. Zudem werden In-the-Wild-Proben oft unter verschiedenen Kamera- und Umgebungsbedingungen erhoben, um die vorgeschlagenen Lösungen herauszufordern. ‘

‘Trotzdem werden die meisten Gesichtsbildproben innerhalb solcher Datensätze durch verlustbehaftete JPEG-Komprimierung komprimiert.’

Die Autoren der neuen Arbeit erklären, dass ihre zukünftigen Bemühungen den Einfluss von verlustbehafteter Bildquantisierung auf verschiedene Gesichtserkennungsframeworks untersuchen und mögliche Methoden zur Verbesserung der Fairness dieser Systeme anbieten werden.

Die neue Studie trägt den Titel Wirkt sich verlustbehaftete Bildkomprimierung auf rassische Voreingenommenheit in der Gesichtserkennung aus? und stammt von drei Forschern am Imperial College London, zusammen mit einem Forscher aus der InsightFace-Bibliothek für tiefe Gesichtsanalyse library.

Daten und Methode

Für ihre Experimente verwendeten die Forscher die ImageMagick– und libjpeg-Open-Source-Bibliotheken, um Versionen der Quelldatenbilder bei verschiedenen Komprimierungsstufen zu erstellen.

Um einen ersten Überblick über die Auswirkungen der Komprimierung zu erhalten, untersuchten die Autoren die Auswirkungen des Peak-Signal-Rausch-Verhältnisses (PSNR) auf vier verschiedene Komprimierungsstufen von JPEG-Bildern auf dem Racial Faces-in-the-Wild (RFW)-Datensatz.

PSNR-Werte für den Racial Faces-in-the-Wild-Datensatz, die den Umfang zeigen, in dem die Komprimierung die Erkennungsfähigkeit für komprimierte Bilder beeinflussen kann.

Unter anderem führten sie Forschungen auf einem rassisch unbalancierten Datensatz und einem rassisch balancierten Datensatz durch. Für den rassisch balancierten Satz verwendeten sie die Additive Angular Margin Loss (ArcFace)-Funktion mit ResNet101v2 auf dem ursprünglichen VGGFace2-Benchmark-Datensatz, der 3,3 Millionen Bilder mit 8631 rassisch unbalancierten Subjekten enthält.

Für die Tests verwendeten die Forscher den RFW-Datensatz. Das System wurde viermal trainiert, bei vier verschiedenen Komprimierungsstufen, was zu vier ArcFace-Modellen führte.

Für den rassisch balancierten Satz wurden dieselben Frameworks zunächst auf dem ursprünglichen ausgerichteten BUPT-Balanced-Benchmark-Datensatz eingesetzt, der 28.000 Gesichter enthält, die auf vier Gruppen Afrikaner, Asiaten, Inder und Kaukasier verteilt sind, wobei jede Rasse von 7000 Bildern repräsentiert wird. Wie bei dem rassisch unbalancierten Datensatz wurden auch hier vier ArcFace-Modelle auf diese Weise erhalten.

Zusätzlich reproduzierten die Forscher die Auswirkungen von komprimierten und unkomprimierten Trainings, indem sie das Chroma-Subsampling entfernten, um dessen Auswirkung auf die Leistung zu messen.

Ergebnisse

Die Falsch-Übereinstimmungsrate (FMR) über diese generierten Datensätze wurde dann untersucht. Die Kriterien, nach denen die Forscher suchten, waren vordefinierte Phänotypen, die sich auf rassische Merkmale Hauttyp (1, 2, 3, 4, 5 oder 6), Augenlidtyp (Monolid/Andere), Nasenform (Breit/Schmal), Lippenform (Voll/Klein), Haartyp (Gerade/Wellig/Gelockt/Kahl) und Haarfarbe – Metriken, die aus dem Paper Versteckte Voreingenommenheit in der Gesichtserkennung über rassische Phänotypen messen von 2019 stammen.

Das Papier besagt:

‘Wir beobachten, dass für alle ausgewählten Komprimierungsstufen q = {5, 10, 15, 95} die FMR steigt, wenn zusätzliche verlustbehaftete Komprimierung angewendet wird, und dass die Komprimierungsstufe 5 (die höchste Komprimierungsrate) zu dem größten Rückgang in der FMR-Leistung führt, während die Komprimierungsstufe 95 (die niedrigste Komprimierungsrate) keine bemerkenswerten FMR-Leistungsunterschiede aufweist.’

Ein Beispiel aus den umfangreichen Ergebnisdiagrammen des Papiers, die zu groß und zahlreich sind, um hier reproduziert zu werden – bitte verweisen Sie auf das Quellpapier für eine bessere Auflösung und vollständige Ergebnisse. Hier sehen wir den Umfang der FMR-Leistung über zunehmend degradierte/komprimierte Gesichtsbilder für VGGFace2, in einem Bereich, der unkomprimierte oder wenig komprimierte Qualität umfasst.

Das Papier schließt:

‘Insgesamt zeigt unsere Bewertung, dass die Verwendung von verlustbehaftet komprimierten Gesichtsbildproben zur Inferenzzeit die Leistung mehr signifikant auf bestimmte Phänotypen, einschließlich dunkler Hauttöne, breiter Nasen, lockiger Haare und Monolid-Augen über alle anderen phänotypischen Merkmale hinweg, verringert. ‘

‘Allerdings macht die Verwendung von komprimierten Bildern während des Trainings die resultierenden Modelle widerstandsfähiger und begrenzt die Leistungsverschlechterung, die auftritt: eine geringere Leistung bei bestimmten rassisch ausgerichteten Subgruppen bleibt bestehen. Darüber hinaus verbessert das Entfernen von Chroma-Subsampling die FMR für bestimmte phänotypische Kategorien, die stärker von verlustbehafteter Komprimierung betroffen sind.’

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlicht am 22. August 2022.