Andersonův úhel
Studie: Komprese JPEG zvyšuje chybovost rozpoznávání tváří osob jiného než bělošského původu

Klíčové bodyKomprese JPEG zvyšuje míru falešných shod u tmavších odstínů pleti až o 34,55 %.
Zobrazit více
- Komprese JPEG zvyšuje míru falešných shod u tmavších odstínů pleti až o 34,55 %.
- Odstranění podvzorkování chrominance snižuje negativní vliv na zkreslení rozpoznávání obličejů o 15,95 %.
- Trénování na nekomprimovaných datech neodstraňuje zkreslení, pokud inferenční snímky zůstávají komprimované.
Nová studie z Velké Británie dospěla k závěru, že ztrátová komprese v obrazech JPEG může mít negativní vliv na účinnost systémů rozpoznávání obličeje, což vede k vyšší pravděpodobnosti nesprávné identifikace osoby jiného než bělošského původu.
Studie uvádí:
‘Prostřednictvím rozsáhlého experimentálního nastavení prokázujeme, že běžné ztrátové přístupy ke kompresi obrazu mají výraznější negativní dopad na výkon systémů rozpoznávání obličeje pro konkrétní rasové fenotypové kategorie, jako jsou tmavší tóny kůže (až o 34,55%).’
Výsledky také naznačují, že podvzorkování barvonosných složek, který snižuje barevnou informaci (nikoli však jasovou informaci) v částech obrazu obličeje, zvyšuje míru falešného rozpoznání (FMR) napříč řadou testovaných datových sad, z nichž mnohé jsou standardními repozitáři pro počítačové vidění.

Operace podvzorkování barvonosných složek na zdrojovém obraze, při různých poměrech, mají zjevný vliv na rozsah, v jakém je zachována detailnost, a na rozsah, v jakém subtóny prostě ‘sloučí’ do sebe, obětujíce detailnost a určující rysy. Všimněte si, že tento obraz sám o sobě může být podroben kompresi, a odkázaný zdroj pro přesné rozlišení. Zdroj: https://arxiv.org/pdf/2208.07613.pdf
Podvzorkování barvonosných složek se používá jako další ekonomická opatření v kompresi JPEG, protože lidé jsou méně schopni vnímat snížení složitosti a rozsahu barevných pásem než systémy počítačového vidění, které tyto ‘agregace’ berou daleko doslovněji, než my.
Vědci z nové studie zjistili, že odstranění podvzorkování barvonosných složek z procesu komprese snižuje tento negativní efekt až o 15,95%, i když problém zcela neodstraní.
Studie také tvrdí, že školení na nekomprimovaných (nebo méně komprimovaných) datech nevyřeší problém, pokud jsou obrazy používané při inferenci komprimovány. To znamená, že školení modelu rozpoznávání obličeje na méně komprimovaných obrazech nevyřeší zkreslení, pokud je konečný produkční model krmen komprimovanými obrázky.
Autoři uvádějí*:
‘[Použití] ztrátové komprese obrazu během inference nepříznivě ovlivňuje výkon moderních přístupů k rozpoznávání obličeje na podmnožině rasově podmíněných skupin obličeje (tj. tmavší tóny kůže, monolidní tvar očí) a že jeho účinek je přítomný bez ohledu na to, zda se komprimované obrázky používají pro školení modelu.’
Studie zdůrazňuje důsledky komprese obrazu na výzkumné odvětví počítačového vidění, které byly popsány v některé detaily v studii z roku 2021 z Univerzity v Marylandu a Facebook AI.
Jde o obtížnou otázku, kterou řešit; i kdyby byly problémy s úložištěm a šířkou pásma, které činí kompresi nezbytnou, okamžitě odstraněny, a kdyby všechny nízkokvalitní obrázky, které osídlily dvacet nebo více let datových sad v odvětví, byly najednou znovu komprimovány s lepší kvalitou z vysokokvalitních zdrojů, představovalo by to ‘reset’ kontinuity akademických benchmarkingových nástrojů za posledních několik desetiletí. Komunita CV se fakticky zvykla na problém, až do té míry, že představuje významný technický dluh.
Rasový bias v rozpoznávání obličeje (FR) se stal často diskutovaným mediálním tématem v posledních letech, což vedlo k soustředěnému úsilí ve výzkumné komunitě, aby se ho zbavila z postižených systémů. Nicméně, závislost globálního výzkumného tělesa na příliš omezeném počtu ‘zlatých standardních’ datových sad, z nichž mnohé jsou buď nerasově vyvážené nebo špatně označené v tomto ohledu, zvyšuje obtížnost.
Vědci nové studie také poznamenávají nesoulad mezi standardy získávání obrazu a standardy stanovenými obecným během benchmarků rozpoznávání obličeje, uvádějí*:
‘[Existující] standardy získávání obrazu pro systémy rozpoznávání obličeje, jako je ISO/IEC 19794-5 a ICAO 9303, navrhují jak obrazové (tj. osvětlení, zakrytí), tak subjektové (tj. póza, výraz, příslušenství) standardy kvality, aby zajistily kvalitu obrazu obličeje.
‘V souladu s tím by měly být obrazy obličeje také uloženy pomocí ztrátových standardů komprese obrazu, jako je JPEG nebo JPEG2000; a měly by být identifikovatelné pro pohlaví, barvu očí, barvu vlasů, výraz, vlastnosti (tj. brýle), úhly póz (yaw, pitch, roll) a polohy orientačních bodů.
‘Nicméně, běžné benchmarky rozpoznávání obličeje se neřídí standardy ISO/IEC 19794-5 a ICAO 9303. Navíc, vzorky z volného prostředí jsou často získány za různých podmínek kamery a prostředí, aby byla navrhovaná řešení vystavena náročným podmínkám.
‘Přestože jsou většina vzorků obličeje v těchto datových sadách komprimována pomocí ztrátové komprese JPEG.’
Autoři nové práce uvádějí, že jejich budoucí úsilí bude zkoumat dopad ztrátové kvantizace obrazu na rozmanité rámce rozpoznávání obličeje a nabízet možné metody pro zlepšení spravedlivosti těchto systémů.
Nová studie se jmenuje Ovlivňuje ztrátová komprese obrazu rasový bias v rozpoznávání obličeje? a pochází od tří výzkumníků z Imperial College London, spolu s jedním z InsightFace deep face analysis knihovny.
Data a metoda
Pro své experimenty použili výzkumníci otevřené knihovny ImageMagick a libjpeg, aby vytvořili verze zdrojových datových obrazů při různých úrovních komprese.
Pro počáteční přehled účinků komprese studovali autoři účinky poměru signálu k šumu (PSNR) na čtyři různé úrovně komprese JPEG na datové sadě Racial Faces in-the-Wild (RFW).

Hodnoty PSNR pro datovou sadu Racial Faces-in-the-Wild, demonstrující rozsah, v jakém může komprese ovlivnit rozpoznávací schopnosti pro komprimované obrazy.
Mezi jinými testy provedli výzkum na rasově nevyvážené datové sadě a další, která byla rasově vyvážená. Pro rasově vyváženou sadu použili funkci Additive Angular Margin Loss (ArcFace) s ResNet101v2, na původní VGGFace2 benchmark datové sadě, která obsahuje 3,3 milionu obrazů s 8631 osobami s rasově nevyváženým zastoupením.
Pro testování použili datovou sadu RFW. Systém byl školen čtyřikrát, při čtyřech různých úrovních komprese, což vedlo k čtyřem modelům ArcFace.
Pro rasově vyváženou sadu byly použity stejné rámce na původní zarovnané BUPT-Balanced benchmark datové sadě, která obsahuje 28 000 tváří vyvážených napříč čtyřmi skupinami Afričan, Asijský, Indický a Kavkazský, každá rasa reprezentovaná 7000 obrázky. Stejně jako u rasově nevyvážené datové sady byly získány čtyři modely ArcFace.
Kromě toho výzkumníci reprodukovali účinky komprimovaných a nekomprimovaných školení odstraněním podvzorkování barvonosných složek, aby změřili jeho účinek na výkon.
Výsledky
Míra falešného rozpoznání (FMR) napříč těmito generovanými datovými sadami byla poté studována. Kritéria, která výzkumníci hledali, byla předem definovaná fenotypy související s rasovými charakteristikami Typ kůže (1, 2, 3, 4, 5 nebo 6), Typ víček (Jednoduché víčko/Jiné), Tvar nosu (Široký/Úzký), Tvar rtů (Plný/Malý), Typ vlasů (Rovný/Vlnitý/Kudrnatý/Plešatý) a Barva vlasů – metriky odvozené z studie z roku 2019 Měření skrytého biasu v rozpoznávání obličeje pomocí rasových fenotypů.
Studie uvádí:
‘Zjistili jsme, že pro všechny vybrané úrovně komprese q = {5, 10, 15, 95}, se FMR zvyšuje, když se aplikuje další ztrátová komprese, což demonstruje, že úroveň komprese 5 (nejvyšší míra komprese) vede k největšímu poklesu ve výkonu FMR, zatímco úroveň komprese 95 (nejnižší míra komprese) nevede k žádným zjevným rozdílům ve výkonu FMR.’

Vzorek z rozsáhlých výsledkových grafů, které jsou příliš velké a četné, aby je zde reprodukovali – prosím, podívejte se na zdroj pro lepší rozlišení a kompletní výsledky. Zde vidíme rozsah výkonu FMR napříč postupně degradovanými/komprimovanými obrazy obličeje pro VGGFace2, v rozsahu, který zahrnuje nekomprimované nebo málo komprimované kvality.
Studie uzavírá:
‘Celkově naše hodnocení ukazuje, že použití ztrátově komprimovaných vzorků obrazu obličeje v době inference snižuje výkon více významně pro konkrétní fenotypy, včetně tmavších tónů kůže, širokého nosu, kudrnatých vlasů a monolidních očí napříč všemi ostatními fenotypovými rysy.
‘Nicméně, použití komprimovaných obrazů během školení činí výsledné modely více odolnými a omezuje degradaci výkonu: nižší výkon mezi konkrétními rasově orientovanými subskupinami zůstává. Kromě toho, odstranění podvzorkování barvonosných složek zlepšuje FMR pro konkrétní fenotypové kategorie, které jsou více ovlivněny ztrátovou kompresí.’
* Mé převody inline citací autorů na hypertextové odkazy.
Poprvé publikováno 22. srpna 2022.












