Řešení problému JPEG artifactů v datech počítačového vidění

Nová studie Univerzity v Marylandu a Facebook AI zjistila, že hluboké učení systémů, které používají vysoce komprimované JPEG obrázky ve svých datech, trpí “významným poklesem výkonu” a nabízí některé nové metody, jak zmírnit účinky tohoto.

Studie, nazvaná Analýza a zmírnění JPEG kompresních defektů v hlubokém učení, tvrdí, že je “výrazně komplexnější” než předchozí studie o účincích artifactů v trénovacích datech počítačového vidění. Studie zjistila, že “[těžká] až středně těžká JPEG komprese způsobuje významný pokles výkonu na standardních metrikách” a že neuronové sítě možná nejsou tak odolné vůči těmto perturbacím, jak naznačují předchozí práce naznačují.

Fotografie psa z datové sady MobileNetV2 z roku 2018. Při kvalitě 10 (vlevo) klasifikační systém nedokáže identifikovat správnou rasu ‘Pembroke Welsh Corgi’, místo toho odhaduje ‘Norwich terrier’ (systém již ví, že se jedná o fotografii psa, ale ne o rasu); druhý zleva, verze obrázku s opravou artifactů JPEG opět nedokáže identifikovat správnou rasu; druhý zprava, cílená oprava artifactů obnovuje správnou klasifikaci; a vpravo, originální fotografie, správně klasifikovaná. Zdroj: https://arxiv.org/pdf/2011.08932.pdf

Artifacty komprese jako ‘data’

Extrémní JPEG komprese pravděpodobně vytvoří viditelné nebo poloviditelné hranice kolem 8×8 bloků, ze kterých se JPEG skládá do pixelové mřížky. Jakmile se tyto blokovací nebo “ringing” artifacty objeví, jsou pravděpodobně nesprávně interpretovány strojovými učícími systémy jako skutečné prvky světa, pokud není provedena žádná kompenzace pro tento účinek.

Nahoře, systém počítačového vidění extrahuje ‘čistou’ gradientní obraz z kvalitní fotografie. Dole, ‘blokovací’ artifacty v nižší kvalitě uložené fotografie zakrývají rysy předmětu a mohou nakonec ‘infikovat’ rysy odvozené z datové sady, zejména v případech, kdy se vyskytují vysoké a nízké kvalitní fotografie, jako je tomu u webových sbírek, na které byla aplikována pouze obecná čištění dat. Zdroj: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Jako je vidět na první fotografii výše, tyto artifacty mohou ovlivnit úkoly klasifikace obrazů, s implikacemi také pro algoritmy rozpoznávání textu, které mohou selhat při správném identifikování artifactů ovlivněných znaků.

V případě systémů pro trénování syntézy obrazů (jako je software pro deepfakes nebo systémy generování obrazů založené na GAN) může “špatný” blok nízkokvalitních, vysoce komprimovaných obrazů v datové sadě buď snížit medián kvality reprodukce, nebo být subsumován a prakticky nahrazen větším počtem kvalitnějších rysů extrahovaných z lepších obrazů v sadě. V obou případech je lepší mít lepší data – nebo alespoň konzistentní data.

JPEG – Obvykle ‘dostatečně dobrý’

JPEG komprese je nevratný ztrátový kodek, který lze aplikovat na různé formáty obrazů, i když je primárně aplikován na JFIF obrazový formát obal. Navzdory tomu byl formát JPEG (.jpg) pojmenován podle své asociace s kompresním metodou, a ne podle JFIF obalu pro obrazová data.

Celé architektury strojového učení vznikly v posledních letech, které zahrnují JPEG-styl artifact mitigaci jako součást AI-poháněných rutin pro upscale/obnovu, a AI-založené odstranění kompresních artifactů je nyní začleněno do několika komerčních produktů, jako je Topaz obraz/video sada, a neuronové funkce nedávných verzí Adobe Photoshop.

Od doby, kdy 1986 JPEG schéma aktuálně v běžném použití bylo prakticky uzamčeno na počátku 90. let, není možné přidat metadata k obrazu, které by indikovalo, jakou úroveň kvality (1-100) měl JPEG obraz při uložení – alespoň ne bez modifikace více než třiceti let starých spotřebitelských, profesionálních a akademických softwarových systémů, které neočekávaly, že takové metadata budou k dispozici.

V důsledku toho není neobvyklé přizpůsobit rutiny strojového učení kvalitě JPEG obrazových dat, jak to udělali výzkumníci pro novou studii (viz níže). V nepřítomnosti “kvality” metadata položky je v současné době nutné buď znát podrobnosti o tom, jak byl obraz komprimován (tj. komprimován z bezztrátového zdroje), nebo odhadnout kvalitu pomocí percepčních algoritmů nebo ruční klasifikace.

Ekonomické kompromisy

JPEG není jediným ztrátovým kompresním metodou, která může ovlivnit kvalitu dat strojového učení; kompresní nastavení v PDF souborech mohou také odstranit informace tímto způsobem a být nastaveny na velmi nízké úrovně kvality za účelem úspory diskového prostoru pro lokální nebo síťové archivace.

To lze vidět při výběru různých PDF souborů napříč archive.org, z nichž některé byly komprimovány tak silně, že jsou významnou výzvou pro systémy rozpoznávání obrazů nebo textu. Ve mnoha případech, jako jsou autorská práva knih, zdá se, že byla tato intenzivní komprese aplikována jako forma levného DRM, podobně jako držitelé autorských práv mohou zvolit snížení rozlišení uživatelů nahrávaných videí na YouTube, na kterých drží IP, ponechání “blokovacích” videí jako propagačních tokenů pro inspiraci “plného rozlišení” nákupů, místo jejich odstranění.

V mnoha dalších případech je rozlišení nebo kvalita obrazu nízká jednoduše proto, že data jsou velmi stará a pocházejí z éry, kdy lokální a síťová úložiště byla dražší a kdy omezené síťové rychlosti upřednostňovaly vysoce optimalizované a přenositelné obrazy nad vysokou kvalitou reprodukce.

Bylo argumentováno, že JPEG, i když není nejlepší řešení nyní, byl “zasvěcen” jako neodstranitelná dědictví infrastruktury, která je prakticky propojena se základy internetu.

Dědictví břemena

Ačkoli pozdější inovace, jako je JPEG 2000, PNG a (nejnověji) formát.webp, nabízejí vyšší kvalitu, opětovné vzorkování starších, vysoce populárních dat strojového učení by pravděpodobně “resetovalo” kontinuitu a historii roční výzev počítačového vidění v akademické komunitě – překážka, která by se vztahovala také na případ opětovného uložení obrazů PNG v datové sadě na vyšší kvalitní nastavení. To by mohlo být považováno za druh technického dluhu.

Zatímco uznávané serverem poháněné knihovny pro zpracování obrazů, jako je ImageMagick, podporují lepší formáty, včetně.webp, požadavky na transformaci obrazů se často vyskytují v dědictví systémů, které nejsou nastaveny pro nic jiného než JPG nebo PNG (který nabízí bezztrátovou kompresi, ale za cenu latence a diskového prostoru). I WordPress, CMS, který pohání téměř 40% všech webových stránek, přidala podporu.webp před třemi měsíci.

PNG byl pozdějším vstupem do sektoru formátů obrazů, vznikl jako otevřený zdroj na konci 90. let jako reakce na prohlášení z roku 1995 Unisys a CompuServe, že budou požadovány poplatky za formát komprese LZW používaný v souborech GIF, které se běžně používaly pro loga a ploché prvky, i když obnovení formátu GIF v počátcích roku 2010 se soustředilo na jeho schopnost poskytovat nízkopásmový, rychlý animovaný obsah (ironicky, animované PNG nikdy nezískaly popularitu nebo širokou podporu a byly dokonce zakázány na Twitteru v roce 2019).

Navzdory svým nedostatkům je JPEG komprese rychlá, úsporná a hluboce zakotvená v systémech všech typů – a proto není pravděpodobné, že zcela zmizí ze scény strojového učení v blízké budoucnosti.

Využití AI/JPEG detente

Do určité míry se komunita strojového učení přizpůsobila slabostem JPEG komprese: v roce 2011 Evropská společnost radiologie (ESR) publikovala studii o “použitelnosti nevratné obrazové komprese v radiologickém zobrazování”, poskytující pokyny pro “přijatelnou” ztrátu; když byla slavná MNIST datová sada pro rozpoznávání textu (jejíž obrazová data byla původně dodána v novém binárním formátu) portována do “běžného” formátu obrazu, JPEG, ne PNG, byl zvolen; a dřívější (2020) spolupráce autorů nové studie nabízela “novou architekturu” pro kalibraci systémů strojového učení na nedostatky různých kvalit JPEG obrazů, bez potřeby trénovat modely pro každou kvalitu JPEG – funkce využitá v nové práci.

Skutečně, výzkum o užitečnosti kvalitativně variabilních JPEG dat je relativně prosperující oblastí ve strojovém učení. Jeden (nesouvisející) projekt z roku 2016 z Centra pro automatizaci výzkumu Univerzity v Marylandu se zaměřil na DCT doménu (kde se JPEG artifacty vyskytují při nízkých kvalitách), jako cestu k hluboké extrakci rysů; jiný projekt z roku 2019 se soustředil na čtení JPEG dat na úrovni bajtů bez časově náročné potřeby dekomprimovat obrazy (tj. otevřít je v nějakém okamžiku automatizovaného pracovního postupu); a studie z Francie v roce 2019 aktivně využívá JPEG kompresi ve prospěch rutin rozpoznávání objektů.

Testování a závěry

Abychom se vrátili k poslední studii Univerzity v Marylandu a Facebooku, výzkumníci se pokusili otestovat JPEG srozumitelnost a užitečnost na obrázcích komprimovaných mezi 10-90 (pod kterým je obraz nemožně perturbován a nad kterým je roven bezztrátové kompresi). Obrázky použité v testech byly předkomprimovány na každou hodnotu v cílovém rozmezí kvality, což vyžadovalo nejméně osm trénovacích sezení.

Modely byly trénovány na stochastickém gradientním sestupu napříč čtyřmi metodami: základní, kde nebyly přidány žádné další zmírnění; dozorované jemné ladění, kde trénovací sada má výhodu předtrénovaných váh a označených dat (i když výzkumníci přiznávají, že je obtížné replikovat v aplikacích spotřebitelů); oprava artifactů, kde je provedena augmentace/ameliorace komprimovaných obrazů před trénováním; a cílená oprava artifactů, kde je síť pro opravu artifactů jemně laděna na vrácených chybách.

Trénování probíhalo na široké škále vhodných dat, včetně více variant ResNet, FastRCNN, MobileNetV2, MaskRCNN a Keras’ InceptionV3.

Vzorové výsledky ztrát po cílené opravě artifactů jsou zobrazeny níže (nižší = lepší).

Není možné hluboce se ponořit do detailů výsledků získaných ve studii, protože zjištění výzkumníků jsou rozdělena mezi cílem hodnocení JPEG artifactů a nových metod, jak zmírnit tento účinek; trénování bylo iterováno pro každou kvalitu přes tolik dat; a úkoly zahrnovaly několik cílů, jako je detekce objektů, segmentace a klasifikace. V podstatě nová zpráva se позиcionuje jako komplexní referenční práce, která řeší několik problémů.

Nicméně, studie obecně заключuje, že “JPEG komprese má strmý pokles výkonu napříč všemi kompresními nastaveními”. Také tvrdí, že její nové nelicencované strategie mitigace dosahují lepších výsledků než jiné podobné přístupy; že pro komplexní úkoly, supervizované metody výzkumníků také překonávají své kolegy, navzdory tomu, že nemají přístup k etalonovým štítkům; a že tyto nové metodologie umožňují opětovné použití modelů, protože získané váhy jsou přenositelné mezi úkoly.

Co se týče úkolů klasifikace, studie výslovně uvádí, že “JPEG snižuje kvalitu gradientu a také indukuje lokalizační chyby”.

Výzkumníci doufají, že budou moci rozšířit budoucí studie na pokrytí dalších kompresních metod, jako je JPEG 2000, WebP, HEIF a BPG. Navrhují také, že jejich metodologie by mohla být aplikována na analogické výzkumy video kompresních algoritmů.

Ponieważ cílená oprava artifactů se ve studii osvědčila, autoři také signalizují svůj úmysl uvolnit váhy získané během projektu, předpokládajíc, že “[mnohé] aplikace budou mít prospěch z použití našich TTAC vah bez modifikace.”

n.b. Zdrojový obraz pro článek pochází z thispersondoesnotexist.com