Het oplossen van het JPEG-artefactprobleem in computer vision-datasets

Een nieuwe studie van de University of Maryland en Facebook AI heeft ontdekt dat diepe leer systemen die zeer sterk gecomprimeerde JPEG-afbeeldingen in hun datasets gebruiken, een ‘aanzienlijke prestatiepenalty’ hebben, en biedt enkele nieuwe methoden om de effecten hiervan te mitigeren.

Het rapport, getiteld Analysing and Mitigating JPEG Compression Defects in Deep Learning, claimt ‘aanzienlijk meer omvattend’ te zijn dan eerdere studies naar de effecten van artefacten in computer vision-datasets. Het papier concludeert dat ‘[zware] tot matige JPEG-compressie een aanzienlijke prestatiepenalty oplevert op standaardmetrieken’, en dat neurale netwerken mogelijk niet zo resistent zijn tegen dergelijke perturbaties als eerder onderzoek suggereert.

Een foto van een hond uit de 2018 MobileNetV2-dataset. Bij kwaliteit 10 (links), faalt een classificatiesysteem om de correcte ras ‘Pembroke Welsh Corgi’ te identificeren, en gokt in plaats daarvan ‘Norwich terrier’ (het systeem weet al dat dit een foto van een hond is, maar niet het ras); tweede van links, een standaard JPEG-artefact-gecorrigeerde versie van de afbeelding faalt opnieuw om het correcte ras te identificeren; tweede van rechts, gerichte artefactcorrectie herstelt de correcte classificatie; en rechts, de originele foto, correct geclassificeerd. Bron: https://arxiv.org/pdf/2011.08932.pdf

Compressie-artefacten als ‘gegevens’

Extreme JPEG-compressie kan zichtbare of halfzichtbare randen rond de 8×8-blokken creëren waaruit een JPEG is opgebouwd tot een pixelpatroon. Zodra deze blok- of ‘ringing’-artefacten verschijnen, kunnen ze door machine learning-systemen worden geïnterpreteerd als echte wereld-elementen van het onderwerp van de afbeelding, tenzij er compensatie wordt geboden voor dit.

Boven, zal een computer vision machine learning-systeem een ‘schone’ gradient-afbeelding extraheren uit een goedkwalitatieve afbeelding. Onder, ‘blok’-artefacten in een lager kwalitatieve opslag van de afbeelding verduisteren de kenmerken van het onderwerp, en kunnen eindigen met ‘infecteren’ van de kenmerken die zijn afgeleid van een afbeeldingsset, vooral in gevallen waarin hoge en lage kwaliteit afbeeldingen voorkomen in de dataset, zoals in web-gekrabde collecties waarop alleen generieke gegevensreiniging is toegepast. Bron: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Zoals te zien is in de eerste afbeelding hierboven, kunnen dergelijke artefacten beeldclassificatie-taken beïnvloeden, met implicaties ook voor tekstherkenning-algoritmen, die mogelijk niet correct de artefact-geïnfecteerde tekens kunnen identificeren.

In het geval van beeldsynthese-trainingsystemen (zoals deepfake-software of GAN-gebaseerde beeldgeneratiesystemen), kan een ‘rogue’-blok van lage kwaliteit, sterk gecomprimeerde afbeeldingen in een dataset ofwel de mediane kwaliteit van reproductie naar beneden trekken, ofwel worden opgenomen en feitelijk overschreven door een groter aantal hogere kwaliteit-kenmerken die zijn geëxtraheerd uit betere afbeeldingen in de set. In beide gevallen is betere data wenselijk – of, ten minste, consistente data.

JPEG – Meestal ‘Goed genoeg’

JPEG-compressie is een onomkeerbaar verliesgevend codec dat kan worden toegepast op verschillende afbeeldingsformaten, hoewel het voornamelijk wordt toegepast op de JFIF-afbeeldingsbestand wrapper. Ondanks dit, werd het JPEG (.jpg)-formaat genoemd naar de bijbehorende compressiemethode, en niet naar de JFIF-wrapper voor de afbeeldingsgegevens.

Hele machine learning-architecturen zijn in recente jaren ontstaan die JPEG-stijl artefactmitigatie als onderdeel van AI-gedreven upscaling/restauratie-routines bevatten, en AI-gebaseerde compressie-artefact-verwijdering is nu opgenomen in een aantal commerciële producten, zoals de Topaz-afbeelding/video suite, en de neurale functies van recente versies van Adobe Photoshop.

Sinds het 1986 JPEG-schema dat momenteel in het algemeen gebruik is, vrijwel vastgelegd werd in de vroege jaren 90, is het niet mogelijk om metadata toe te voegen aan een afbeelding die aangeeft welk kwaliteitsniveau (1-100) een JPEG-afbeelding is opgeslagen – tenzij men meer dan dertig jaar aan legacy consumenten-, professionele en academische software-systemen zou moeten aanpassen die niet verwachtten dat dergelijke metadata beschikbaar zou zijn.

Gevolglijk is het niet ongebruikelijk om machine learning-trainingsroutines aan te passen aan de beoordeelde of bekende kwaliteit van JPEG-afbeeldingsgegevens, zoals de onderzoekers hebben gedaan voor het nieuwe papier (zie hieronder). In het ontbreken van een ‘kwaliteit’-metadata-entry, is het momenteel noodzakelijk om óf de details van de manier waarop de afbeelding is gecomprimeerd te kennen (d.w.z. gecomprimeerd vanuit een verliesloze bron), óf de kwaliteit te schatten door perceptuele algoritmen of handmatige classificatie.

Een Economische Compromis

JPEG is niet de enige verliesgevende compressiemethode die de kwaliteit van machine learning-datasets kan beïnvloeden; compressie-instellingen in PDF-bestanden kunnen ook informatie in deze manier weggooien en worden ingesteld op zeer lage kwaliteitsniveaus om schijfruimte te besparen voor lokale of netwerkarchivering.

Dit kan worden aangetoond door het bemonsteren van verschillende PDF’s op archive.org, waarvan sommige zo sterk zijn gecomprimeerd dat ze een opvallende uitdaging vormen voor beeld- of tekstherkenningssystemen. In veel gevallen, zoals gecopyrighteerd boeken, lijkt deze intense compressie te zijn toegepast als een vorm van goedkope DRM, op dezelfde manier waarop auteursrechthouders kunnen kiezen om de resolutie van gebruikersgeüploadde YouTube-video’s te verlagen waarop ze het intellectueel eigendom hebben, waardoor de ‘blokkige’ video’s als promotionele tokens worden om ‘volledige res’-aankopen te inspireren, in plaats van ze te verwijderen.

In veel andere gevallen is de resolutie of beeldkwaliteit laag omdat de gegevens erg oud zijn en uit een tijdperk komen waarin lokale en netwerkopslag duurder was en beperkte netwerksnelheden gunstig waren voor sterk geoptimaliseerde en portable afbeeldingen boven hoge kwaliteit-reproductie.

Het is betoogd dat JPEG, hoewel het niet de beste oplossing nu is, is ‘ingebouwd’ als onverwijderbare legacy-infrastructuur die feitelijk verweven is met de fundamenten van het internet.

Legacy-last

Hoewel latere innovaties zoals JPEG 2000, PNG en (meest recent) het.webp-formaat superieure kwaliteit bieden, zou het opnieuw opslaan van oudere, zeer populaire machine learning-datasets naar een hogere kwaliteit ‘resetten’ van de continuïteit en geschiedenis van jaar-op-jaar computer vision-uitdagingen in de academische gemeenschap – een belemmering die ook van toepassing zou zijn in het geval van het opnieuw opslaan van PNG-dataset-afbeeldingen op hogere kwaliteitsinstellingen. Dit kan worden beschouwd als een soort technische schuld.

Terwijl verheven server-gedreven beeldverwerkingsbibliotheken zoals ImageMagick betere formaten ondersteunen, waaronder.webp, komen beeldtransformatie-eisen vaak voor in legacy-systemen die niet zijn ingesteld voor iets anders dan JPG of PNG (die verliesloze compressie biedt, maar ten koste van latentie en schijfruimte). Zelfs WordPress, het CMS dat bijna 40% van alle websites aandrijft, voegde pas drie maanden geleden.webp-ondersteuning toe.

PNG was een late (betwistbaar te late) intrede in het beeldformaatsector, ontstaan als een open source-oplossing in de late jaren 90 als reactie op een verklaring van 1995 door Unisys en CompuServe dat royalty’s zouden worden betaald op het LZW-compressieformaat dat in GIF-bestanden werd gebruikt, die destijds veel werden gebruikt voor logo’s en vlakke kleurelementen, zelfs als de wederopstanding van het formaat in de vroege jaren 2010 zich concentreerde op de mogelijkheid om lage bandbreedte, snelle geanimeerde inhoud te bieden (ironisch genoeg, geanimeerde PNG’s hebben nooit populariteit of brede ondersteuning gekregen en werden zelfs verboden op Twitter in 2019).

Ondanks zijn tekortkomingen is JPEG-compressie snel, ruimte-efficiënt en diep verankerd in systemen van alle soorten – en dus niet waarschijnlijk om in de nabije toekomst volledig te verdwijnen uit het machine learning-tafereel.

Het beste maken van de AI/JPEG-wapenstilstand

Tot op zekere hoogte heeft de machine learning-gemeenschap zich aangepast aan de eigenaardigheden van JPEG-compressie: in 2011 publiceerde de European Society of Radiology (ESR) een studie over de ‘gebruikbaarheid van onomkeerbare beeldcompressie in radiologische beeldvorming’, waarin richtlijnen werden gegeven voor ‘aanvaardbaar’ verlies; toen de verheven MNIST tekstherkenning-dataset (wiens beeldgegevens oorspronkelijk werden geleverd in een novum binaire formaat) werd overgezet naar een ‘regulier’ beeldformaat, JPEG, niet PNG, werd gekozen; en een eerdere (2020) samenwerking van de auteurs van het nieuwe papier bood ‘een novum architectuur’ voor het kalibreren van machine learning-systemen naar de tekortkomingen van variabele JPEG-afbeeldingskwaliteit, zonder dat modellen hoeven te worden getraind bij elk JPEG-kwaliteitsniveau – een functie die in het nieuwe werk wordt gebruikt.

In feite is onderzoek naar de bruikbaarheid van kwaliteitsvariante JPEG-gegevens een relatief bloeiend veld in machine learning. Een (niet-gerelateerd) 2016-project van het Center for Automation Research aan de University of Maryland richtte zich op het DCT-domein (waar JPEG-artefacten optreden bij lage kwaliteitsinstellingen) als een route naar diepe kenmerkextractie; een ander project uit 2019 richtte zich op byte-niveau-lezen van JPEG-gegevens zonder de tijdrovende noodzaak om de afbeeldingen daadwerkelijk te decomprimeren (d.w.z. ze op een gegeven moment in een geautomatiseerde workflow te openen); en een studie uit Frankrijk in 2019 activeerde JPEG-compressie ten behoeve van objectherkenning-routines.

Testen en Conclusies

Om terug te keren naar de meest recente studie van UoM en Facebook, zochten de onderzoekers naar het testen van JPEG-leesbaarheid en bruikbaarheid op afbeeldingen die tussen 10-90 waren gecomprimeerd (waarbij de afbeelding onder deze waarde onmogelijk verstoord is en boven deze waarde gelijk is aan verliesloze compressie). De afbeeldingen die in de tests werden gebruikt, werden vooraf gecomprimeerd bij elke waarde binnen het doelkwaliteitsbereik, wat ten minste acht trainingsessies inhield.

Modellen werden getraind op stochastische gradiëntafname over vier methoden: baseline, waarbij geen extra mitigaties werden toegevoegd; supervised fine-tuning, waarbij de trainingsset het voordeel heeft van vooraf getrainde gewichten en gelabelde gegevens (hoewel de onderzoekers toegeven dat dit moeilijk is om na te bootsen in consumenten-niveau-toepassingen); artefactcorrectie, waarbij augmentatie/verbetering wordt uitgevoerd op de gecomprimeerde afbeeldingen vóór training; en taakgerichte artefactcorrectie, waarbij het artefactcorrectienetwerk wordt gefinetuned op geretourneerde fouten.

Training vond plaats op een breed scala aan geschikte datasets, waaronder meerdere varianten van ResNet, FastRCNN, MobileNetV2, MaskRCNN en Keras’ InceptionV3.

Voorbeeld-verliesresultaten na taakgerichte artefactcorrectie worden hieronder weergegeven (lager = beter).

Het is niet mogelijk om diep in de details van de resultaten te duiken die in de studie zijn behaald, omdat de bevindingen van de onderzoekers zijn gesplitst tussen het doel van het evalueren van JPEG-artefacten en nieuwe methoden om dit te verlichten; de training werd geïtereerd per-kwaliteit over zo veel datasets; en de taken omvatten meerdere doelen, zoals objectdetectie, segmentatie en classificatie. In wezen positioneert het nieuwe rapport zich als een omvattend referentiewerk dat meerdere kwesties aanpakt.

Nonetheless, het papier concludeert in het algemeen dat ‘JPEG-compressie een steile penalty heeft over de hele linie voor zware tot matige compressie-instellingen’. Het stelt ook dat de nieuwe, ongelabelde mitigatiestrategieën superieure resultaten behalen onder andere soortgelijke benaderingen; dat, voor complexe taken, de geadviseerde methode van de onderzoekers ook beter presteert dan zijn peers, ondanks dat het geen toegang heeft tot grondwaarheidslabels; en dat deze nieuwe methodologieën modelhergebruik mogelijk maken, aangezien de verkregen gewichten overdraagbaar zijn tussen taken.

Wat betreft classificatie-taken, stelt het papier expliciet dat ‘JPEG de gradient-kwaliteit vermindert en ook lokaliseringsfouten induceert’.

De auteurs hopen om toekomstige studies uit te breiden om andere compressiemethoden te dekken, zoals de grotendeels verwaarloosde JPEG 2000, evenals WebP, HEIF en BPG. Ze suggereren verder dat hun methodologie kan worden toegepast op analoge onderzoek naar video-compressiealgoritmen.

Aangezien de taakgerichte artefactcorrectiemethode zo succesvol is gebleken in de studie, signaleren de auteurs ook hun intentie om de tijdens het project getrainde gewichten vrij te geven, in de verwachting dat ‘[veel] toepassingen zullen profiteren van het gebruik van onze TTAC-gewichten zonder enige modificatie.’

n.b. De bronafbeelding voor dit artikel komt van thispersondoesnotexist.com