Het gebruik van JPEG-compressie om neurale netwerktraining te verbeteren

Een nieuw onderzoeksrapport uit Canada heeft een kader voorgesteld dat JPEG-compressie opzettelijk introduceert in het trainingschema van een neurale netwerk, en slaagt erin betere resultaten te behalen – en betere weerstand tegen adversarial aanvallen.

Dit is een vrij radicaal idee, aangezien de huidige algemene wijsheid is dat JPEG-artefacten, die geoptimaliseerd zijn voor menselijke weergave en niet voor machine learning, over het algemeen een nadelig effect hebben op neurale netwerken die getraind zijn op JPEG-gegevens.

Een voorbeeld van het verschil in helderheid tussen JPEG-afbeeldingen die zijn gecomprimeerd met verschillende verlieswaarden (hoger verlies staat een kleinere bestandsgrootte toe, ten koste van delineatie en banding over kleurgradienten, en andere soorten artefacten). Bron: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Een rapport uit 2022 van de Universiteit van Maryland en Facebook AI beweerde dat JPEG-compressie ‘een aanzienlijke prestatiepenalty’ oplevert in de training van neurale netwerken, ondanks eerder onderzoek dat beweerde dat neurale netwerken relatief robuust zijn tegen beeldcompressie-artefacten.

Een jaar eerder was er een nieuwe denkwijze ontstaan in de literatuur: dat JPEG-compressie daadwerkelijk kan worden gebruikt voor verbeterde resultaten in modeltraining.

However, though de auteurs van dat artikel in staat waren om verbeterde resultaten te behalen in de training van JPEG-afbeeldingen van verschillende kwaliteitsniveaus, was het model dat zij voorstelden zo complex en belastend dat het niet praktisch was. Bovendien bleek de standaard JPEG-optimalisatie-instellingen (quantization) een barrière te vormen voor de trainingsdoeltreffendheid.

Later project (2023’s JPEG Compliant Compression for DNN Vision) experimenteerde met een systeem dat iets betere resultaten behaalde van JPEG-gecomprimeerde trainingsafbeeldingen met behulp van een bevroren diep neurale netwerk (DNN) model. Echter, het bevriezen van delen van een model tijdens de training neigt ertoe de flexibiliteit van het model te verminderen, evenals de bredere robuustheid tegen nieuwe gegevens.

JPEG-DL

In plaats daarvan biedt het nieuwe onderzoek, getiteld JPEG Inspired Deep Learning, een veel eenvoudigere architectuur, die zelfs kan worden opgelegd aan bestaande modellen.

De onderzoekers, van de Universiteit van Waterloo, stellen:

‘De resultaten laten zien dat JPEG-DL significant en consistent beter presteert dan de standaard DL over verschillende DNN-architecturen, met een verwaarloosbare toename in modelcomplexiteit.

Specifiek verbetert JPEG-DL de classificatie-accuraatheid met maximaal 20,9% op sommige fijne classificatie-datasets, terwijl het slechts 128 trainable parameters toevoegt aan de DL-pipeline. Bovendien wordt de superioriteit van JPEG-DL boven de standaard DL verder aangetoond door de verbeterde adversarial robustheid van de geleerde modellen en de gereduceerde bestandsgrootten van de invoer-afbeeldingen.’

De auteurs beweren dat een optimale JPEG-compressiekwaliteitsniveau een neurale netwerk kan helpen om het centrale onderwerp/onderwerpen van een afbeelding te onderscheiden. In het onderstaande voorbeeld zien we baseline-resultaten (links) die de vogel in de achtergrond laten vervagen wanneer functies worden verkregen door het neurale netwerk. In contrast, slaagt JPEG-DL (rechts) erin om het onderwerp van de foto te onderscheiden en te delineëren.

Tests tegen baseline-methoden voor JPEG-DL. Bron: https://arxiv.org/pdf/2410.07081

‘Dit fenomeen,’ leggen zij uit, ‘genaamd “compressie helpt” in het [2021]-artikel, wordt gerechtvaardigd door het feit dat compressie ruis en storende achtergrondfuncties kan verwijderen, waardoor het hoofdobject in een afbeelding wordt benadrukt, wat DNN’s helpt om betere voorspellingen te doen.’

Methode

JPEG-DL introduceert een differentieerbare soft quantizer, die de niet-differentieerbare quantization-operatie in een standaard JPEG-optimalisatieroutine vervangt.

Dit maakt gradient-gebaseerde optimalisatie van de afbeeldingen mogelijk. Dit is niet mogelijk in conventionele JPEG-codering, die een uniform quantizer met een afrondingsoperatie gebruikt die de dichtstbijzijnde coëfficiënt benadert.

De differentieerbaarheid van JPEG-DL’s schema maakt gezamenlijke optimalisatie van zowel de trainingsmodelparameters als de JPEG-quantization (compressieniveau) mogelijk. Gezamenlijke optimalisatie betekent dat zowel het model als de trainingsgegevens worden aangepast aan elkaar in het end-to-end proces, en dat geen bevriezing van lagen nodig is.

In wezen past het systeem de JPEG-compressie van een (ruwe) dataset aan om de logica van het generalisatieproces te volgen.

Conceptueel schema voor JPEG-DL.

Men zou kunnen aannemen dat ruwe gegevens het ideale voer voor training zouden zijn; immers worden afbeeldingen volledig gedecomprimeerd in een geschikte volledige kleurruimte wanneer ze in batches worden uitgevoerd; dus wat maakt het oorspronkelijke formaat uit?

Nou, omdat JPEG-compressie geoptimaliseerd is voor menselijke weergave, gooit het gebieden met details of kleuren weg op een manier die overeenkomt met dit doel. Gegeven een afbeelding van een meer onder een blauwe lucht, zullen hogere compressieniveaus worden toegepast op de lucht, omdat het geen ‘essentiële’ details bevat.

Aan de andere kant mist een neurale netwerk de excentrieke filters die ons toelaten om ons te concentreren op centrale onderwerpen. In plaats daarvan is het waarschijnlijk dat het elke banding-artefacten in de lucht als geldige gegevens beschouwt die moeten worden geïntegreerd in zijn latent space.

Hoewel een mens de banding in de lucht zou negeren in een zwaar gecomprimeerde afbeelding (links), heeft een neurale netwerk geen idee dat deze inhoud weggegooid moet worden en heeft het een afbeelding van hogere kwaliteit nodig (rechts). Bron: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Daarom is het onwaarschijnlijk dat één niveau van JPEG-compressie geschikt is voor de hele inhoud van een trainingsdataset, tenzij het een zeer specifiek domein vertegenwoordigt. Afbeeldingen van menigten zullen veel minder compressie vereisen dan een smal gefocuste afbeelding van een vogel, bijvoorbeeld.

De auteurs merken op dat degenen die onbekend zijn met de uitdagingen van quantization, maar die vertrouwd zijn met de basis van de transformers architectuur, deze processen als een ‘attention-operatie’ kunnen beschouwen, in het algemeen.

Gegevens en tests

JPEG-DL werd geëvalueerd tegen transformer-gebaseerde architectuur en convolutional neural networks (CNN’s). Architecturen die werden gebruikt waren EfficientFormer-L1; ResNet; VGG; MobileNet; en ShuffleNet.

De ResNet-versies die werden gebruikt waren specifiek voor de CIFAR dataset: ResNet32, ResNet56 en ResNet110. VGG8 en VGG13 werden gekozen voor de VGG-gebaseerde tests.

Voor CNN, was de trainingsmethodologie afgeleid van de 2020-werk Contrastive Representation Distillation (CRD). Voor EfficientFormer-L1 (transformer-gebaseerd), werd de trainingsmethode van de 2023-uitgave Initializing Models with Larger Ones gebruikt.

Voor fijne classificatietaken die in de tests worden gepresenteerd, werden vier datasets gebruikt: Stanford Dogs; de Universiteit van Oxford’s Flowers; CUB-200-2011 (CalTech Birds); en Pets (‘Cats and Dogs’, een samenwerking tussen de Universiteit van Oxford en Hyderabad in India).

Voor fijne classificatietaken op CNN’s, werden de auteurs PreAct ResNet-18 en DenseNet-BC gebruikt. Voor EfficientFormer-L1, werd de methode uit de eerdergenoemde Initializing Models With Larger Ones gebruikt.

Over de CIFAR-100 en fijne classificatietaken, werd de variatie in grootte van Discrete Cosine Transform (DCT) frequenties in de JPEG-compressiebenadering afgehandeld met de Adam optimizer, om de learning rate voor de JPEG-laag over de geteste modellen aan te passen.

In tests op ImageNet-1K, werden alle experimenten door de auteurs uitgevoerd met PyTorch, met SqueezeNet, ResNet-18 en ResNet-34 als de core-modellen.

Voor de JPEG-laagoptimalisatie-evaluatie, gebruikten de onderzoekers Stochastic Gradient Descent (SGD) in plaats van Adam, voor een stabielere prestatie. Echter, voor de ImageNet-1K-tests, werd de methode uit de 2019-paper Learned Step Size Quantization gebruikt.

Boven de top-1 validatie-accuraatheid voor de baseline vs. JPEG-DL op CIFAR-100, met standaard- en gemiddelde afwijkingen over drie runs. Onder, de top-1 validatie-accuraatheid op diverse fijne classificatietaken, over verschillende modelarchitecturen, opnieuw, gemiddeld over drie runs.

Commentaar op de eerste ronde van resultaten die hierboven worden getoond, stellen de auteurs:

‘Over alle zeven geteste modellen voor CIFAR-100, biedt JPEG-DL consistent verbeteringen, met winsten van maximaal 1,53% in top-1-accuraatheid. In de fijne classificatietaken, biedt JPEG-DL een aanzienlijke prestatieverbetering, met verbeteringen van maximaal 20,90% over alle datasets met behulp van twee verschillende modellen.’

Resultaten voor de ImageNet-1K-tests worden hieronder getoond:

Top-1 validatie-accuraatheid resultaten op ImageNet over diverse frameworks.

Hier stelt het artikel:

‘Met een triviale toename in complexiteit (toevoeging van 128 parameters), bereikt JPEG-DL een winst van 0,31% in top-1-accuraatheid voor SqueezeNetV1.1 in vergelijking met de baseline met één ronde van [quantization] operatie.

‘Door het aantal quantization-ronden te verhogen tot vijf, observeren we een extra verbetering van 0,20%, wat leidt tot een totale winst van 0,51% ten opzichte van de baseline.’

De onderzoekers testten het systeem ook met behulp van gegevens die zijn aangetast door de adversarial attack benaderingen Fast Gradient Signed Method (FGSM) en Projected Gradient Descent (PGD).

De aanvallen werden uitgevoerd op CIFAR-100 over twee van de modellen:

Testresultaten voor JPEG-DL, tegen twee standaard adversarial attack-frameworks.

De auteurs stellen:

‘[De] JPEG-DL-modellen verbeteren de adversarial robustheid aanzienlijk in vergelijking met de standaard DNN-modellen, met verbeteringen van maximaal 15% voor FGSM en 6% voor PGD.’

Bovendien, zoals eerder in het artikel getoond, voerden de auteurs een vergelijking uit van geëxtraheerde feature-kaarten met behulp van GradCAM++ – een framework dat geëxtraheerde functies op een visuele manier kan benadrukken.

Een GradCAM++-illustratie voor baseline- en JPEG-DL-afbeeldingsclassificatie, met geëxtraheerde functies benadrukt.

Het artikel merkt op dat JPEG-DL een verbeterd resultaat produceert, en dat het in één geval zelfs in staat was om een afbeelding te classificeren die de baseline niet kon identificeren. Met betrekking tot de eerder getoonde afbeelding met vogels, stellen de auteurs:

‘[Het] is duidelijk dat de feature-kaarten van het JPEG-DL-model een significant betere contrast tussen de voorgrondinformatie (de vogel) en de achtergrond vertonen in vergelijking met de feature-kaarten gegenereerd door de baseline-model.

‘Specifiek is het voorgrondobject in de JPEG-DL-feature-kaarten omgeven door een goed gedefinieerde contour, waardoor het visueel onderscheidbaar is van de achtergrond.

‘In contrast, vertonen de feature-kaarten van de baseline-model een meer gemengde structuur, waarin de voorgrond hogere energieniveaus in lage frequenties bevat, waardoor het meer gladjes overloopt in de achtergrond.’

Conclusie

JPEG-DL is bedoeld voor gebruik in situaties waarin ruwe gegevens beschikbaar zijn – maar het zou het meest interessant zijn om te zien of enkele van de principes die in dit project worden gepresenteerd, kunnen worden toegepast op conventionele datasettraining, waarin de inhoud van lagere kwaliteit kan zijn (zoals vaak het geval is met hyperschaal-datasets die van internet zijn gescraped).

Op dit moment blijft dit grotendeels een annotatieprobleem, hoewel het is aangepakt in verkeersgebaseerde beeldherkenning en elders.

First published donderdag, 10 oktober 2024