Användning av JPEG-komprimering för att förbättra neurala nätverksutbildning

En ny forskningsartikel från Kanada har föreslagit en ram som medvetet inför JPEG-komprimering i utbildningsschemat för ett neuralt nätverk, och lyckats uppnå bättre resultat – och bättre motståndskraft mot adversariala attacker.

Detta är en ganska radikal idé, eftersom den nuvarande allmänna visdomen är att JPEG-artefakter, som är optimerade för mänsklig visning, och inte för maskinlärning, generellt har en skadlig effekt på neurala nätverk som tränas på JPEG-data.

Ett exempel på skillnaden i tydlighet mellan JPEG-bilder komprimerade med olika förlustvärden (högre förlust tillåter en mindre filstorlek, på bekostnad av delineation och bandning över färggrader, bland annat typer av artefakter). Källa: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

En rapport från 2022 från University of Maryland och Facebook AI påstod att JPEG-komprimering “medför en betydande prestandapenalty” i utbildningen av neurala nätverk, trots tidigare arbete som hävdade att neurala nätverk är relativt resistenta mot bildkompressionsartefakter.

Året innan hade en ny tankeströmning uppstått i litteraturen: att JPEG-komprimering kunde verkligen utnyttjas för förbättrade resultat i modellutbildning.

Men, även om författarna till den artikeln kunde uppnå förbättrade resultat i utbildningen av JPEG-bilder av varierande kvalitet, var modellen de föreslog så komplex och betungande att den inte var praktisk. Dessutom visade sig systemets användning av standard-JPEG-optimeringsinställningar (kvantisering) vara ett hinder för utbildningseffektivitet.

En senare projekt (2023 års JPEG Compliant Compression for DNN Vision) experimenterade med ett system som uppnådde något bättre resultat från JPEG-komprimerade utbildningsbilder med hjälp av en frusen djup neuralt nätverksmodell (DNN). Men, att frysa delar av en modell under utbildning tenderar att minska modellens flexibilitet, samt dess bredare motståndskraft mot ny data.

JPEG-DL

I stället erbjuder den nya artikeln, med titeln JPEG Inspired Deep Learning, en mycket enklare arkitektur, som till och med kan påföras befintliga modeller.

Forskarna från University of Waterloo påstår:

‘Resultaten visar att JPEG-DL signifikant och konsekvent överträffar standard-DL över olika DNN-arkitekturer, med en försumbar ökning av modellkomplexitet.

Specifikt förbättrar JPEG-DL klassificeringsnoggrannheten med upp till 20,9% på vissa fina klassificeringsuppgifter, samtidigt som endast 128 tränbara parametrar läggs till i DL-pipelinen. Dessutom visas JPEG-DL:s överlägsenhet över standard-DL ytterligare genom den förbättrade adversariala robustheten hos de lästa modellerna och minskade filstorlekar för inmatningsbilderna.’

Författarna hävdar att en optimal JPEG-komprimeringskvalitetsnivå kan hjälpa ett neuralt nätverk att skilja på centrala ämnen i en bild. I exemplet nedan ser vi baslinjeresultat (vänster) som blandar ihop fågeln med bakgrunden när funktioner erhålls av det neurala nätverket. I kontrast lyckas JPEG-DL (höger) med att skilja på och avgränsa fotots ämne.

Tester mot baslinjemetoder för JPEG-DL. Källa: https://arxiv.org/pdf/2410.07081

‘Detta fenomen,’ förklarar de, ‘kallas “komprimering hjälper” i [2021] artikeln, och berättigas av det faktum att komprimering kan ta bort brus och störande bakgrunds funktioner, och därmed lyfta fram huvudobjektet i en bild, vilket hjälper DNN att göra bättre förutsägelser.’

Metod

JPEG-DL introducerar en differentierbar mjuk kvantifierare, som ersätter den icke-differentierbara kvantiseringsoperationen i en standard-JPEG-optimeringsrutin.

Detta tillåter gradientbaserad optimering av bilderna. Detta är inte möjligt i konventionell JPEG-kodning, som använder en uniform kvantifierare med en avrundningsoperation som approximerar den närmaste koefficienten.

Den differentierbara schemat för JPEG-DL tillåter gemensam optimering av både utbildningsmodellens parametrar och JPEG-kvantifieringen (komprimeringsnivå). Gemensam optimering innebär att både modellen och utbildningsdata anpassas till varandra i slut-till-slut-processen, och ingen frysningslagring behövs.

I princip anpassar systemet JPEG-komprimeringen av en (raw) dataset för att passa logiken i generaliseringsprocessen.

Konceptuellt schema för JPEG-DL.

Man kan anta att raw-data skulle vara det ideala materialet för utbildning; efter allt, bilder är fullständigt dekomprimerade till en lämplig fullständig färgrymd när de körs i batcher; så vad gör den ursprungliga formatet för skillnad?

Ja, eftersom JPEG-komprimering är optimerad för mänsklig visning, kastar den bort områden med detaljer eller färg på ett sätt som överensstämmer med detta mål. Givet en bild av en sjö under en blå himmel, kommer ökade nivåer av komprimering att tillämpas på himlen, eftersom den inte innehåller några “väsentliga” detaljer.

Å andra sidan saknar ett neuralt nätverk de excentriska filter som tillåter oss att fokusera på centrala ämnen. I stället är det troligt att det kommer att betrakta eventuella bandningsartefakter i himlen som giltiga data som ska assimileras i dess latenta utrymme.

Även om en människa kommer att förkasta bandningen i himlen, i en kraftigt komprimerad bild (vänster), har ett neuralt nätverk ingen aning om att detta innehåll bör kastas bort, och kommer att behöva en högkvalitetsbild (höger). Källa: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Därför är det osannolikt att en nivå av JPEG-komprimering passar hela innehållet i en utbildningsdataset, såvida det inte representerar ett mycket specifikt område. Bilder av folksamlingar kommer att kräva mycket mindre komprimering än en smal fokuserad bild av en fågel, till exempel.

Författarna observerar att de som är ovanliga med utmaningarna i kvantifiering, men som är bekanta med grunderna i transformatorarkitekturen, kan betrakta dessa processer som en uppmärksamhetsoperation, i allmänhet.

Data och tester

JPEG-DL utvärderades mot transformerbaserade arkitekturer och konvolutionsneurala nätverk (CNN). Arkitekturerna som användes var EfficientFormer-L1; ResNet; VGG; MobileNet; och ShuffleNet.

ResNet-versionerna som användes var specifika för CIFAR-dataset: ResNet32, ResNet56 och ResNet110. VGG8 och VGG13 valdes för VGG-baserade tester.

För CNN användes utbildningsmetodiken från 2020 års arbete Contrastive Representation Distillation (CRD). För EfficientFormer-L1 (transformatorbaserad) användes utbildningsmetoden från 2023 års Initializing Models with Larger Ones.

För fina uppgifter som presenterades i testerna användes fyra dataset: Stanford Dogs; University of Oxfords Flowers; CUB-200-2011 (CalTech Birds); och Pets (‘Katter och hundar’, ett samarbete mellan University of Oxford och Hyderabad i Indien).

För fina uppgifter på CNN användes PreAct ResNet-18 och DenseNet-BC. För EfficientFormer-L1 användes metodiken i den ovannämnda Initializing Models With Larger Ones.

Över CIFAR-100 och fina uppgifter hanterades varierande magnituder av Diskret kosinustransform (DCT) frekvenser i JPEG-komprimeringsmetoden med Adam-optimeraren, för att anpassa inlärningshastigheten för JPEG-lagret över de modeller som testades.

I tester på ImageNet-1K, över alla experiment, användes PyTorch, med SqueezeNet, ResNet-18 och ResNet-34 som kärnmodeller.

För JPEG-lagrets optimeringsutvärdering användes Stochastic Gradient Descent (SGD) i stället för Adam, för mer stabil prestanda. Men, för ImageNet-1K-testerna användes metoden från 2019 års artikel Learned Step Size Quantization.

Ovanför den första valideringsnoggrannheten för baslinjen mot JPEG-DL på CIFAR-100, med standard- och medelavvikelser som genomsnittlig över tre körningar. Nedan, den första valideringsnoggrannheten på olika fina bildklassificeringsuppgifter, över olika modellarkitekturer, igen, genomsnittlig över tre pass.

Kommentarer om den första omgången av resultat som visas ovan, säger författarna:

‘Över alla sju testade modeller för CIFAR-100 tillhandahåller JPEG-DL konsekvent förbättringar, med vinster på upp till 1,53% i topp-1 noggrannhet. I fina uppgifter erbjuder JPEG-DL en betydande prestandaförbättring, med förbättringar på upp till 20,90% över alla dataset med två olika modeller.’

Resultat för ImageNet-1K-testerna visas nedan:

Top-1 valideringsnoggrannhetsresultat på ImageNet över olika ramverk.

Här påstår artikeln:

‘Med en försumbar ökning av komplexitet (tillägg av 128 parametrar), uppnår JPEG-DL en vinst på 0,31% i topp-1 noggrannhet för SqueezeNetV1.1 jämfört med baslinjen med en enda omgång [kvantifierings] operation.

‘Genom att öka antalet kvantifieringsomgångar till fem, observerar vi en ytterligare förbättring på 0,20%, vilket leder till en total vinst på 0,51% över baslinjen.’

Forskarna testade också systemet med data som komprometterats av adversariala attack metoder Fast Gradient Signed Method (FGSM) och Projected Gradient Descent (PGD).

Attackerna utfördes på CIFAR-100 över två av modellerna:

Testresultat för JPEG-DL, mot två standard adversariala attack-ramverk.

Författarna påstår:

‘[JPEG-DL] modellerna förbättrar signifikant den adversariala robustheten jämfört med standard-DNN-modellerna, med förbättringar på upp till 15% för FGSM och 6% för PGD.’

Dessutom, som visas tidigare i artikeln, utförde författarna en jämförelse av extraherade funktionella kartor med hjälp av GradCAM++ – ett ramverk som kan framhäva extraherade funktioner på ett visuellt sätt.

En GradCAM++ illustration för baslinje- och JPEG-DL-bildklassificering, med extraherade funktioner framhävda.

Artikeln påstår att JPEG-DL producerar ett förbättrat resultat, och att det i ett fall till och med kunde klassificera en bild som baslinjen misslyckades med att identifiera. Med avseende på den tidigare visade bilden med fåglar, påstår författarna:

‘[Det] är uppenbart att funktionella kartor från JPEG-DL-modellen visar signifikant bättre kontrast mellan förgrundsinformationen (fågeln) och bakgrunden jämfört med funktionella kartor genererade av baslinjemon.

‘Specifikt är förgrundsobjektet i JPEG-DL-funktionella kartor inneslutet inom en väldefinierad kontur, vilket gör det visuellt urskiljbart från bakgrunden.

‘I kontrast visar baslinjemodellens funktionella kartor en mer blandad struktur, där förgrunden innehåller högre energi i låga frekvenser, vilket gör att den blandar sig mer smidigt med bakgrunden.’

Slutsats

JPEG-DL är avsett för användning i situationer där raw-data är tillgängligt – men det vore mest intressant att se om några av principerna i detta projekt kunde tillämpas på konventionell dataset-utbildning, där innehållet kan vara av lägre kvalitet (som ofta förekommer med hyperskale-dataset som skrapats från internet).

Som det är nu, förblir det i stor utsträckning ett annoteringsproblem, även om det har behandlats i trafikbaserad bildigenkänning och på andra håll.

Publicerad första gången torsdag, 10 oktober 2024