Bruk av JPEG-komprimering for å forbedre neuralt nettverks-trening

En ny forskningsrapport fra Canada har foreslått en ramme som med overlappende introducerer JPEG-komprimering i treningsordningen for et neuralt nettverk, og klarer å oppnå bedre resultater – og bedre motstand mot adversarial angrep.

Dette er en ganske radikal idé, siden den nåværende generelle visdommen er at JPEG-artefakter, som er optimalisert for menneskelig visning, og ikke for maskinlæring, generelt har en skadelig effekt på neurale nettverk som er trenet på JPEG-data.

Et eksempel på forskjellen i klarhet mellom JPEG-bilder komprimert med forskjellige tap-verdier (høyere tap tillater en mindre filstørrelse, på bekostning av konturer og bånd over fargegradienter, blant andre typer artefakter). Kilde: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

En rapport fra 2022 fra University of Maryland og Facebook AI hevdet at JPEG-komprimering “incurrer en betydelig ytelsesstraff” i treningsfasen for neurale nettverk, til tross for tidligere arbeid som hevdet at neurale nettverk er relativt motstandsdyktige mot bildekomprimeringsartefakter.

Et år før dette hadde en ny tankegang dukket opp i litteraturen: at JPEG-komprimering faktisk kunne brukes for å forbedre resultater i modelltrening.

Men selv om forfatterne av denne rapporten kunne oppnå bedre resultater i treningsfasen for JPEG-bilder av varierende kvalitet, var modellen de foreslo så kompleks og tungvint at den ikke var praktisk. I tillegg viste systemets bruk av standard JPEG-optimiseringsinnstillinger (kvantisering) seg å være en hindring for treningsytelsen.

En senere prosjekt (2023’s JPEG Compliant Compression for DNN Vision) eksperimenterte med et system som oppnådde litt bedre resultater fra JPEG-komprimerte treningsbilder med bruk av en frosset dypt neuralt nettverk (DNN)-modell. Men å fryse deler av en modell under treningsfasen tenderer å redusere modellens fleksibilitet, samt dens bredere motstandskraft mot nytt data.

JPEG-DL

I stedet tilbyr det nye arbeidet, med tittelen JPEG Inspired Deep Learning, en mye enklere arkitektur, som kan til og med påtvynes eksisterende modeller.

Forskerne fra University of Waterloo påstår:

‘Resultatene viser at JPEG-DL signifikant og konsistent overgår standard DL over forskjellige DNN-arkitekturer, med en ubetydelig økning i modellkompleksitet.

Spesifikt forbedrer JPEG-DL klassifiseringsnøyaktigheten med opptil 20,9% på noen fine-grained klassifiseringsdataset, samtidig som det kun legger til 128 trene parametre til DL-pipeline. I tillegg viser overlegenheten til JPEG-DL over standard DL seg også gjennom den forbedrede motstandskraften til de lærte modellene og reduserte filstørrelser på inndata-bildene.’

Forfatterne hevder at en optimal JPEG-komprimeringskvalitet kan hjelpe et neuralt nettverk å skille ut sentrale subjekt/er i et bilde. I eksemplet under ser vi baseline-resultater (venstre) som blander fuglen inn i bakgrunnen når funksjoner er oppnådd av det neurale nettverket. I motsetning til dette lykkes JPEG-DL (høyre) i å skille og konture fuglens subjekt.

Tester mot baseline-metoder for JPEG-DL. Kilde: https://arxiv.org/pdf/2410.07081

‘Dette fenomenet,’ forklarer de, ‘kalt “komprimering hjelper” i [2021]-rapporten, er berettiget av det faktum at komprimering kan fjerne støy og forstyrrende bakgrunnsfunksjoner, og dermed fremheve hovedobjektet i et bilde, som hjelper DNN-er å gjøre bedre prediksjoner.’

Metode

JPEG-DL innfører en differensierbar myk kvantiserer, som erstatter den ikke-differensierbare kvantiseringen i en standard JPEG-optimiseringsrutine.

Dette tillater gradient-basert optimalisering av bildene. Dette er ikke mulig i konvensjonell JPEG-koding, som bruker en uniform kvantiserer med en avrundingoperasjon som approksimerer den nærmeste koeffisienten.

Den differensierbare skjemaet til JPEG-DL tillater fellesoptimalisering av både treningsmodellens parametre og JPEG-kvantiseringsnivået (komprimering). Fellesoptimalisering betyr at både modellen og treningsdataene tilpasses hverandre i end-to-end-prosessen, og ingen frysning av lag er nødvendig.

I essensen tilpasser systemet JPEG-komprimeringen av et (råt) datasett til å passe logikken i generaliseringsprosessen.

Konseptuelt skjema for JPEG-DL.

En kunne anta at rådata ville være det ideelle materiale for treningsfasen; etter all, bilder er fullstendig dekomprimert til en passende full-lengde fargeskala når de kjøres i batcher; så hva forskjellen gjør det opprinnelige formatet?

Vel, siden JPEG-komprimering er optimalisert for menneskelig visning, kaster den bort områder med detaljer eller farge på en måte som er i overensstemmelse med dette målet. Gitt et bilde av en innsjø under en blå himmel, vil økte nivåer av komprimering bli brukt på himmelen, fordi den ikke inneholder noen “essensielle” detaljer.

På den andre siden, mangler et neuralt nettverk de eksentriske filterne som tillater oss å fokusere på sentrale subjekt/er. I stedet er det sannsynlig å betrakte noen bånd-artefakter i himmelen som gyldig data som skal assimileres i sin latente rom.

Selv om et menneske vil forkaste båndet i himmelen i et tungt komprimert bilde (venstre), har et neuralt nettverk ingen ide om at denne innholdet skal kastes bort, og vil trenge en høyere kvalitetsbilde (høyre). Kilde: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Derfor er ett nivå av JPEG-komprimering usannsynlig å passe hele innholdet av et treningsdataset, med mindre det representerer et svært spesifikt domene. Bilder av folkemengder vil trenge mye mindre komprimering enn et smalt fokusert bilde av en fugl, for eksempel.

Forfatterne observerer at de som ikke er kjent med utfordringene ved kvantisering, men som er kjent med grunnleggende prinsipper i transformatorer-arkitektur, kan betrakte disse prosessene som en ‘fokus-operasjon’, bredt.

Data og tester

JPEG-DL ble evaluert mot transformer-baserte arkitekturer og konvolusjonelle neurale nettverk (CNN-er). Arkitekturer som ble brukt var EfficientFormer-L1; ResNet; VGG; MobileNet; og ShuffleNet.

ResNet-versjonene som ble brukt var spesifikke for CIFAR-datasettet: ResNet32, ResNet56 og ResNet110. VGG8 og VGG13 ble valgt for VGG-baserte tester.

For CNN, ble treningsmetodikken avledet fra 2020-arbeidet Contrastive Representation Distillation (CRD). For EfficientFormer-L1 (transformer-basert), ble treningsmetoden fra 2023-utgaven Initializing Models with Larger Ones brukt.

For fine-grained oppgaver som var med i testene, ble fire datasett brukt: Stanford Dogs; University of Oxfords Flowers; CUB-200-2011 (CalTech Birds); og Pets (‘Cats and Dogs’, et samarbeid mellom University of Oxford og Hyderabad i India).

For fine-grained oppgaver på CNN-er, ble PreAct ResNet-18 og DenseNet-BC brukt. For EfficientFormer-L1, ble metodikken fra ovennevnte Initializing Models With Larger Ones brukt.

Over CIFAR-100 og fine-grained oppgaver, ble de varierende størrelsene av Diskret Cosine Transform (DCT)-frekvenser i JPEG-komprimeringsmetoden håndtert med Adam-optimalisatoren, for å tilpasse læringsraten for JPEG-laget over modellene som ble testet.

I tester på ImageNet-1K, over alle eksperimenter, ble PyTorch brukt, med SqueezeNet, ResNet-18 og ResNet-34 som kjerne-modellene.

For JPEG-lagoptimaliseringen, ble Stochastic Gradient Descent (SGD) brukt i stedet for Adam, for mer stabil ytelse. Men for ImageNet-1K-testene, ble metoden fra 2019-papiret Learned Step Size Quantization brukt.

Over topp-1 valideringsnøyaktighet for baseline vs. JPEG-DL på CIFAR-100, med standard og gjennomsnittlig avvik avgjort over tre løp. Under, topp-1 valideringsnøyaktighet på diverse fine-grained bildeklassifiseringsoppgaver, over forskjellige modellarkitekturer, igjen avgjort fra tre løp.

Kommentarer til de første resultattestene ovenfor, sier forfatterne:

‘Over alle syv testede modeller for CIFAR-100, tilbyr JPEG-DL konsistente forbedringer, med gevinster på opptil 1,53% i topp-1 nøyaktighet. I fine-grained oppgaver tilbyr JPEG-DL en betydelig ytelsesøkning, med forbedringer på opptil 20,90% over alle datasett med to forskjellige modeller.’

Resultater for ImageNet-1K-testene vises under:

Topp-1 valideringsnøyaktighet resultater på ImageNet over forskjellige rammer.

Her sier papiret:

‘Med en ubetydelig økning i kompleksitet (legger til 128 parametre), oppnår JPEG-DL en gevinst på 0,31% i topp-1 nøyaktighet for SqueezeNetV1.1 sammenlignet med baseline med en enkelt runde av [kvantisering] operasjon.

‘Ved å øke antall kvantisering rundt til fem, observerer vi en ytterligere forbedring på 0,20%, som fører til en total gevinst på 0,51% over baseline.’

Forskerne testet også systemet med data som var kompromittert av adversarial angrep-tilnærmingene Fast Gradient Signed Method (FGSM) og Projected Gradient Descent (PGD).

Angrepene ble utført på CIFAR-100 over to av modellene:

Testresultater for JPEG-DL, mot to standard adversarial angreps-rammer.

Forfatterne sier:

‘[JPEG-DL] modellene forbedrer betydelig den adversarial motstandskraften sammenlignet med standard DNN-modellene, med forbedringer på opptil 15% for FGSM og 6% for PGD.’

I tillegg, som vist tidligere i artikkelen, utførte forfatterne en sammenligning av uttrukne funksjonskarter med GradCAM++ – en ramme som kan fremheve uttrukne funksjoner på en visuell måte.

En GradCAM++-illustrasjon for baseline og JPEG-DL bildeklassifisering, med uttrukne funksjoner fremhevet.

Papiret påpeker at JPEG-DL produserer et bedre resultat, og at det i ett tilfelle faktisk kunne klassifisere et bilde som baseline ikke klarte å identifisere. Vedrørende det tidligere viste bildet med fugler, sier forfatterne:

‘[Det] er tydelig at funksjonskartene fra JPEG-DL-modellen viser betydelig bedre kontrast mellom forgrunnsinformasjonen (fuglen) og bakgrunnen sammenlignet med funksjonskartene generert av baseline-modellen.

‘Spesifikt er forgrunnsobjektet i JPEG-DL funksjonskartene innkapslet i en veldefinert kontur, som gjør det visuelt skillelig fra bakgrunnen.

‘I motsetning til dette viser baseline-modellens funksjonskarter en mer blandet struktur, hvor forgrunnen inneholder høyere energi i lavfrekvenser, som fører til at den blander seg mer sammen med bakgrunnen.’

Konklusjon

JPEG-DL er ment for bruk i situasjoner hvor rådata er tilgjengelig – men det ville være mest interessant å se om noen av prinsippene i dette prosjektet kunne bli brukt i konvensjonell datasett-trening, hvor innholdet kan være av lavere kvalitet (som ofte skjer med hyperskala datasett skrapet fra internettet).

Det står slik at dette i stor grad forblir et annoteringsproblem, selv om det har blitt adressert i trafikkbasert bilde-gjenkjenning, og andre steder.

Først publisert torsdag, 10. oktober 2024