JPEG-pakkausmenetelmän käyttäminen neuroverkkojen koulutuksen parantamiseen

Uusi tutkimusartikkeli Kanadasta on ehdottanut kehysrakennetta, joka tietoisesti sisällyttää JPEG-pakkausmenetelmän neuroverkon koulutusjärjestelmään ja saavuttaa paremmat tulokset – ja paremman vastustuskyvyn vastaan hyökkäyksiä.

Tämä on melko radikaali idea, koska yleinen viisaus on, että JPEG-artefaktit, jotka on optimoitu ihmisen näkemiseen, eivät ole koneoppimiselle, yleensä haitallisia vaikutuksia neuroverkkoihin, jotka on koulutettu JPEG-daatalla.

Esimerkki eroista kuvan selkeydessä eri menetetyn datan arvoilla (korkeampi tappio sallii pienemmän tiedostokoon, kustannuksella erottelukykyä ja bändausta värigradienteissa, muun muassa artefakteja). Lähde: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Vuoden 2022 raportissa Marylandin yliopistosta ja Facebook AI:sta väitettiin, että JPEG-pakkaus “aiheuttaa merkittävän suorituskykyhävikin” neuroverkkojen koulutuksessa, vaikka aiemmassa tutkimuksessa väitettiin, että neuroverkot ovat suhteellisen kestäviä kuvapakkausartefakteille.

Vuosi aiemmin uusi ajatuslinja oli ilmaantunut kirjallisuudessa: että JPEG-pakkaus voisi todella olla hyödyllistä parantamaan mallin koulutusta.

Kuitenkin, vaikka artikkelin kirjoittajat pystyivät saavuttamaan parannettuja tuloksia JPEG-kuvien eri laadun koulutuksessa, ehdotettu malli oli niin monimutkainen ja raskas, ettei se ollut käytännöllinen. Lisäksi järjestelmän oletusarvon mukainen JPEG-optimointi (kvantifiointi) osoittautui esteeksi koulutuksen tehokkuudelle.

Myöhempi projekti (2023 JPEG Compliant Compression for DNN Vision) kokeili järjestelmää, joka saavutti hieman parempia tuloksia JPEG-pakattujen koulutuskuvin käytöllä jäädytetyn syvän neuroverkkomallin (DNN) avulla. Kuitenkin järjestelmän osien jäädyttäminen koulutuksen aikana johti mallin vähemmän monipuoliseen ja vähemmän kestävään suorituskykyyn uusille tietoille.

JPEG-DL

Sen sijaan uusi tutkimus, joka on nimeltään JPEG Inspired Deep Learning, tarjoaa paljon yksinkertaisemman arkkitehtuurin, joka voidaan jopa asettaa olemassa oleviin malleihin.

Tutkijat, jotka ovat Waterloo-yliopistosta, toteavat:

‘Tulokset osoittavat, että JPEG-DL parantaa merkittävästi ja johdonmukaisesti standardia DL:ää useissa DNN-arkkitehtuureissa, ja se lisää vain 128 koulutettavaa parametriä DL-pipelineen. Lisäksi JPEG-DL:n ylemmyys standardi-DL:ään on edelleen osoitettu parantuneella vastustuskyvyllä ja vähentyneillä syötekuvien kokoilla.’

‘Erityisesti JPEG-DL parantaa luokittelun tarkkuutta jopa 20,9%:lla joissakin hienojakoisissa luokitteludatasteissa, ja se lisää vain 128 koulutettavaa parametriä DL-pipelineen. Lisäksi JPEG-DL:n ylemmyys standardi-DL:ään on edelleen osoitettu parantuneella vastustuskyvyllä ja vähentyneillä syötekuvien kokoilla.’

Kirjoittajat väittävät, että optimaalinen JPEG-pakkauslaatu voi auttaa neuroverkkoa erottamaan kuvan keskeisen aiheen. Esimerkiksi alla olevassa kuvassa nähdään vertailutulokset (vasemmalla) sekoittavat linnun taustaan, kun taas JPEG-DL (oikealla) onnistuu erottamaan ja määrittelemään kuvan aiheen.

Vertailutulokset baseline-menetelmiin JPEG-DL:lle. Lähde: https://arxiv.org/pdf/2410.07081

‘Tämä ilmiö,’ he selittävät, ‘jota kutsutaan “pakkausavulla” vuoden 2021 tutkimuksessa, perustuu siihen, että pakkaus voi poistaa melun ja häiritsevät taustapiirteet, ja siten korostaa kuvan pääaihetta, mikä auttaa DNN:ä tekemään parempia ennusteita.’

Menetelmä

JPEG-DL esittää erottuvan pehmeän kvantisorin, joka korvaa erottamattoman kvantifiointitoiminnon standardissa JPEG-optimointirutiinissa.

Tämä mahdollistaa gradientipohjaisen kuvien optimoinnin. Tämä ei ole mahdollista perinteisessä JPEG-koodauksessa, joka käyttää yhtenäistä kvantisoria pyöristysoperaatiolla, joka approksimoi lähimpänä olevan kertoimen.

JPEG-DL:n skeeman erottuvuus sallii sekä koulutusmallin parametrejen että JPEG-kvantifiointiin (pakkausastetta) liittyvän yhteistoiminnan. Yhteistoiminta tarkoittaa, että sekä malli että koulutusdata ovat sovitettavissa toisiinsa loppupäässä, eikä tarvita kerrosten jäädyttämistä.

Perimmältä ajatukseltaan järjestelmä mukauttaa JPEG-pakkausta (raw) datasetille sopimaan yleistämisen logiikkaa.

JPEG-DL:n skeema.

Yksi voisi olettaa, että raakadata olisi ihanteellinen koulutusmateriaali; kuvat ovat täysin puristamattomia sopivaan väriavaruuteen, kun ne suoritetaan erissä; joten mikä on alkuperäisen formaatin merkitys?

Hyvin, koska JPEG-pakkaus on optimoitu ihmisen näkemiseen, se heittää pois yksityiskohtia tai väriä tavalla, joka on yhdenmukainen tämän tavoitteen kanssa. Otetaan esimerkki, jossa on kuva järvestä sinisellä taivaalla, lisätty pakkausastetta sovelletaan taivaalle, koska siinä ei ole “välttämätöntä” yksityiskohtaa.

Toisaalta neuroverkko puuttuu niistä erikoisista suotimista, jotka sallivat meidän keskittyä keskeisiin aiheisiin. Sen sijaan se on todennäköisesti käsittelemään mitä tahansa bändaamisartefakteja taivaalla validina tietoina, jotka on sisällytettävä latenttiavaruuteen.

Vaikka ihminen hylkäisi bändaamisen taivaalla tiiviisti pakatussa kuvassa (vasemmalla), neuroverkko ei tiedä, että tämä sisältö pitäisi heittää pois, ja tarvitsee korkealaatuisemman kuvan (oikealla). Lähde: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Siksi yksi JPEG-pakkaustaso ei välttämättä sovi koko koulutusdatasetin sisältöön, ellei se edusta erittäin spesifiä aluetta. Kuvat joukoista vaativat paljon vähemmän pakkausta kuin kapean keskittyminen linnun kuvaan, esimerkiksi.

Kirjoittajat huomauttavat, että ne, jotka eivät ole tuttuja kvantifiointiin haasteista, mutta jotka ovat tuttuja transformaattorin arkkitehtuuriin, voivat pitää näitä prosesseja ‘huomioon otto-oppimisena’ laajasti.

Data ja testit

JPEG-DL:ää testattiin transformaattoripohjaisia arkkitehtuureja ja konvoluutioneuroverkkoja (CNN) vastaan. Käytetyt arkkitehtuuret olivat EfficientFormer-L1; ResNet; VGG; MobileNet; ja ShuffleNet.

ResNet-versiot, jotka käytettiin, olivat CIFAR-datasetille spesifejä: ResNet32, ResNet56 ja ResNet110. VGG8 ja VGG13 valittiin VGG-pohjaisiin testeihin.

CNN:n koulutusmenetelmä perustui vuoden 2020 työhön Contrastive Representation Distillation (CRD). EfficientFormer-L1:lle (transformaattoripohjainen) käytettiin koulutusmenetelmää vuoden 2023 julkaisusta Initializing Models with Larger Ones.

Hienojakoisissa tehtävissä, joissa käytettiin neljää datasettiä: Stanford Dogs; Oxfordin yliopiston Flowers; CUB-200-2011 (CalTech Birds); ja Pets (‘Kissat ja koirat’, yhteistyö Oxfordin yliopiston ja Intian Hyderabadin välillä).

CNN:lle hienojakoisissa tehtävissä käytettiin PreAct ResNet-18 ja DenseNet-BC. EfficientFormer-L1:lle käytettiin menetelmää, joka on mainittu edellä Initializing Models With Larger Ones-tutkimuksessa.

CIFAR-100- ja hienojakoisissa tehtävissä eri suuruisten Diskreetin kosinin muunnoksen (DCT) taajuuksien käsitteleminen JPEG-pakkauslähestymistavassa tehtiin Adam-optimoinnin avulla, jotta voidaan sovittaa oppiakoron JPEG-kerrokselle testattavissa malleissa.

ImageNet-1K-testeissä kaikissa kokeissa käytettiin PyTorchia, ja SqueezeNet, ResNet-18 ja ResNet-34 olivat ydinmalleja.

JPEG-kerroksen optimointitestiin tutkijat käyttivät Stokastista gradient-menettelyä (SGD) Adamin sijaan, jotta saataisiin vakaampi suorituskyky. Kuitenkin ImageNet-1K-testeissä käytettiin menetelmää vuoden 2019 tutkimuksesta Learned Step Size Quantization.

Yläpuolella CIFAR-100:n vertailutulokset baseline-menetelmälle ja JPEG-DL:lle, keskiarvo ja keskihajonta keskiarvoistettuna kolmesta suorituksesta. Alapuolella yhden luokan validointitarkkuus hienojakoisissa kuvien luokittelutehtävissä, eri mallirakenteilla, ja keskiarvoistettuna kolmesta suorituksesta.

Tutkijat kommentoivat ensimmäisen kokeen tuloksia seuraavasti:

‘Kaikissa seitsemässä testatussa mallissa CIFAR-100:ssa JPEG-DL tarjoaa johdonmukaisia parannuksia, joissa on jopa 1,53%:n parannus yhden luokan tarkkuudessa. Hienojakoisissa tehtävissä JPEG-DL tarjoaa merkittävän suorituskyvyn parannuksen, jossa on jopa 20,90%:n parannus kaikissa datasteissa kahdella eri mallilla.’

ImageNet-1K-testien tulokset on esitetty alla:

Yhden luokan validointitarkkuus ImageNetissä eri kehyksissä.

Tässä tutkimuksessa todetaan:

‘Vain 128 parametrin lisäys JPEG-DL saavuttaa 0,31%:n parannuksen yhden luokan tarkkuudessa SqueezeNetV1.1:llä verrattuna baselineen, jossa on yksi kvantifiointioperaatio.

‘Kvantifiointikierrosten määrän lisääminen viiteen johti 0,20%:n lisäparannukseen, mikä johti 0,51%:n parannukseen baselineen nähden.’

Tutkijat testasivat myös järjestelmää hyökkäysmenetelmin adversarial image attacks Fast Gradient Signed Method (FGSM) ja Projected Gradient Descent (PGD).

Hyökkäykset tehtiin CIFAR-100:ssa kahdella mallilla:

JPEG-DL:n testitulokset kahdella perinteisellä hyökkäyskehyksellä.

Tutkijat toteavat:

‘JPEG-DL-mallit parantavat merkittävästi vastustuskykyä verrattuna perinteisiin DNN-malleihin, jossa on jopa 15%:n parannus FGSM:llä ja 6%:n parannus PGD:llä.’

Lisäksi, kuten aiemmin mainittu, tutkijat suorittivat vertailun poistettujen piirteiden karttojen välillä GradCAM++:n avulla – kehyksellä, joka voi korostaa poistettuja piirteitä visuaalisesti.

GradCAM++-kuvailu baseline- ja JPEG-DL-kuvien luokittelussa, jossa on korostettu poistetut piirteet.

Tutkimus toteaa, että JPEG-DL tuottaa parannetun tuloksen, ja se pystyy jopa luokittelussa, jossa baseline epäonnistui. Aiheesta, jossa on linnut, tutkijat toteavat:

‘On selvää, että JPEG-DL-mallin piirtekartat näyttävät selvästi paremman kontrastin etu- ja taustatiedon (lintu) välillä verrattuna baseline-mallin piirteisiin.

‘Erityisesti etumaisen objektin JPEG-DL-piirteissä on hyvin määritelty reuna, joka erottaa sen taustasta.

‘Toisaalta baseline-mallin piirteet näyttävät enemmän sekoittuneelta rakenteelta, jossa etumainen sisältää suurempaa energiaa matalissa taajuuksissa, mikä aiheuttaa sen sulautumisen taustaan.’

Johtopäätös

JPEG-DL on tarkoitettu käytettäväksi tilanteissa, joissa on saatavilla raakadata – mutta olisi mielenkiintoista nähdä, voitaisiinko joitakin tämän projektin periaatteita soveltaa perinteiseen datasetin koulutukseen, jossa sisältö voi olla alempaa laatua (kuten usein tapahtuu hyperskaaladatassa, jota kerätään internetistä). Kuten se nyt on, se on pääasiassa annotaatio-ongelma, vaikka se on ratkaistu liikenneperusteisessa kuvatunnistuksessa ja muualla. Ensimmäisen kerran julkaistu torstaina, 10. lokakuuta 2024