Utilizarea compresiei JPEG pentru îmbunătățirea antrenamentului rețelelor neuronale

O nouă lucrare de cercetare din Canada a propus un cadru care introduce în mod deliberat compresia JPEG în schema de antrenament a unei rețele neuronale și reușește să obțină rezultate mai bune – și o rezistență mai bună la atacurile adversarale.

Acesta este un concept destul de radical, deoarece înțelepciunea generală actuală este că artefactele JPEG, care sunt optimizate pentru vizualizarea umană și nu pentru învățarea automată, au de obicei un efect dăunător asupra rețelelor neuronale antrenate pe date JPEG.

Un exemplu al diferenței de claritate între imagini JPEG comprimate la diferite valori de pierdere (o pierdere mai mare permite o dimensiune de fișier mai mică, în detrimentul delimitării și benzilor de culoare, printre alte tipuri de artefacte). Sursă: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Un raport din 2022 de la Universitatea din Maryland și Facebook AI a afirmat că compresia JPEG “incurează o penalizare semnificativă a performanței” în antrenamentul rețelelor neuronale, în ciuda lucrărilor anterioare care au susținut că rețelele neuronale sunt relativ rezistente la artefactele de compresie a imaginilor.

Un an mai devreme, o nouă direcție de gândire a apărut în literatură: că compresia JPEG ar putea fi utilizată pentru a obține rezultate mai bune în antrenamentul modelului.

În orice caz, deși autorii acestei lucrări au reușit să obțină rezultate mai bune în antrenamentul imaginilor JPEG de calitate variabilă, modelul pe care l-au propus a fost atât de complex și de greu de utilizat încât nu a fost practic. În plus, utilizarea setărilor de optimizare JPEG implicite (cuantificare) a dovedit a fi un obstacol în ceea ce privește eficacitatea antrenamentului.

Un proiect ulterioar (2023, JPEG Compliant Compression for DNN Vision) a experimentat cu un sistem care a obținut rezultate ușor mai bune din imagini JPEG comprimate cu ajutorul unei rețele neuronale profunde înghețate (DNN). Cu toate acestea, înghețarea unor părți ale unui model în timpul antrenamentului are tendința de a reduce versatilitatea modelului, precum și rezistența sa generală la date noi.

JPEG-DL

În schimb, noua lucrare, intitulată JPEG Inspired Deep Learning, oferă o arhitectură mult mai simplă, care poate fi chiar impusă asupra modelelor existente.

Cercetătorii de la Universitatea din Waterloo afirmă:

‘Rezultatele arată că JPEG-DL depășește semnificativ și constant standardul DL în diverse arhitecturi DNN, cu o creștere neglijabilă a complexității modelului.

‘În special, JPEG-DL îmbunătățește acuratețea de clasificare cu până la 20,9% pe unele seturi de date de clasificare fine, adăugând doar 128 de parametri antrenabili în pipeline-ul DL. Mai mult, superioritatea JPEG-DL față de standardul DL este demonstrată și de robustețea adversară îmbunătățită a modelelor învățate și de dimensiunile reduse ale fișierelor de imagine de intrare.’

Autorii susțin că un nivel optim de calitate a compresiei JPEG poate ajuta o rețea neuronală să distingă subiectul central al unei imagini. În exemplul de mai jos, vedem rezultatele de bază (stânga) care amestecă pasărea în fundal atunci când caracteristicile sunt obținute de rețeaua neuronală. În contrast, JPEG-DL (dreapta) reușește să distingă și să delimiteze subiectul fotografiei.

Teste împotriva metodelor de bază pentru JPEG-DL. Sursă: https://arxiv.org/pdf/2410.07081

‘Acest fenomen,’ explică ei, ‘denumit “compresie care ajută” în lucrarea din 2021, este justificat de faptul că compresia poate elimina zgomotul și caracteristicile de fundal care deranjează, evidențiind astfel obiectul principal din imagine, ceea ce ajută rețelele neuronale să facă previziuni mai bune.’

Metodă

JPEG-DL introduce un cuantificator moale diferențiabil, care înlocuiește operația de cuantificare nediferențiabilă dintr-o rutină de optimizare JPEG standard.

Acest lucru permite optimizarea bazată pe gradient a imaginilor. Acest lucru nu este posibil în codarea JPEG convențională, care utilizează un cuantificator uniform cu o operație de rotunjire care aproximează coeficientul cel mai apropiat.

Diferențiabilitatea schemei JPEG-DL permite optimizarea comună a parametrilor modelului de antrenare și a cuantificării JPEG (nivel de compresie). Optimizarea comună înseamnă că atât modelul, cât și datele de antrenament sunt adaptate unul pentru altul în procesul de la capăt la capăt, și nu este necesară înghețarea straturilor.

În esență, sistemul personalizează compresia JPEG a unei seturi de date (brute) pentru a se potrivi logicii procesului de generalizare.

Schema conceptuală pentru JPEG-DL.

Se poate presupune că datele brute ar fi hrana ideală pentru antrenament; după toate, imaginile sunt complet decomprimate într-un spațiu de culoare deplin atunci când sunt rulate în loturi; așa că ce diferență face formatul original?

Ei bine, deoarece compresia JPEG este optimizată pentru vizualizarea umană, aruncă zone de detaliu sau de culoare într-un mod concordant cu acest scop. Dată o imagine a unui lac sub un cer albastru, niveluri crescute de compresie vor fi aplicate cerului, deoarece acesta nu conține niciun “detaliu esențial”.

Pe de altă parte, o rețea neuronală lipsește de filtrele excentrice care ne permit să ne concentrăm asupra subiectelor centrale. În schimb, este probabil să considere orice artefacte de bandă din cer ca date valabile care trebuie asimilate în spațiul său latent.

Deși un om va ignora benzile din cer, într-o imagine comprimată puternic (stânga), o rețea neuronală nu are nicio idee că acest conținut ar trebui să fie aruncat și va avea nevoie de o imagine de calitate superioară (dreapta). Sursă: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Prin urmare, un singur nivel de compresie JPEG este puțin probabil să se potrivească întregului conținut al unui set de date de antrenament, cu excepția cazului în care reprezintă un domeniu foarte specific. Imaginile cu mulțimi vor necesita o compresie mult mai mică decât o imagine cu focalizare îngustă a unei păsări, de exemplu.

Autorii observă că cei care nu sunt familiari cu provocările cuantificării, dar care sunt familiari cu conceptele de bază ale arhitecturii transformer, pot considera aceste procese ca o operație de atenție, în general.

Date și teste

JPEG-DL a fost evaluat împotriva arhitecturilor bazate pe transformatori și rețele neuronale convolutive (CNN). Arhitecturile utilizate au fost EfficientFormer-L1; ResNet; VGG; MobileNet; și ShuffleNet.

Versiunile ResNet utilizate au fost specifice setului de date CIFAR: ResNet32, ResNet56 și ResNet110. VGG8 și VGG13 au fost alese pentru testele bazate pe VGG.

Pentru CNN, metodologia de antrenament a fost derivată din lucrarea din 2020 Contrastive Representation Distillation (CRD). Pentru EfficientFormer-L1 (bazat pe transformatori), metoda de antrenament din lucrarea din 2023 Initializing Models with Larger Ones a fost utilizată.

Pentru sarcinile fine de clasificare prezentate în testele, patru seturi de date au fost utilizate: Stanford Dogs; Flowers de la Universitatea Oxford; CUB-200-2011 (CalTech Birds); și Pets (‘Cats and Dogs’, o colaborare între Universitatea Oxford și Hyderabad din India).

Pentru sarcinile fine de clasificare pe CNN, autorii au utilizat PreAct ResNet-18 și DenseNet-BC. Pentru EfficientFormer-L1, metodologia prezentată în lucrarea menționată anterior Initializing Models With Larger Ones a fost utilizată.

Pe seturile de date CIFAR-100 și pe sarcinile fine, magnitudinile variate ale frecvențelor DCT (Transformare Cosinus Discretă) în abordarea compresiei JPEG au fost gestionate cu optimizerul Adam, pentru a adapta rata de învățare pentru stratul JPEG pe modelele testate.

În testele pe ImageNet-1K, pe tot parcursul experimentelor, autorii au utilizat PyTorch, cu SqueezeNet, ResNet-18 și ResNet-34 ca modele de bază.

Pentru evaluarea optimizării stratului JPEG, cercetătorii au utilizat Descendentul Gradientului Stochastic (SGD) în loc de Adam, pentru o performanță mai stabilă. Cu toate acestea, pentru testele ImageNet-1K, metoda din lucrarea din 2019 Learned Step Size Quantization a fost utilizată.

Deasupra, acuratețea de validare top-1 pentru metoda de bază vs. JPEG-DL pe CIFAR-100, cu deviații standard și medii calculate pe trei rulări. Dedesubt, acuratețea de validare top-1 pe diverse sarcini de clasificare fine, pe diverse arhitecturi de modele, calculate din nou pe trei rulări.

Comentând asupra primului set de rezultate prezentate mai sus, autorii afirmă:

‘Pe toate cele șapte modele testate pentru CIFAR-100, JPEG-DL oferă îmbunătățiri constante, cu creșteri de până la 1,53% în acuratețea top-1. În sarcinile fine, JPEG-DL oferă o creștere semnificativă a performanței, cu îmbunătățiri de până la 20,90% pe toate seturile de date, utilizând două modele diferite.’

Rezultatele testelor pe ImageNet-1K sunt prezentate mai jos:

Rezultatele acurateței de validare top-1 pe ImageNet, pe diverse cadre.

Aici lucrarea afirmă:

‘Cu o creștere neglijabilă a complexității (adăugând 128 de parametri), JPEG-DL atinge o creștere de 0,31% în acuratețea top-1 pentru SqueezeNetV1.1, comparativ cu metoda de bază care utilizează o singură rundă de operație de cuantificare.

‘Prin creșterea numărului de runde de cuantificare la cinci, observăm o îmbunătățire suplimentară de 0,20%, ceea ce duce la o creștere totală de 0,51% față de metoda de bază.’

Cercetătorii au testat, de asemenea, sistemul utilizând date compromise de atacurile adversarale Fast Gradient Signed Method (FGSM) și Projected Gradient Descent (PGD).

Atacurile au fost efectuate pe CIFAR-100 pe două dintre modele:

Rezultatele testelor pentru JPEG-DL, împotriva a două cadre de atac adversarale standard.

Autorii afirmă:

‘Modelele JPEG-DL îmbunătățesc semnificativ robustețea adversarală în comparație cu modelele DNN standard, cu îmbunătățiri de până la 15% pentru FGSM și 6% pentru PGD.’

În plus, așa cum s-a arătat anterior în articol, autorii au efectuat o comparație a hărților de caracteristici extrase utilizând GradCAM++ – un cadru care poate evidenția caracteristicile extrase într-un mod vizual.

O ilustrare GradCAM++ pentru clasificarea imaginilor de bază și JPEG-DL, cu caracteristici extrase evidențiate.

Lucrarea notează că JPEG-DL produce un rezultat îmbunătățit și că, într-un caz, a fost capabil să clasifice o imagine pe care metoda de bază a eșuat să o identifice. Referitor la imaginea prezentată anterior cu păsări, autorii afirmă:

‘Este evident că hărțile de caracteristici din modelul JPEG-DL arată o separare mult mai bună între informația din prim-plan (păsărea) și fundal, comparativ cu hărțile de caracteristici generate de modelul de bază.

‘În special, obiectul din prim-plan în hărțile de caracteristici JPEG-DL este încadrat într-un contur bine definit, făcându-l vizual deosebit de fundal.

‘În contrast, hărțile de caracteristici ale modelului de bază arată o structură mai amestecată, unde obiectul din prim-plan conține energie mai mare în frecvențe joase, ceea ce îl face să se amestece mai lin cu fundalul.’

Concluzie

JPEG-DL este destinat utilizării în situații în care datele brute sunt disponibile – dar ar fi mult mai interesant să vedem dacă unele dintre principiile prezentate în acest proiect ar putea fi aplicate antrenamentului convențional al seturilor de date, în care conținutul poate fi de calitate inferioară (așa cum se întâmplă adesea cu seturile de date hyperscale extrase de pe internet).

Așa cum stă treaba, aceasta rămâne în mare măsură o problemă de annotare, deși a fost abordată în recunoașterea imaginilor bazate pe trafic și în alte domenii.

Publicat pentru prima dată joi, 10 octombrie 2024