Rezolvarea problemei artefactelor JPEG în seturile de date de viziune computerizată

O nouă studiu de la Universitatea din Maryland și Facebook AI a descoperit o “penalitate semnificativă a performanței” pentru sistemele de învățare profundă care utilizează imagini JPEG puternic comprimate în seturile lor de date și oferă câteva metode noi pentru a mitigă efectele acestora.

Raportul, intitulat Analizarea și mitigarea defectelor de compresie JPEG în învățarea profundă, susține că este “mult mai cuprinzător” decât studiile anterioare privind efectele artefactelor în seturile de date de viziune computerizată. Documentul afirmă că “[compresia JPEG puternică sau moderată] implică o penalitate semnificativă a performanței pe metrice standard” și că rețelele neuronale nu sunt poate atât de rezistente la astfel de perturbații pe cât sugerează lucrările anterioare sugerează.

O fotografie a unui câine din setul de date MobileNetV2 din 2018. La calitatea 10 (stânga), un sistem de clasificare nu reușește să identifice rasa corectă ‘Pembroke Welsh Corgi’, în schimb ghicind ‘Norwich terrier’ (sistemul știe deja că este o fotografie a unui câine, dar nu și rasa); al doilea de la stânga, o versiune corectată a artefactelor JPEG standard nu reușește să identifice rasa corectă; al doilea de la dreapta, corectarea țintită a artefactelor restaurează clasificarea corectă; și dreapta, fotografia originală, clasificată corect. Sursă: https://arxiv.org/pdf/2011.08932.pdf

Artefactele de compresie ca “date”

Compresia JPEG extremă poate crea borduri vizibile sau semi-vizibile în jurul blocurilor de 8×8 din care este alcătuită o imagine JPEG. Odată ce aceste artefacte de blocare sau “ringing” apar, ele pot fi interpretate greșit de sistemele de învățare automată ca elemente reale ale subiectului imaginii, cu excepția cazului în care se face o compensație pentru acest lucru.

Mai sus, un sistem de învățare automată de viziune computerizată extrage o imagine de gradient “curată” dintr-o fotografie de calitate bună. Mai jos, artefactele de blocare dintr-o imagine de calitate scăzută obscurează caracteristicile subiectului și pot “infecta” caracteristicile extrase dintr-un set de imagini, în special în cazurile în care imagini de calitate ridicată și scăzută apar în setul de date, cum ar fi în colecțiile web-scraped la care s-a aplicat doar curățarea datelor generice. Sursă: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

În cazul în care astfel de artefacte pot afecta sarcinile de clasificare a imaginilor, cu implicații și pentru algoritmii de recunoaștere a textului, care pot eșua în a identifica corect caracterele afectate de artefacte.

În cazul sistemelor de antrenare pentru sinteza de imagini (cum ar fi software-ul de deepfake sau sistemele de generare de imagini bazate pe GAN), un bloc “rogue” de imagini de calitate scăzută și puternic comprimate dintr-un set de date poate fie să tragă calitatea medie a reproducerii în jos, fie să fie asimilat și înlocuit de un număr mai mare de caracteristici de calitate superioară extrase din imagini mai bune din set. În orice caz, datele de calitate superioară sunt de dorit – sau, cel puțin, datele consistente.

JPEG – De obicei “suficient de bun”

Compresia JPEG este un codec pierzător ireversibil care poate fi aplicat la diverse formate de imagini, deși este aplicat în principal la formatul de fișier imagine JFIF. În ciuda acestui fapt, formatul JPEG (.jpg) a fost numit după metoda sa de compresie asociată și nu după învelișul JFIF pentru datele imaginii.

Arhitecturi întregi de învățare automată au apărut în ultimii ani care includ mitigarea artefactelor JPEG ca parte a rutinelor de upscaling/restaurare conduse de IA, iar eliminarea artefactelor de compresie bazată pe IA este acum încorporată într-un număr de produse comerciale, cum ar fi suita de imagini/video Topaz și funcțiile neurale ale versiunilor recente ale Adobe Photoshop.

De la schema JPEG din 1986 în uz comun, care a fost practic blocată la începutul anilor 1990, nu este posibil să se adauge metadate la o imagine care să indice nivelul de calitate (1-100) la care a fost salvată imaginea JPEG – cel puțin, nu fără a modifica peste treizeci de ani de software de consum, profesional și academic care nu se așteptau la astfel de metadate disponibile.

Prin urmare, nu este neobișnuit să se adapteze rutinele de antrenare a învățării automate la calitatea evaluată sau cunoscută a datelor imaginilor JPEG, așa cum au făcut cercetătorii pentru noul raport (vezi mai jos). În absența unei intrări de metadate “calitate”, este necesar să se știe detaliile despre modul în care a fost comprimată imaginea (de exemplu, comprimată dintr-o sursă fără pierderi) sau să se estimeze calitatea prin algoritmi percepționali sau clasificare manuală.

Un compromis economic

JPEG nu este singura metodă de compresie pierzătoare care poate afecta calitatea seturilor de date de învățare automată; setările de compresie din fișierele PDF pot, de asemenea, să elimine informații în acest mod și pot fi setate la niveluri de calitate foarte scăzute pentru a economisi spațiu pe disc pentru arhivarea locală sau de rețea.

Acest lucru poate fi observat prin eșantionarea diverselor fișiere PDF de pe archive.org, unele dintre care au fost comprimate atât de puternic încât să fie o provocare notabilă pentru sistemele de recunoaștere a imaginilor sau a textului. În multe cazuri, cum ar fi cărțile cu drepturi de autor, această compresie intensă pare să fi fost aplicată ca o formă de DRM ieftin, în același mod în care deținătorii de drepturi de autor pot alege să reducă rezoluția videoclipurilor încărcate de utilizatori pe YouTube pe care le dețin, lăsând videoclipurile “blocate” ca simboluri promoționale pentru a inspira cumpărări “pe deplin rezoluționate”, în loc să le șteargă.

În multe alte cazuri, rezoluția sau calitatea imaginii este scăzută pur și simplu pentru că datele sunt foarte vechi și provin dintr-o epocă în care stocarea locală și de rețea era mai scumpă, iar vitezele de rețea limitate favorizau imaginile foarte optimizate și portabile în detrimentul reproducerii de calitate superioară.

S-a argumentat că JPEG, deși nu este cea mai bună soluție acum, a fost “înscris” ca infrastructură de moștenire care este esențialmente împletită cu fundamentele internetului.

Încărcătura moștenirii

Deși inovațiile ulterioare, cum ar fi JPEG 2000, PNG și (mai recent) formatul.webp, oferă o calitate superioară, reîmprospătarea seturilor de date de învățare automate mai vechi și foarte populare ar “reseta” continuitatea și istoria provocărilor anuale de viziune computerizată în comunitatea academică – un impediment care s-ar aplica și în cazul în care imaginile din setul de date PNG ar fi resalvate la setări de calitate superioară. Acest lucru ar putea fi considerat o formă de datorie tehnică.

În timp ce bibliotecile de procesare a imaginilor bazate pe server, cum ar fi ImageMagick, acceptă formate mai bune, inclusiv.webp, cerințele de transformare a imaginilor apar adesea în sisteme moștenite care nu sunt configurate pentru altceva decât JPG sau PNG (care oferă compresie fără pierderi, dar la costul latenței și spațiului pe disc). Chiar și WordPress, sistemul de gestionare a conținutului care alimentează aproape 40% din toate site-urile web, a adăugat suport pentru.webp doar cu trei luni în urmă.

PNG a fost o intrare târzie (probabil prea târzie) pe piața formatelor de imagini, apărând ca o soluție open source la sfârșitul anilor 1990, ca răspuns la o declarație din 1995 a Unisys și CompuServe că redevențele vor fi plătite pentru formatul de compresie LZW utilizat în fișierele GIF, care erau utilizate în mod obișnuit atunci pentru logouri și elemente cu culori plate, chiar dacă renașterea GIF-urilor la începutul anilor 2010 s-a concentrat pe capacitatea sa de a oferi conținut animat de bandă joasă și rapid (ironic, PNG-urile animate nu au câștigat popularitate sau suport larg și au fost chiar interzise de Twitter în 2019).

În ciuda limitărilor sale, compresia JPEG este rapidă, eficientă din punct de vedere al spațiului și profund încorporată în sisteme de toate tipurile – și, prin urmare, nu este probabil să dispară complet din scena învățării automate în viitorul apropiat.

Îmbunătățirea detentei AI/JPEG

Comunitatea de învățare automată s-a adaptat, într-o oarecare măsură, capriciilor compresiei JPEG: în 2011, Societatea Europeană de Radiologie (ESR) a publicat un studiu privind “utilizabilitatea compresiei de imagine ireversibile în imagistica radiologică”, oferind îndrumări pentru “pierderi acceptabile”; când setul de date de recunoaștere a textului MNIST (ale cărui date de imagine au fost furnizate inițial într-un format binar inovator) a fost portat la un format de imagine “normal”, JPEG, nu PNG, a fost ales; și o colaborare anterioară (2020) a autorilor noului raport a oferit “o arhitectură inovatoare” pentru calibrarea sistemelor de învățare automată la limitările calității imaginilor JPEG, fără a necesita ca modelele să fie antrenate la fiecare setare de calitate JPEG – o funcție utilizată în lucrarea nouă.

Într-adevăr, cercetarea privind utilitatea datelor de calitate variabilă JPEG este un domeniu relativ înfloritor în învățarea automată. Un proiect din 2016 de la Centrul de Cercetare a Automatizării de la Universitatea din Maryland se concentrează, de fapt, pe domeniul DCT (unde apar artefactele JPEG la setări de calitate scăzută) ca o cale către extragerea caracteristicilor profunde; un alt proiect din 2019 se concentrează pe citirea la nivel de octet a datelor JPEG fără necesitatea de a dezcomprima efectiv imaginile (adică, a le deschide la un moment dat într-un flux de lucru automatizat); și un studiu din 2019 din Franța activează în mod activ compresia JPEG în serviciul rutinelor de recunoaștere a obiectelor.

Testarea și concluziile

Pentru a reveni la cel mai recent studiu de la UoM și Facebook, cercetătorii au căutat să testeze comprehensibilitatea și utilitatea JPEG pe imagini comprimate între 10-90 (sub care imaginea este perturbată imposibil și deasupra căreia este egală cu compresia fără pierderi). Imaginile utilizate în testele au fost precomprimate la fiecare valoare din intervalul de calitate țintă, implicând cel puțin opt sesiuni de antrenare.

Modelele au fost antrenate pe descendentul gradientului stohastic pe patru metode: bază, unde nu s-au adăugat mitigări suplimentare; reglare fină supravegheată, unde setul de antrenare are avantajul greutăților preantrenate și a datelor etichetate (deși cercetătorii admit că acest lucru este dificil de replicat în aplicații la nivel de consum); corectarea artefactelor, unde se efectuează ameliorarea/ameliorarea asupra imaginilor comprimate înainte de antrenare; și corectarea artefactelor țintite, unde rețeaua de corectare a artefactelor este reglată fin pe erorile returnate.

Antrenamentul a avut loc pe o varietate largă de seturi de date adecvate, inclusiv multiple variante ale ResNet, FastRCNN, MobileNetV2, MaskRCNN și InceptionV3 din Keras.

Rezultatele eşantioanelor de pierderi după corectarea artefactelor țintite sunt visualizate mai jos (mai mic = mai bine).

Nu este posibil să se adâncească în detaliile rezultatelor obținute în studiu, deoarece constatările cercetătorilor sunt împărțite între scopul de a evalua artefactele JPEG și metodele noi pentru a atenua acest lucru; antrenamentul a fost iterat per-calitate pe atât de multe seturi de date; și sarcinile au inclus multiple obiective, cum ar fi detectarea obiectelor, segmentarea și clasificarea.

În esență, noul raport se poziționează ca o lucrare de referință cuprinzătoare care abordează multiple probleme.

În orice caz, raportul conchide în general că “compresia JPEG are o penalitate abruptă în toate domeniile pentru setările de compresie puternică și moderată”. De asemenea, afirmă că strategiile sale de mitigare inovatoare și nelabelate obțin rezultate superioare față de abordările similare; că, pentru sarcinile complexe, metoda supravegheată a cercetătorilor performează mai bine decât egalii săi, în ciuda lipsei de acces la etichete de adevăr; și că aceste metodologii inovatoare permit reutilizarea modelului, deoarece greutățile obținute sunt transferabile între sarcini.

În ceea ce privește sarcinile de clasificare, raportul afirmă în mod explicit că “JPEG degradează calitatea gradientului și induce erori de localizare”.

Autorii speră să extindă studiile viitoare pentru a acoperi și alte metode de compresie, cum ar fi JPEG 2000, WebP, HEIF și BPG, pe lângă posibila aplicare a metodologiei lor în cercetări analoge privind algoritmi de compresie video.

Deoarece metoda de corectare a artefactelor țintite s-a dovedit a fi atât de reușită în studiu, autorii semnalează, de asemenea, intenția de a lansa greutățile antrenate în timpul proiectului, anticipând că “[multe] aplicații vor beneficia de utilizarea greutăților noastre TTAC fără modificări.”

n.b. Imaginea sursă pentru articol provine de la thispersondoesnotexist.com