JPEG-artefaktien ratkaiseminen tietokoneen näön aineistoissa

Marylandin yliopiston ja Facebook AI:n uusi tutkimus on osoittanut, että syväoppimisjärjestelmille, jotka käyttävät aineistossaan voimakkaasti pakattuja JPEG-kuvia, on “merkittävä suorituskykyrajoitus” ja tarjoaa uusia menetelmiä näiden vaikutusten lieventämiseksi.

Tutkimusraportti, jonka otsikkona on JPEG-pakkausvirheiden analyysi ja lieventäminen syväoppimisessa, väittää olevan “merkittävästi kattavampi” kuin aiemmat tutkimukset kuvatietokoneen aineistojen virheiden vaikutuksista. Tutkimus osoittaa, että “[raskas] tai kohtalainen JPEG-pakkaus aiheuttaa merkittävän suorituskykyrajoituksen standardimittareilla”, ja että neurverkot eivät ehkä ole yhtä kestäviä tällaisille häiriöille kuin aiempi tutkimus olettanut.

Koira kuvasta 2018 MobileNetV2 -aineistosta. Laadussa 10 (vasemmalla), luokittelu järjestelmä epäonnistuu tunnistamaan oikean rodun ‘Pembroke Welsh Corgi’, sen sijaan arvaten ‘Norwich terrierin’ (järjestelmä tietää jo, että kyseessä on koira, mutta ei rotua); toisella vasemmalla, valmiin JPEG-artefaktikorjauksen kautta muokattu kuva epäonnistuu jälleen tunnistamaan oikean rodun; toisella oikealla, kohdennettu artefaktikorjaus palauttaa oikean luokittelun; ja oikealla, alkuperäinen kuva, joka on oikein luokiteltu. Lähde: https://arxiv.org/pdf/2011.08932.pdf Lähde: https://arxiv.org/pdf/2011.08932.pdf

Pakkausartefaktit ‘datana’

Ääritetty JPEG-pakkaus on todennäköisesti luova näkyviä tai puolivisiä reunoja 8×8 -lohkojen ympärillä, joista JPEG koostuu pikseliruudukossa. Kun nämä lohko- tai ‘särö’-artefaktit ilmestyvät, ne ovat todennäköisesti väärin tulkitseva machine learning -järjestelmiä maailman todellisiksi osiksi, ellei kompensaatiota tehdä tästä.

Yläpuolella, tietokoneen näköllinen machine learning -järjestelmä poistaa ‘puhtaan’ gradientin kuvasta. Alapuolella, ‘lohko’-artefaktit matalalaatuisessa kuvassa peittävät kohteen piirteitä ja voivat lopulta ‘tarttua’ piirteisiin, jotka on johdettu kuvasta, erityisesti tapauksissa, joissa korkealaatuiset ja matalalaatuiset kuvat esiintyvät aineistossa, kuten verkkokokoelmissa, joille on sovellettu vain yleistä tietojen puhdistusta. Lähde: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Kuten yllä olevasta kuvasta näkyy, tällaiset artefaktit voivat vaikuttaa kuvaluokitteluun, jolla on vaikutuksia myös tekstintunnistusalgoritmeihin, jotka voivat epäonnistua oikean merkin tunnistamisessa artefaktien vaikuttamana.

Kuvasynteesikoulutusjärjestelmissä (kuten deepfake-ohjelmisto tai GAN-pohjaisissa kuvien luomisjärjestelmissä) “vastuuton” matalalaatuinen ja voimakkaasti pakattu kuva aineistossa voi joko laskea medianlaatua tai olla peitetty ja korvattu suuremmalla määrällä korkealaatuisia piirteitä, jotka on poimittu paremmista kuvista. Kummassakin tapauksessa parempaa dataa on toivottavaa – tai ainakin yhdenmukaisempaa dataa.

JPEG – Yleensä ‘riittävä’

JPEG-pakkaus on menetetty pakkaus, jota voidaan soveltaa eri kuvaformaatteihin, vaikka se sovelletaan pääasiassa JFIF-kuvaformaattiin. Vaikka JPEG (.jpg) -formaatti on nimetty pakkausmenetelmänsä mukaan eikä JFIF-kuvaformaatin mukaan, on koko järjestelmä perustunut JPEG-pakkaukseen.

Koko machine learning -arkkitehtuuri on kehittynyt viime vuosina, ja se sisältää JPEG-tyyppisten artefaktien lieventämistä osana tekoälyohjattuja skaalauksen/palauttamisen ohjelmia, ja tekoälypohjainen pakkausartefaktien poisto on nykyään osa useita kaupallisia tuotteita, kuten Topaz-kuvan/video- ohjelmistoa ja neuraalisten ominaisuuksien viimeaikaisissa Adobe Photoshop -versioissa.

koska JPEG-skeema, jota nykyään yleisesti käytetään, on ollut käytössä vuodesta 1986, ja se oli käytännössä lukittu 1990-luvun alussa, ei ole mahdollista lisätä metatietoa kuvaan, joka ilmoittaisi, minkälaatuista JPEG-kuvaa on tallennettu (1-100) – ainakaan ilman muutoksia yli 30 vuoden ajan kehittyneisiin kuluttaja-, ammatti- ja akateemisiin ohjelmistoihin, joissa tällaista metatietoa ei ollut odotettu.

Sen seurauksena on tavallista mukauttaa machine learning -koulutusohjelmia arvioidun tai tunnetun JPEG-kuvaformaatin laatuun, kuten tutkijat ovat tehneät uudessa tutkimuksessa (ks. alla). Metatiedon “laatu”-kohdan puuttuessa on nykyään välttämätöntä joko tietää, miten kuva on pakattu (ts. pakattu häviöttömästä lähdeaineistosta), tai arvioida laatua havaintojen kautta tai manuaalisella luokittelulla.

Taloudellinen kompromissi

JPEG ei ole ainoa menetetty pakkausmenetelmä, joka voi vaikuttaa machine learning -aineistojen laatuun; PDF-tiedostojen pakkausasetukset voivat myös hylätä tietoa ja asettaa erittäin matalat laatusetelit tallennustilaa varten.

Tämä voidaan havaita näyttelemällä eri PDF-tiedostoja archive.orgissa, joista jotkut on pakattu niin voimakkaasti, että ne ovat merkittävä haaste kuvan- tai tekstintunnistusjärjestelmille. Monissa tapauksissa, kuten tekijänoikeuksien alaisissa kirjoissa, tällainen voimakas pakkaus on sovellettu halvan DRM:n (Digital Rights Management) muodossa, samalla tavoin kuin tekijänoikeuksien haltijat voivat valita alentaa YouTube-videoiden resoluutiota, joilla heillä on tekijänoikeudet, jättäen “lohkoiset” videot mainosnäyttöiksi, jotka rohkaisevat “täysresoluutio”-ostoksia, sen sijaan, että ne poistettaisiin.

Monissa muissa tapauksissa resoluutio tai kuvanlaatu on alhainen yksinkertaisesti, koska data on hyvin vanhaa ja peräisin ajalta, jolloin paikallinen ja verkkotallennus oli kalliimpaa, ja jolloin rajoitetut verkkonopeudet suosivat erittäin optimoituja ja siirrettäviä kuvia korkealaatuisen toistoon nähden.

On väitetty, että JPEG, vaikka se ei ole paras ratkaisu nyt, on “jumittunut” poistumattomaksi perusrakenteeksi, joka on käytännössä sekoittunut internetin perustaan.

Perintötaakka

Vaikka myöhemmät innovaatiot, kuten JPEG 2000, PNG ja (viimeisimmäksi).webp-formaatti, tarjoavat paremman laatun, vanhojen, hyvin suosittujen machine learning -aineistojen uudelleenmallinnus aiheuttaisi väittämän mukaan “resetoi” jatkuvuuden ja historian vuosittaisissa tietokoneen näön haasteissa akateemisessa yhteisössä – este, joka koskisi myös PNG-aineistojen uudelleentallentamista korkeampaa laatua varten. Tämä voisi katsotaan jonkinlaiseksi tekniseksi velaksi.

Vaikka vanhat palvelinohjattavat kuvankäsittelykirjastot, kuten ImageMagick, tukevat parempia formaatteja, mukaan lukien.webp, kuvanmuokkausvaatimukset usein esiintyvät perintejärjestelmissä, jotka eivät ole mukautettu mihinkään muuhun kuin JPG- tai PNG-formaattiin (joka tarjoaa häviöttömän pakkaamisen, mutta latenssin ja tallennustilakustannuksien kustannuksella). Jopa WordPress, joka on CMS, joka pyörittää lähes 40% kaikista verkkosivustoista, lisäsi.webp-tuen vain kolme kuukautta sitten.

PNG oli myöhäinen (väittämän mukaan liian myöhäinen) osallistuja kuviformaattiin vuonna 1990-luvun lopulla vastauksena Unisysin ja CompuServen vuonna 1995 tekemään ilmoitukseen, jonka mukaan rojaltit maksetaan LZW-pakkausformaatin käytöstä GIF-tiedostoissa, jotka olivat yleisiä logoissa ja tasavärisissä elementeissä, vaikka formaatin uudelleensynty vuonna 2010 keskittyi sen kykyyn tarjota matalan kaistan ja nopean animaation.

Vaikka JPEG-pakkaus on puutteellinen, se on nopea, tila-tehokas ja syvältä juurtunut järjestelmiin – eikä sitä todennäköisesti poisteta kokonaan machine learning -näkymistä lähitulevaisuudessa.

Parasta AI/JPEG-aselepoa

Machine learning -yhteisö on jo sopeutunut JPEG-pakkausvirheiden ominaisuuksiin: vuonna 2011 Euroopan radiologinen seura (ESR) julkaisi tutkimuksen “Irreversiblen kuvapakkaamisen käytettävyydestä radiologisessa kuvantamisessa”, jossa annettiin ohjeita “hyväksyttävälle” menetykselle; kun vanha MNIST -tekstintunnistusaineisto (jonka kuvadata oli alun perin toimitettu uudessa binäärimuodossa) siirrettiin “normaaliin” kuvaformaattiin, JPEG valittiin, eikä PNG; ja aiempi (2020) yhteistyö uuden tutkimuksen tekijöiden kanssa tarjosi uuden arkkitehtuurin machine learning -järjestelmien kalibroimiseksi JPEG-kuvanlaadun puutteista ilman, että malleja olisi koulutettava kussakin JPEG-laatusäädessä – ominaisuus, jota käytetään uudessa tutkimuksessa.

Todellakin tutkimus JPEG-laadun hyödyllisyydestä on suhteellisen vireä ala machine learning -tutkimuksessa. Yksi (ei liittyvä) vuoden 2016 projekti Marylandin yliopiston automaatioalan tutkimuskeskuksesta keskittyy DCT-alueeseen (jossa JPEG-artefaktit esiintyvät matalassa laadussa), jossa syvät piirteet voidaan poimia; toinen projekti vuodelta 2019 keskittyy JPEG-datan lukemiseen bittitasolla ilman aikaa vievää pakkaamista (ts. avaa ne jossakin automaattisessa työvirrassa); ja tutkimus Ranskasta vuodelta 2019 hyödyntää aktiivisesti JPEG-pakkausta esineen tunnistamisessa.

Testaus ja johtopäätökset

Palataksesi uusimpaan tutkimukseen Marylandin yliopistosta ja Facebookista, tutkijat pyrkivät testaamaan JPEG-ymmärrettävyyttä ja hyödyllisyyttä kuvissa, jotka on pakattu 10-90 (jonka alapuolella kuva on mahdoton häiriö, ja jonka yläpuolella se on vastaava kuin häviötön pakkaus). Käytetyt kuvat pakattiin ennen jokaista arvoa kohdalla olevassa laatusarjassa, mikä edellytti vähintään kahdeksan koulutussessiota.

Mallit koulutettiin stokastisella gradientilla neljällä menetelmällä: perus, jossa ei lisätty mitään lisäkorjausta; valvottu hienosäätö, jossa koulutusaineistolla on etuoikeus esikoulutetuista painoista ja merkityistä tiedoista (vaikka tutkijat myöntävät, että tämä on vaikea toistaa kuluttajatasolla); artefaktikorjaus, jossa parannusta tehdään pakattuihin kuviin ennen koulutusta; ja tehtävän kohdennettu artefaktikorjaus, jossa artefaktikorjausverkko on hienosäädetty palautettujen virheiden perusteella.

Koulutus tapahtui laajalla valikoimalla soveltuvia aineistoja, mukaan lukien useita ResNet-, FastRCNN-, MobileNetV2-, MaskRCNN– ja Kerasin InceptionV3-versioita.

Esimerkki häviöistä tehtävän kohdennetun artefaktikorjauksen jälkeen on visualisoitu alla (alemmat arvot ovat parempia).

On mahdotonta perehtyä syvemmälle tutkimuksen tuloksiin, koska tutkijoiden löydökset on jaettu tavoitteeseen arvioida JPEG-artefakteja ja kehittää uusia menetelmiä niiden lieventämiseksi; koulutus toistettiin laatu kohtaan useiden aineistojen yli; ja tehtäviin kuului useita tavoitteita, kuten esineen havaitseminen, segmentointi ja luokittelu. Tutkimus asettaa itsensä laajaksi viiteksi, joka käsittelee useita ongelmia.

Kuitenkin tutkimusraportti johtaa laajasti siihen, että “JPEG-pakkaus aiheuttaa jyrkkän rangaistuksen yleensä raskaiden ja kohtalaiden pakkausasetusten osalta”. Se myös väittää, että sen uudet tunnisteettomat lieventämisstrategiat saavuttavat parempia tuloksia muihin samankaltaisiin lähestymistapoihin nähden; että monimutkaisissa tehtävissä tutkijoiden valvottu menetelmä myös ylittää vertaisensa, vaikka sillä ei ole pääsyä perusmerkkien tunnisteisiin; ja että nämä uudet metodit sallivat mallien uudelleenkäytön, koska saadut painot ovat siirrettävissä tehtävien välillä.

Luokittelu tehtävissä tutkimusraportti toteaa nimenomaisesti, että “JPEG heikentää gradientin laatua ja aiheuttaa sijaintivirheitä”.

Tutkijat toivovat, että he voivat laajentaa tulevia tutkimuksia käsittämään muita pakkausmenetelmiä, kuten melko laiminlyötyä JPEG 2000:aa, sekä WebP-, HEIF– ja BPG-formaatteja. He ehdottavat myös, että heidän metodologiaansa voidaan soveltaa vastaavaan video-pakkausalgoritmien tutkimukseen.

Koska tehtävän kohdennettu artefaktikorjausmenetelmä on osoittautunut niin menestyksekkääksi tutkimuksessa, tutkijat ilmoittavat aikovansa julkaista tutkimuksessa koulutetut painot, odottaen, että “[monet] sovellukset hyötyvät käyttämällä TTAC-painoja ilman muutoksia.”

Huom. Artikkelin lähdekuva on peräisin thispersondoesnotexist.comista