Disneyn tutkimusryhmä tarjoaa parannellun kuvanpakkausmenetelmän, joka perustuu tekoälyyn – mutta se saattaa luulla yksityiskohtia

Disneyn tutkimusryhmä tarjoaa uuden kuvanpakkausmenetelmän, joka hyödyntää avoimen lähdekoodin Stable Diffusion V1.2 -mallia luodakseen realistisemman kuvan alhaisemmilla bittinopeuksilla kuin kilpailevat menetelmät.

Disneyn pakkausmenetelmä verrattuna aiempiin lähestymistapoihin. Tekijät väittävät parantaneensa yksityiskohtien palauttamista ja tarjoavat mallin, joka ei vaadi satoja tuhansia dollareita koulutukseen ja joka toimii nopeammin kuin lähin vastaava kilpaileva menetelmä. Lähde: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Uusi lähestymistapa (määritelty “koodekiksi” vaikka se on monimutkaisempi kuin perinteiset koodekit, kuten JPEG ja AV1) voidaan käyttää minkä tahansa Latent Diffusion Model (LDM):n kanssa. Määrällisissä testeissä se ylittää aiemmat menetelmät tarkkuuden ja yksityiskohtien suhteen, ja vaatii merkittävästi vähemmän koulutusta ja laskentakustannuksia.

Uuden työn avainnäkemyksellä on, että kvantisaatiovirhe (keskeinen prosessi kaikessa kuvapakkaamisessa) on samankaltainen kuin melu (keskeinen prosessi diffuusiomalleissa).

Siten perinteisesti kvantisoitu kuva voidaan käsitellä meluisana versiona alkuperäisestä kuvasta, ja sitä voidaan käyttää LDM:n denoising-prosessissa sijaan, että käytettäisiin satunnaista melua, jotta kuva voidaan rekonstruoida kohdebittinopeudella.

Lisää vertailuja uudesta Disneyn menetelmästä (korostettu vihreällä), verrattuna kilpaileviin lähestymistapoihin.

Tekijät väittävät:

‘[Me] muotoilemme kvantisaatiovirheen poistamisen denoising-tehtäväksi, käyttäen diffuusiota kadonneen tiedon palauttamiseen lähetetyn kuvan latentissa. Meidän lähestymistapamme mahdollistaa alle 10 prosentin täydellisen diffuusioprosessin suorittamisen ja vaatii ei ole tarpeen rakenteellisia muutoksia diffuusiomalliin, mikä mahdollistaa perusmallien käytön vahvana eturyhmänä ilman lisäkoulutusta.

‘Meidän ehdottamamme koodekki ylittää aiemmat menetelmät määrällisissä realismin mittareissa, ja me vahvistamme, että meidän rekonstruktioimme ovat laadullisesti parempia loppukäyttäjien mielestä, jopa silloin, kun muut menetelmät käyttävät kaksinkertaista bittinopeutta.’

Kuitenkin, yhdessä muiden hankkeiden kanssa, jotka pyrkivät hyödyntämään diffuusiomallien pakkausominaisuuksia, tuloste saattaa luulla yksityiskohtia. Toisaalta, häviävät menetelmät, kuten JPEG, tuottavat selvästi vääristyneitä tai sileitä yksityiskohtia, jotka voidaan tunnistaa pakkausrajoituksina.

Sen sijaan Disneyn koodekki saattaa muuttaa yksityiskohtia kontekstista, jota ei ollut alkuperäisessä kuvassa, johtuen tyypillisten mallien, jotka on koulutettu hyperskaalaisilla tiedoilla, karkeasta Variational Autoencoder (VAE):n luonteesta.

‘Samankaltainen kuin muut generatiiviset lähestymistavat, meidän menetelmämme saattaa hylätä tiettyjä kuvan piirteitä, samalla kun syntetisoidaan samankaltaista tietoa vastaanottajan puolella. Tietyissä tapauksissa kuitenkin tämä saattaa johtaa epätarkkaan rekonstruktioon, kuten suorien viivojen taipumiseen tai pienten esineiden reunan vääristymiseen.

‘Nämä ovat tunnettuja ongelmia perusmallista, jota me rakennamme, ja ne voidaan attribuoida sen VAE:n suhteellisen alhaiseen piirteiden ulottuvuuteen.’

Vaikka tämä on joitakin vaikutuksia taiteellisiin esityksiin ja valokuvien uskottavuuteen, se saattaa vaikuttaa enemmän tapauksiin, joissa pienet yksityiskohdat muodostavat olennaisen tiedon, kuten oikeudenkäynneissä, kasvojentunnistuksessa, optisessa tekstintunnistuksessa ja monissa muissa mahdollisissa sovelluksissa, mikäli tällainen koodekki yleistyy.

Tässä varhaisessa vaiheessa tekoälypohjaisen kuvapakkaamisen kehityksessä kaikki nämä mahdolliset skenaariot ovat kaukana tulevaisuudesta. Kuvien tallennus on kuitenkin hyperskaalainen globaali haaste, joka liittyy tietojen tallennukseen, suoratoistoon ja sähkönkulutukseen, sekä muihin kysymyksiin. Siksi tekoälypohjainen pakkaus saattaa tarjota houkuttelevan kompromissin tarkkuuden ja logistiikan välillä. Historia osoittaa, että parhaat koodekit eivät aina voita laajimman käyttäjäkunnan, kun kysymyksiin, kuten lisensointi ja markkinoiden valtaus omistetuilla formaateilla, vaikuttavat tekijät.

Disney on kokeillut koneoppimista pakkausmenetelmänä pitkään. Vuonna 2020 yksi tutkijoista, joka osallistui uuteen tutkimukseen, oli mukana VAE-pohjaisessa hankkeessa parannetun videopakkauksen kehittämiseksi.

Uusi Disneyn tutkimus julkaistiin lokakuun alussa. Tänään yhtiö julkaisi siihen liittyvän YouTube-videon. Hankkeen nimi on Häviävä kuvapakkaus perusdiffuusiomalleilla, ja se on neljän tutkijan työ ETH Zürichistä (joka on liitetty Disneyn tekoälyprojekteihin) ja Disneyn tutkimusryhmästä. Tutkijat tarjoavat myös liitteisen tutkimuksen.

Menetelmä

Uusi menetelmä käyttää VAE:ta kuvan koodaamiseen tiivistetyksi latenttirepresentaatioksi. Tässä vaiheessa syötekuvasta muodostetaan johdettuja piirteitä – matalan tason vektoripohjaisia esityksiä. Latenttinen upotus kvantisoituu takaisin bittivirtana, ja takaisin pikselitilaan.

Tämä kvantisoitu kuva käytetään sitten mallina melulle, joka yleensä käynnistää diffuusiopohjaisen kuvan, jossa on vaihteleva määrä denoising-vaiheita (joissa on usein kompromissi lisääntyneiden denoising-vaiheiden ja suuremman tarkkuuden välillä vs. alempaa viivettä ja suurempaa tehokkuutta).

Uuden Disneyn pakkausmenetelmän skeema.

Molemmat kvantisaatioparametrit ja denoising-vaiheiden kokonaismäärä voidaan hallita uuden järjestelmän kautta, kouluttamalla neuroniverkkoa, joka ennustaa asiaankuuluvia muuttujia näihin asiakokonaisuuksiin liittyen. Tätä prosessia kutsutaan adaptiiviseksi kvantisaatioksi, ja Disneyn järjestelmä käyttää Entroformer-kehyksenä, joka mahdollistaa tämän menetelmän.

Tekijät toteavat:

‘Intuitiivisesti, meidän menetelmämme oppii hylkäämään tiedon (kvantisaatiomuodon kautta), joka voidaan syntetisoida diffuusioprosessin aikana. Koska virheet, jotka aiheutuvat kvantisaatiosta, ovat samankaltaisia kuin melun lisääminen, ja diffuusiomallit ovat toiminnallisesti denoising-malleja, niitä voidaan käyttää poistamaan kvantisaatiomelua, joka aiheutuu koodauksen aikana.’

Stable Diffusion V2.1 on diffuusiopohjainen runko järjestelmälle, valittu siksi, että koko koodi ja peruspainot on julkaistu vapaasti. Kuitenkin tekijät korostavat, että heidän skeemansa on sovellettavissa laajemmin malleihin.

Avaaminen on keskeinen tekijä prosessin taloudellisuudessa, joka arvioi optimaalisen määrän denoising-vaiheita – tasapainoilu tehokkuuden ja suorituskyvyn välillä.

Aikamuistin ennustukset, joissa optimaalinen määrä denoising-vaiheita on merkitty punaisella kehyksellä. Viittaa alkuperäiseen PDF:hen tarkkaa resoluutiota varten.

Määrä melua latenttisessa upotuksessa on otettava huomioon, kun tehdään ennustus parhaasta määrästä denoising-vaiheita.

Data ja testit

Malli koulutettiin Vimeo-90k-aineistolla. Kuvat leikattiin satunnaisesti 256x256px:ksi kullekin epookille (ts. kullekin kertaan, kun aineisto syötettiin mallin koulutusarkkitehtuuriin).

Malli optimoitiin 300 000 askelella oppimisnopeudella 1e-4. Tämä on yleisin käytäntö tietokonegrafiikassa, ja myös alhaisin ja hienojakoisin yleisesti käytetty arvo, jossa on tasapaino aineiston laajan yleistymisen ja yksityiskohtien toistamisen välillä.

Tekijät kommentoivat joitakin taloudellisia huomioita, jotka liittyvät taloudelliseen ja tehokkaaseen järjestelmään*:

‘Koulutuksen aikana on esteettä backpropagoida gradientti useiden diffuusiomallin kierrosten läpi, jotka suoritetaan DDIM-näytteenottoprosessin aikana. Siksi suoritamme vain yhden DDIM-näytteenottokierroksen ja käytämme sitä suoraan täysin denoising-datana.’

Aineistot, joita käytettiin järjestelmän testaamiseen, olivat Kodak; CLIC2022; ja COCO 30k. Aineisto esikäsiteltiin Google:n vuoden 2023 tarjoaman menetelmän mukaisesti Monirealismikuvapakkaus ehdollisella generoijalla.

Mittareina käytettiin Huippu-signaali-melun suhdetta (PSNR); Opetetun havainnollisen samankaltaisuuden mittarin (LPIPS); Moniskaalaisen rakenteellisen samankaltaisuuden indeksin (MS-SSIM); ja Fréchet Inception -etäisyyden (FID).

Vertailtaviksi otetuista aiemmista kehyksistä osa oli vanhoja järjestelmiä, jotka käyttivät generatiivisia vastakkainasettelumalleja (GAN), ja osa oli uudempia, diffuusiomalleihin perustuvia tarjouksia. GAN-järjestelmät, joita testattiin, olivat High-Fidelity Generative Image Compression (HiFiC); ja ILLM (joka tarjoaa joitakin parannuksia HiFiC:hen).

Diffuusiopohjaiset järjestelmät olivat Häviävä kuvapakkaus ehdollisilla diffuusiomalleilla (CDC) ja Korkealaatuinen kuvapakkaus pisteytyksellä perustuvilla generatiivisilla malleilla (HFD).

Määrälliset tulokset aiempiin kehyksiin verrattuna eri aineistoilla.

Määrällisistä tuloksista (jotka on visualisoitu yllä) tutkijat toteavat:

‘Meidän menetelmämme asettaa uuden tilan tarkkuudessa rekonstruoituissa kuvissa, ylittäen kaikki vertailukohteet FID-bittinopeuskaavioissa. Joissakin vääristymismittareissa (nimittäin LPIPS ja MS-SSIM) me ylittämme kaikki diffuusiopohjaiset koodekit, samalla kun säilymme kilpailukykyisinä parhaiden generatiivisten koodekkien kanssa.

‘Kuten odottaa, meidän menetelmämme ja muut generatiiviset menetelmät kärsivät, kun mitataan PSNR:llä, koska suosimme havainnollisesti miellyttäviä rekonstruktioita tarkkaa yksityiskohtien toistoa vastaan.’

Käyttäjätutkimuksessa käytettiin kaksi vaihtoehtoista pakkoa (2AFC) menetelmää, turnauskontekstissa, jossa suosituimmat kuvat etenivät myöhempiin kierroksiin. Tutkimuksessa käytettiin Elo-arvostusjärjestelmää, joka on alun perin kehitetty shakkiturnauksia varten.

Käyttäjät näkivät ja valitsivat parhaan kahden esitetyn 512x512px-kuvan parin eri generatiivisten menetelmien kesken. Lisäksi tehtiin lisätutkimus, jossa kaikki kuvan vertailut samalta käyttäjältä arvioitiin Monte Carlo -simulaation avulla 10 000 iteroinnilla, ja mediaaniarvo esitetään tuloksissa.

Arvioidut Elo-arvot käyttäjätutkimukselle, jotka esittävät Elo-turnauksia jokaiselle vertailulle (vasemmalla) ja jokaiselle osallistujalle, joissa korkeammat arvot ovat parempia.

Tässä tutkijat toteavat:

‘Kuten Elo-arvoista voidaan nähdä, meidän menetelmämme ylittää kaikki muut merkittävästi, jopa verrattuna CDC:hen, joka käyttää keskimäärin kaksinkertaisen bittimäärän kuin meidän menetelmämme. Tämä pitää paikkansa riippumatta Elo-turnaustaktiikasta, jota käytetään.’

Alkuperäisessä tutkimuksessa, sekä liitteisessä PDF:ssä, tutkijat tarjoavat lisää visuaalisia vertailuja, joista yksi on esitetty aiemmin tässä artikkelissa. Kuitenkin erojen hienovaraisuuden vuoksi viitataan alkuperäiseen PDF:hen, jotta tulokset voidaan arvioida reilusti.

Tutkimus päättyy huomauttamalla, että ehdotettu menetelmä toimii kaksi kertaa nopeammin kuin kilpaileva CDC (3,49 vs 6,87 sekuntia). Se myös huomauttaa, että ILLM voi prosessoida kuvan 0,27 sekunnissa, mutta tämä järjestelmä vaatii raskasta koulutusta.

Johtopäätös

ETH/Disneyn tutkijat ovat selkeät tutkimuksensa lopussa siitä, että heidän järjestelmänsä voi tuottaa virheellisiä yksityiskohtia. Kuitenkaan mikään näytteistä, jotka on esitetty materiaalissa, ei keskity tähän ongelmaan.

Reilusti, tämä ongelma ei ole rajoitettu uuteen Disneyn lähestymistapaan, vaan se on väistämätön sivutuote diffuusiomallien käytöstä kuvien pakkaamiseen – luovaa ja tulkintaa vaativaa arkkitehtuuria.

Mielenkiintoista kyllä, vain viisi päivää sitten kaksi muuta tutkijaa ETH Zürichistä julkaisi tutkimuksen otsikolla Ehdolliset hallucinaatiot kuvapakkaamiseen, jossa tutkitaan “optimaalisen hallucinaation” mahdollisuutta tekoälypohjaisissa pakkausjärjestelmissä.

Näissä tutkijat esittävät tapauksen hallucinaatioiden puolesta, kun alue on tarpeeksi yleinen (ja väittävät, että se on “vaaraton”):

‘Tekstuurin kaltaisissa sisällöissä, kuten ruohossa, luomissa ja kivimuureissa, pikseleiden generointi, jotka vastaavat realistisesti annettua tekstuuria, on tärkeämpää kuin tarkan pikseliarvon rekonstruktio; generointi minkä tahansa näytteen tekstuurin jakeluun on yleensä riittävää.’

Näin ollen toinen tutkimus esittää tapauksen “luovasta” ja “edustavasta” pakkaamisesta, eikä ainoastaan alkuperäisen, pakkaamattoman kuvan yksityiskohtien toistamisesta.

Yksi voi ihmetellä, mitä valokuvaus- ja luovien yhteisöjen tulisi ajatella tästä melko radikaalista “pakkauksen” uudelleenmäärittelystä.

*Minun muutos tekijöiden sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran keskiviikkona, 30. lokakuuta 2024