JPEG AI häivittää rajan oikean ja synteettisen kuvan välillä

Helmikuussa tänä vuonna julkaistiin JPEG AI -kansainvälinen standardi, jossa käytetään koneoppimismenetelmiä tuottamaan pienempi ja helpommin siirrettävä ja tallennettava kuvakoodi ilman havaittavaa laadun heikentymistä.

Virallisen JPEG AI -julkaisujakelun vertailu huipputehokkuuden ja signaali-melun suhteen (PSNR) ja JPEG AI:n koneoppimismenetelmän välillä. Lähde: https://jpeg.org/jpegai/documentation.html

Tämän kehityksen saama vähäinen huomio saattaa johtua siitä, että tämän ilmoituksen ydinpdf-tiedostot eivät olleet (ironisesti) saatavilla vapaasti Arxiv- ja muilla portaaleilla. Arxiv oli kuitenkin jo esittänyt useita tutkimuksia, jotka tarkastelivat JPEG AI:n merkitystä useilla alueilla, mukaan lukien menetelmän epätavalliset pakkausartefaktit ja sen merkitys oikeudellisissa tutkimuksissa.

Yksi tutkimus vertasi pakkausartefakteja, myös JPEG AI:n aiempaa versiota, ja totesi, että uusi menetelmä häikäisi tekstin – mikä ei ole vähäpätöinen asia tapauksissa, joissa koodi saattaa vaikuttaa todisteisiin. Lähde: https://arxiv.org/pdf/2411.06810

Koska JPEG AI muuttaa kuvia tavalla, joka muistuttaa synteettisten kuvien luomiseen käytettävien menetelmien artefakteja, olemassa olevat oikeudelliset tutkimusvälineet kärsivät vaikeuksista erottaa aito ja väärennetty kuvamateriaali:

JPEG AI -pakkauksen jälkeen uusimmat algoritmit eivät pysty luotettavasti erottamaan aitoa sisältöä muokatuista alueista sijaintikartoissa, kuten maaliskuussa 2025 julkaistussa tutkimuksessa todettiin. Vasemmalla olevat esimerkit ovat väärennettyjä/tehokkaita kuvia, joissa väärennetyt alueet on selvästi erotettavissa perinteisillä oikeudellisilla menetelmillä (keskikuva). JPEG AI -pakkauksen ansiosta väärennettyjen kuvien uskottavuus kuitenkin kasvaa (oikea kuva). Lähde: https://arxiv.org/pdf/2412.03261

Toinen syy tähän on, että JPEG AI on koulutettu käyttämään samankaltaista mallirakennetta kuin generatiiviset järjestelmät, joita oikeudelliset tutkimusvälineet pyrkivät havaitsemaan:

Uusi tutkimus osoittaa yhtäläisyyksiä ai-pohjaisen kuvapakkauksen ja varsinaisten ai-kuvien luomiseen käytettävien menetelmien välillä. Lähde: https://arxiv.org/pdf/2504.03191

Näin ollen molemmat mallit voivat tuottaa joitakin samankaltaisia visuaalisia piirteitä, joita oikeudelliset tutkimusvälineet voivat havaita.

Quantization

Tämä risteytyminen johtuu kvantifiointia, jota käytetään molemmissa arkkitehtuureissa, ja jota käytetään koneoppimisessa sekä jatkuvan datan muuntamiseksi diskreeteiksi datapisteiksi, että optimointitekniikkana, joka voi merkittävästi pienentää koulutetun mallin tiedostokokoa (harrastajat, jotka tekevät kuvasynteesiä, tuntevat odottelun virallisen mallin julkaisun ja yhteisön kehittämän kvantitoidun version välillä, jota voidaan suorittaa paikallisesti).

Tässä yhteydessä kvantifiointi tarkoittaa prosessia, jossa kuvan latenttinen edustus muunnetaan kiinteiksi, diskreeteiksi askeliksi. JPEG AI käyttää tätä prosessia vähentämään tallennettavan tai siirrettävän kuvan tarvitseman datamäärän yksinkertaistamalla sisäisen numeerisen edustuksen.

Vaikka kvantifiointi tekee koodauksesta tehokkaamman, se myös aiheuttaa rakenteellisia säännöllisyyksiä, jotka voivat muistuttaa generatiivisten mallien jättämiä artefakteja – niin hienovaraisia, ettei niitä havaita, mutta haitallisia oikeudellisille tutkimusvälineille.

Vastauksena uudessa tutkimuksessa otsikolla Three Forensic Cues for JPEG AI Images ehdotetaan tulkinettavia, ei-neuraalisia menetelmiä, joilla voidaan havaita JPEG AI -pakkauksen; määrittää, onko kuva pakattu uudelleen; ja erottaa pakatut aito kuvamateriaali kokonaan ai-malleilla luoduista kuvista.

Menetelmä

Värikorrelaatiot

Tutkimus ehdottaa kolmea “oikeudellista vihjettä” JPEG AI -kuvia varten: värikorrelaatiot, jotka esitellään JPEG AI:n esikäsittelyvaiheessa; mittaavat häiriöt kuvanlaadussa useiden pakkauksen kierrosten aikana, jotka paljastavat uudelleenpakkauksen tapahtumia; ja latenttiluvun kvantifiointimallit, jotka auttavat erottamaan kuvat, jotka on pakattu JPEG AI:lla, ja kuvat, jotka on luotu ai-malleilla.

Värikorrelaatiopohjaisen lähestymistavan osalta JPEG AI:n esikäsittelyputki luo tilastollisia riippuvuuksia kuvan värikanaalien välille, luoden näin oikeudellisen vihjeen.

JPEG AI muuttaa RGB-kuvat YUV-väriavaruuteen ja suorittaa 4:2:0 kroma-aliotsaamisen, joka sisältää kroma-kanavien pudottamisen ennen pakkauksen suorittamista. Tämä prosessi johtaa hienoihin korrelaatioihin punaisen, vihreän ja sinisen kanavien välillä – korrelaatioihin, jotka eivät ole läsnä pakkaamattomissa kuvissa, ja jotka eroavat voimakkuudeltaan perinteisestä JPEG-pakkauksesta tai synteettisistä kuvageneraattoreista.

Esimerkki siitä, miten toistuva pakkauksen vaikuttaa kuvanlaatuun eri koodekeissa, mukaan lukien JPEG AI ja neurokoodekki, joka on kehitetty osoitteessa https://arxiv.org/pdf/1802.01436; molemmat näyttävät tasaisen PSNR-laskun jokaisen pakkauksen kierroksen aikana – jopa alhaisilla bitrateilla. Perinteinen JPEG-pakkauksen säilyttää suhteellisen vakaan laadun useiden pakkauksen kierrosten aikana, ellei bitrate ole korkea. Tämä käyttäytyminen toimii esimerkkinä siitä, miten uudelleenpakkauksen jäljet voidaan mitata ai-pohjaisissa koodekeissa, tarjoten mahdollisen oikeudellisen signaalin.

Yllä olevassa kuvassa on esitetty kaavio, joka osoittaa, miten toistuva pakkauksen vaikuttaa kuvanlaatuun eri koodekeissa, mukaan lukien JPEG AI ja neurokoodekki, joka on kehitetty osoitteessa https://arxiv.org/pdf/1802.01436; molemmat näyttävät tasaisen PSNR-laskun jokaisen pakkauksen kierroksen aikana – jopa alhaisilla bitrateilla. Perinteinen JPEG-pakkauksen säilyttää suhteellisen vakaan laadun useiden pakkauksen kierrosten aikana, ellei bitrate ole korkea. Tämä käyttäytyminen toimii esimerkkinä siitä, miten uudelleenpakkauksen jäljet voidaan mitata ai-pohjaisissa koodekeissa, tarjoten mahdollisen oikeudellisen signaalin.

Tämä käyttäytyminen tarjoaa mitattavissa olevan signaalin, jota voidaan käyttää merkitsemään uudelleenpakattuja JPEG AI -kuvia.

Quantization

Kuten aiemmin nähtiin, yksi haasteellisimmista oikeudellisista ongelmista, jonka JPEG AI aiheuttaa, on sen visuaalinen samankaltaisuus synteettisiin kuvien kanssa, jotka on luotu diffuusiomalleilla. Molemmat järjestelmät käyttävät koodaus-dekoodaus-arkkitehtuureja, jotka prosessoidaan tiivistetyssä latenttiavaruudessa ja usein jättävät jälkeensä hienoisia ylösotteen artefakteja.

Nämä jaetut piirteet voivat hämätä havaintoja – jopa niitä, jotka on koulutettu uudelleen JPEG AI -kuvilla. On kuitenkin yksi tärkeä rakenteellinen ero: JPEG AI soveltaa kvantifiointia, vaihetta, jossa latentit arvot pyöristetään diskreeteiksi tasolle tehokkaan pakkauksen vuoksi, kun taas generatiiviset mallit eivät yleensä tee sitä.

Uusi tutkimus käyttää tätä eroa suunnittelemaan oikeudellisen vihjeen, joka epäsuoraan testaa kvantifiointia. Menetelmä analysoi, miten kuvan latenttinen edustus reagoi pyöristämiseen, olettaen, että jos kuva on jo kvantifioidu, sen latenttirakenne näyttää mitattavissa olevan pyöristämisen jälkeen.

Nämä mallit, vaikka ne ovat silmille näkymättömiä, tuottavat tilastollisia eroja, jotka voivat auttaa erottamaan pakatut aito kuvamateriaalit täysin synteettisistä.

Esimerkki keskimääräisistä Fourier-spektreistä osoittaa, että sekä JPEG AI -pakattuja kuvia että diffuusiomalleilla luotuja kuvia, kuten Midjourney-V5 ja Stable Diffusion XL, näyttävät säännöllisiä ruutumaisia kuvioita taajuusalueella – artefakteja, jotka yleensä liittyvät ylösotteen kanssa. Toisaalta, aito kuvamateriaali puuttuu näistä kuvioista. Tämä yhtenäisyys spektrirakenteessa auttaa selittämään, miksi oikeudelliset tutkimusvälineet usein sekoittavat pakatut aito kuvamateriaalit synteettisten kanssa.

Tärkeää on, että tutkijat osoittavat, että tämä vihje toimii eri generatiivisten mallien kanssa ja säilyy tehokkaana, vaikka pakkauksen on voimakas ja voi tyhjentää latenttiavaruuden kokonaan. Toisaalta, synteettiset kuvat näyttävät heikompia reaktioita tähän pyöristämistestiin, tarjoten käytännöllisen tavan erottaa nämä kaksi.

Tulos on tarkoitettu kevyeksi ja tulkinettavaksi työkaluksi, joka kohdistuu pakkauksen ja luomisen perusrakenteelliseen eroon, eikä riipu herkkien pinnanomaisista artefakteista.

Data ja testit

Pakkauksen

Arvioidakseen, voivatko heidän värikorrelaatioviitteensä luotettavasti havaita JPEG AI -pakkauksen (ts. ensimmäisen kierroksen pakkaamattomasta lähdekuvesta), tutkijat testasivat sitä korkealaatuisilla pakkaamattomilla kuvilla RAISE-tietokannasta, pakkauksen eri bitrateilla JPEG AI -viittausmenetelmällä.

He kouluttivat yksinkertaisen satunnaisen metsän tilastollisista kuvioista värikanaalien korrelaatioista (erityisesti siitä, miten jokaisen kanavan jäännösmelua sopusoituu muiden kanssa) ja vertasivat sitä ResNet50 -neuraaliverkkoon, joka oli koulutettu suoraan kuvapikseleistä.

JPEG AI -pakkauksen havaintatarkkuus värikorrelaatio-ominaisuuksilla, vertaillaan eri bitrateilla. Menetelmä on tehokkain alhaisilla bitrateilla, joilla pakkausartefaktit ovat voimakkaampia, ja näyttää parempaa yleistettävyyttä näkymättömiin pakkaukseen verrattuna ResNet50-malliin.

ResNet50 saavutti korkeamman tarkkuuden, kun testidata vastasi sen koulutusolosuhteita, mutta se kamppaili yleistettävyyden eri pakkaukseen. Korrelaatiopohjainen lähestymistapa, vaikka se oli paljon yksinkertaisempi, osoitti olevan tasaisempi eri bitrateilla, erityisesti alhaisilla pakkauksen tasolla, jossa JPEG AI:n esikäsittely vaikutti voimakkaammin.

Nämä tulokset osoittavat, että ilman syvää oppimista on mahdollista havaita JPEG AI -pakkauksen tilastollisilla vihjeillä, jotka säilyvät tulkinettavina ja kestävinä.

Uudelleenpakkauksen

Arvioidakseen, voivatko heidän bitrate ja hävikko -vihjeensä luotettavasti havaita JPEG AI -uudelleenpakkauksen, tutkijat testasivat sitä joukossa kuvia, jotka oli pakattu eri bitrateilla – joitakin ainoastaan kerran ja toisia toistamiseen JPEG AI:lla.

Tämä menetelmä sisälsi 17-ulotteisen ominaisuusvektorin, joka seurasi, miten kuvan bitrate ja PSNR kehittyivät kolmen pakkauksen kierroksen aikana. Tämä ominaisuusjoukko tallensi, kuinka paljon laatu hävisi kussakin vaiheessa, ja miten latentti- ja hyperprior -nopeudet käyttäytyivät – mitattavia, joita perinteiset pikselipohjaiset menetelmät eivät voi helposti päättää.

Tutkijat kouluttivat satunnaisen metsän näistä ominaisuuksista ja vertasivat sen suorituskykyä ResNet50:aan, joka oli koulutettu kuvapikseleistä:

Tulokset JPEG AI -kuvan uudelleenpakkauksen luokitteluntarkkuudesta satunnaisen metsän avulla, joka on koulutettu bitrate ja hävikko -ominaisuuksilla. Menetelmä toimii parhaiten, kun alkuperäinen pakkauksen on voimakas (ts. alhaisilla bitrateilla), ja sen jälkeen se ylittää johdonmukaisesti pikselipohjaisen ResNet50 -mallin – erityisesti tapauksissa, joissa toinen pakkauksen on lempeämpi kuin ensimmäinen.

Satunnainen metsä osoitti merkittävää tehokkuutta, kun alkuperäinen pakkauksen oli voimakas (ts. alhaisilla bitrateilla), paljastaen selvät erot yksinkertaisesti ja kaksinkertaisesti pakattujen kuvien välillä. Bitrate ja hävikko -ominaisuudet, toisaalta, säilyivät vakaana laajalla valikoimalla skenaarioita. Huomionarvoista on, että vihje toimi myös, kun sovellettiin toiseen ai-pohjaiseen koodeksiin, osoittaen, että lähestymistapa yleistyy JPEG AI:n ulkopuolelle.

Tämä bitrate ja hävikko -ominaisuus säilyi stabiilina laajalla valikoimalla skenaarioita.

JPEG AI ja synteettiset kuvat

Viimeisessä testikierroksessa tutkijat testasivat, voivatko heidän kvantifiointipohjaiset ominaisuudet erottaa JPEG AI -pakattuja kuvia täysin synteettisistä kuvista, jotka on luotu malleilla, kuten Midjourney, Stable Diffusion, DALL-E 2, Glide ja Adobe Firefly.

He käyttivät Synthbuster -tietokannan alajoukkoa, joka yhdisti aitoja valokuvia RAISE-tietokannasta ja kuvia, jotka on luotu eri diffuusiomalleilla.

Esimerkkejä synteettisistä kuvista Synthbusterissa, jotka on luotu tekstiprompteilla, jotka ovat inspiroituja luonnollisista valokuvista RAISE-1k -tietokannasta. Lähde: https://ieeexplore.ieee.org/document/10334046

Aito kuvamateriaali pakattiin JPEG AI:lla useilla bitrateilla, ja luokittelu tehtiin kahden vaihtoehtona: joko JPEG AI vastaan tietty generoija tai tietty bitrate vastaan Stable Diffusion XL.

Kvantifiointi-ominaisuudet (korrelaatiot latenttisista edustuksista) laskettiin kiinteästä 256×256 alueesta ja syötettiin satunnaiselle metsälle. Vertailukohtana käytettiin ResNet50:aa, joka oli koulutettu samasta datasta.

Luokitteluntarkkuus satunnaisella metsällä, joka käyttää kvantifiointi-ominaisuuksia, erottamaan JPEG AI -pakattuja kuvia synteettisistä kuvista.

Useimmissa olosuhteissa kvantifiointipohjainen lähestymistapa ylitti ResNet50-baselin, erityisesti alhaisilla bitrateilla, joilla pakkausartefaktit olivat voimakkaampia.

Tutkijat toteavat:

‘Vertailukohdassa ResNet50 suoriutuu parhaiten Glide-kuvilla, saavuttaen 66,1 prosentin tarkkuuden, mutta muutoin se yleistyy huonommin. Kvantifiointi-ominaisuudet näyttävät hyvää yleistettävyyttä pakkauksen voimakkuuden ja generoijatyypin suhteen.

‘Kvantifiointiin pyöristetyjen kertoimien merkitys on havaittavissa, ja niiden suorittaminen useissa tapauksissa vastaa ResNet50-luokittelijan suorituskykyä. Kuitenkin kvantifiointi-ominaisuudet, jotka käyttävät täysimittaista kokonaislukuvektoria, suoriutuvat edelleen merkittävästi paremmin.

‘Tämä vahvistaa, että kvantifiointiin nollattujen arvojen määrä on tärkeä vihje ai-pakattujen ja ai-luotujen kuvien erottamiseen. Kuitenkin se myös osoittaa, että muita tekijöitä vaikuttaa. JPEG AI:n havaitsemisen tarkkuus on kaikilla bitrateilla yli 91,0 prosenttia, ja voimakkaampi pakkauksen johtaa suurempiin tarkkuuksiin.’

UMAP:n avulla tehty projekti osoitti selvän eron JPEG AI -kuvien ja synteettisten kuvien välillä, ja alhaisemmat bitrateilla kasvattivat etäisyyttä luokkien välillä. Yksi johdonmukainen poikkeama oli Glide, jonka kuvat ryhmittäytyivät toisin ja joilla oli alhaisin havaitsemistarkkuus kokeessa testatuista generoijoista.

Kahden ulottuvuuden UMAP-visualisointi JPEG AI -pakattuja ja synteettisiä kuvia kvantifiointi-ominaisuuksien perusteella.

Lopulta tutkijat arvioivat, miten hyvin ominaisuudet kestävät tyypillistä jälkikäsittelyä, kuten JPEG-uudelleenpakkauksen tai kuvan pienentämistä. Vaikka suorituskyky laski voimakkaamman käsittelyn aikana, lasku oli asteittainen, osoittaen, että lähestymistapa säilyttää jonkinlaista kestävyyttä jopa heikentyneissä olosuhteissa.

Kvantifiointi-ominaisuuksien kestävyyden arviointi jälkikäsittelyn, kuten JPEG-uudelleenpakkauksen (JPG) ja kuvan uudelleen koonnan (RS), suhteen.

Johtopäätös

Ei ole varmaa, että JPEG AI saavuttaa laajan hyväksynnän. Yksi syy on, että on jo tarpeeksi infrastruktuurivelkaa, joka aiheuttaa kitkaa mille tahansa uudelle koodekille; ja vaikka “perinteinen” koodekki, jolla on hyvä maine ja laaja hyväksyntä sen arvon suhteen, kuten AV1, kärsii vaikeuksista syrjäyttämään vakiintuneita menetelmiä.

Osittain JPEG AI:n mahdollinen yhteentörmäys ai-generaattorien kanssa, nykyisen ai-kuva-ilmaisinten luoman kvantifiointiartefaktien avainominaisuudet voivat heikentyä tai korvata jäljissä toisella tyypillä, myöhemmissä järjestelmissä (olettaen, että ai-generaattorit jättävät aina jälkeensä oikeudellisia jälkiä, mikä ei ole varmaa).

Tämä tarkoittaisi, että JPEG AI:n omat kvantifiointiominaisuudet, mahdollisesti yhdessä muiden uuden tutkimuksen tunnistamien vihjeiden kanssa, eivät välttämättä törmää uusimpien ai-generaattorien oikeudellisiin jälkiin.

Jos kuitenkin JPEG AI jatkaa toimimistaan de facto “ai-huuhteluna”, joka häikäisee merkittävästi aitojen ja luotujen kuvien välistä eroa, olisi vaikea esittää vakuuttava tapaus sen omaksumisen puolesta.

Julkaistu ensimmäisen kerran tiistaina, 8. huhtikuuta 2025