AI voi salaa luokitella kuvia laitteiston valmistajan mukaan, ei sisällön mukaan

Uusi tutkimus osoittaa, että suositut kuvakeskeiset tekoälyjärjestelmät eivät vain katso, mitä kuvassa on, vaan myös havaitsevat, miten kuva on otettu. Piilotetut yksityiskohdat, kuten kameran tyyppi tai kuvan laatu, voivat vaikuttaa hiljaisesti siihen, mitä tekoäly ajattelee näkevänsä, johtaa väärään tulokseen – vain siksi, että kuva on tullut eri laitteesta.

Vuonna 2012 paljastui, että matkailusivusto näytti korkeampia hintoja käyttäjille, jotka voitiin päätellä käyttävän Apple-laitteita, yhdistäen Apple-merkin korkeampiin ostovoimiin. Myöhempi tutkimus totesi, että tämä laitteistoon perustuva “lompakkokäynti” oli tullut lähes rutineerisuksi verkkokauppojen keskuudessa.

Vastaavasti, kameran tai kuvauslaitteen, jolla kuva on otettu, voidaan päätellä oikeudellisin menetelmin perustuen kameramallien rajoitettujen linssien tunnettuun ominaisuuksiin. Tällaisissa tapauksissa kameramallin arvioidaan yleensä visuaalisista jäljistä; ja kuten vuoden 2012 tapauksessa, tiedon siitä, millä kameralla kuva on otettu, on potentiaalisesti hyödynnettävä ominaisuus

Vaikka kuvauslaitteet upottavat usein merkittäviä metatietoja kuvaan, tämä ominaisuus voidaan usein poistaa käyttäjien toimesta; vaikka se jätetään päälle, jakeluverkkopalvelut, kuten sosiaalisen median verkostot, voivat poistaa osan tai kaikki metatiedot joko logistisista tai yksityisyyden vuoksi, tai molemmista.

Kuitenkin, metatietoja käyttäjien lataamissa kuvissa on usein joko uudelleenkirjoitettu/tulkittu (ei poistettu) tai jätetty koskemattomaksi, toissijaisena tietolähteenä, joka ei kerro, mitä kuvassa on, vaan miten kuva on otettu. Kuten vuoden 2012 tapaus osoitti, tällaista tietoa voidaan hyödyntää – ei ainoastaan kaupallisten alustojen, vaan myös potentiaalisesti hakkereiden ja pahantahtoisten toimijoiden taholta.

Kaksoisnäkökulma

Uusi tutkimusyhteistyö Japanin ja Tšekin tasavallan välillä on osoittanut, että kameran laitteiston ja kuvankäsittelyn (kuten JPEG-laatu tai linssin terävyys) jättämät jäljet voidaan havaita oikeudellisin menetelmin, mutta ne on myös hiljaisesti koodattu johtavien tekoälynäkemallien “globaalissa ymmärryksessä”.

Tähän kuuluvat CLIP ja muut laajamittaiset visuaaliset koodaukset, jotka ovat laajalti käytössä kaikessa aina hakukoneista sisällön valvontaan. Uusi tutkimus osoittaa, että nämä mallit eivät ainoastaan tulkkaa, mitä kuvassa on, vaan ne voivat myös oppia, miten kuva on tehty; ja tämä piilotettu signaali voi joskus voittaa näkyvän sisällön.

Esimerkkiparit kuvista, jotka on otettu samasta kohteesta tai kohtauksesta samanaikaisesti älypuhelimen (oikea) ja ei-älypuhelimen kameralla (vasen). Lähde: https://arxiv.org/pdf/2508.10637

Tutkimus väittää, että vaikka tekoälymallit saavat voimakkaasti maskattuja tai leikattuja kuvia, ne voivat silti arvata kameran valmistajan ja mallin yllättävän tarkasti. Tämä tarkoittaa, että näiden järjestelmien käyttämä edustamisavaruus voidaan sekoittaa merkityksettömiin tekijöihin, kuten käyttäjän laitteeseen, ja tämä voi johtaa ennalta arvaamattomiin seurauksiin.

Esimerkiksi alihankintatehtävissä, kuten luokittelussa tai kuvan hakemisessa, tämä ei-toivottu “painotus” voi aiheuttaa järjestelmän suosivan tiettyjä kameratyyppejä, riippumatta siitä, mitä kuva itse näyttää.

Tutkimus toteaa:

‘Metatietojen merkit, jotka jättävät jäljet visuaalisiin koodauksiin, voivat johtaa ennalta arvaamattomiin tuloksiin, vaarantaen yleistettävyyden, luotettavuuden ja mahdollisesti horjuttaen mallien luotettavuutta.

‘Kriittisemmin, tämä vaikutus voidaan hyödyntää pahantahtoisesti; esimerkiksi vihamielinen hyökkäys voi manipuloida metatietoja tarkoituksella harhauttaakseen tai pettääkseen mallin, aiheuttaen riskejä herkillä alueilla, kuten terveydenhuollossa, valvonnassa tai itseohjautuvissa järjestelmissä.’

Tutkimus osoittaa, että Kontrastinen Visuaalinen Kieli (CVL) -järjestelmät, kuten CLIP, ovat erityisen alttiita tällaisille johtopäätöksille tiedoista:

Hakutulokset haettavalle kuvalle, jotka osoittavat, miten perusmallit luokittelevat samankaltaisia kuvia sekä visuaalisen sisällön että piilotettujen metatietojen, kuten JPEG-pakkaus tai kameramallin, perusteella. Kuva heijastaa tutkijoiden väitettä, että sekä semanttiset että metatietolabelit muokkaavat mallin edustamisavaruutta, joskus muuttaen hakutuloksia.

Uusi tutkimus on nimeltään Kuvankäsittelyn ja hankinnan jäljet visuaalisissa koodauksissa: Mitä CLIP tietää kamerastasi?, ja se on peräisin kuudelta tutkijalta Osakan yliopistosta ja Tšekin teknillisestä yliopistosta Prahassa.

Menetelmä ja data

Tekoälymallien, kuten CLIP:n, vaikutuksen testaamiseksi piilotettuihin metatietoihin, tutkijat työskentelivät kahden metatietokategorian kanssa: kuvankäsittelyparametrit (kuten JPEG-pakkaus tai terävyys) ja hankintaparametrit (kuten kameran valmistaja tai valotusasetukset).

Tutkijat arvioivat 47 laajalti käytössä olevaa visuaalista koodausta, mukaan lukien kontrastiset visuaaliset kielimallit, kuten CLIP, itseopiskelumallit, kuten DINO, ja perinteiset valvottavat verkot.

Kuvankäsittelyparametrien osalta tutkijat sovelsivat ImageNet- ja iNaturalist 2018 -tietokantojen hallitut muunnokset, mukaan lukien kuusi JPEG-pakkaustasoa, kolme terävöitysasetusta, kolme kokoonpanoa ja neljä interpolointimenetelmää.

Esimerkkejä kuvista ja niiden liittyvistä merkinnöistä iNaturalist-tietokannasta. Lähde: https://arxiv.org/pdf/1707.06642

Mallit testattiin niiden kyvystä palauttaa kunkin muunnoksen asetuksia ainoastaan kuvan sisällöstä, ja onnistuneiden ennusteiden osoittavan, että koodaus säilyttää tietoa näistä käsittelyvalinnoista sisäisessä edustajassaan.

Hankintaparametrien osalta tutkijat kokosivat 356 459 -kuvan tietokannan nimeltä FlickrExif, joka sisälsi säilytettyjä Exif-metatietoja, ja rakensivat toisen tietokannan nimeltä PairCams, joka koostui 730 kuvaparista, jotka oli otettu samanaikaisesti älypuhelimen ja ei-älypuhelimen kameralla.

FlickrExif-tietokanta rakennettiin lataamalla kuvia Flickr API:n kautta, ja se sisälsi vain kuvat, joissa oli mukana Exif-metatietoja. Kahden tuhannen ja neljän tuhannen turvallisen kuvan välillä kerättiin joka kuukausi vuoden 2000 alusta vuoden 2024 puoliväliin, ja ne suodatettiin sisältämään ainoastaan ne, joilla oli sallivat lisenssit. Jokaisen yksittäisen avustajan rajoitettiin kymmeneen kuvaan kuukaudessa kullekin vuodelle.

PairCams-tietokannan osalta jokainen kuva otettiin automaattisilla asetuksilla ja ilman salamavaloa, mikä mahdollisti vertailun siitä, miten visuaaliset koodaukset reagoivat ainoastaan kameran laitteistoon, riippumatta kuvan sisällöstä:

Lisäksi esimerkkejä PairCams-tietokannasta, jonka tutkijat kokosivat.

Tutkijat testasivat kahta parametriryhmää: kuvankäsittelyparametreja, kuten pakkausta ja väriksiertoja; ja hankintaparametreja, kuten kameran valmistajaa tai mallia:

Kuvankäsittely- ja hankintaparametrit, joita analysoitiin, luokkien määrineen.

Testit

Tutkijat halusivat selvittää, säilytetäänkö metatietoa kuvankäsittely- ja kameratietoja visuaalisten koodausten sisällä. He kouluttivat luokittelijan ennustamaan metatietolabelit suoraan näistä koodauksista. Jos luokittelija suoritti yhtä hyvin kuin sattuma, se osoittaisi, että käsittely- tai laitteistotiedot eivät vaikuta malleihin.

Sen sijaan mikä tahansa suoritus, joka ylittää sattuman, osoittaisi, että nämä tekniset jäljet ovat koodattuina ja voivat vaikuttaa alihankintatehtäviin.

Tutkijat määrittivät kullekin koulutuskuvalle satunnaisen käsittelyasetuksen, kuten tietyn JPEG-pakkaustason, kun taas kaikki testikuvat jaksoittaisivat saman asetuksen.

Keskimääräinen luokittelun tarkkuus kaikissa asetuksissa yhdistettiin toistettuihin kokeisiin eri satunnaisilla siemenillä, jotta voitiin määrittää, säilyttävätkö koodaukset johdonmukaisesti tietoa näistä käsittelyvalinnoista sisäisessä edustajassaan:

Luokittelun tarkkuus kuvankäsittelyparametrien ennustamiseksi koodausten avulla, käyttäen lineaarista luokittelijaa jäädytettyihin malleihin. Tulokset on esitetty JPEG-pakkaukselle, terävöitykselle, kokoonpanolle ja interpolointimenetelmälle, ja niitä on arvioitu kolmella malliluokalla, kontrastisella visuaalisella kielellä (oranssi), valvotulla (vihreä) ja itseopiskelumallilla (sininen), ja ne on arvioitu ImageNetissä (ylärivi) ja iNaturalist 2018 -tietokannassa (alarivi). Sattuman oletukset on merkitty katkeavilla viivoina.

Kaikissa neljässä käsittelyparametrissä kontrastiset visuaaliset kielimallit osoittivat korkeimman kyvyn tunnistaa piilotetut kuvamanipulaatiot. Jotkut mallit saavuttivat yli 80 %:n tarkkuuden JPEG-pakkaus-, terävöitys- ja kokoonpanoasetusten ennustamisessa ImageNet-koodauksista.

Valvotut koodaukset, erityisesti ne, jotka perustuivat ConvNeXt:ään, suorittivat myös vahvasti, kun taas itseopiskelumallit olivat johdonmukaisesti heikompia.

Interpolointi oli vaikein parametri havaita, mutta parhaat CVL- ja valvotut mallit saavuttivat silti tulokset, jotka olivat selvästi parempia kuin satunnainen 25 %:n oletus molemmissa tietokannoissa.

Seuraavaksi tutkijat testasivat, onko kameran liittyvää tietoa sisällytetty malleihin. He loivat erilliset koulutus- ja testijoukkoja kullekin hankintaparametrille (kuten kameran valmistajalle, kameran mallille, valotukselle, aukolle, ISO-arvolle ja polttovälille).

Useimmissa parametreissä ainoastaan luokat, joissa oli vähintään 5 000 esimerkkiä, käytettiin; 500 kuvaa valittiin satunnaisesti testausta varten, ja loput esimerkit pienennettiin siten, että jokaisella luokalla oli 200 koulutusestettä. “Malli (kaikki)”- ja “Malli (älypuhelin)”-parametreille, joissa oli vähemmän dataa luokkaa kohden, tutkijat käyttivät sen sijaan luokkia, joissa oli vähintään 500 kuvaa, ja jakoi kunkin luokan koulutus- ja testijoukkoihin neljän yhteen suhteessa.

Valokuvaajat pidettiin erillään koulutus-, validointi- ja testijoukoissa, ja yksinkertainen luokittelija koulutettiin ennustamaan kameratietoa kuvien piirteiden perusteella.

Varmistamaan, ettei luokittelija ollut vaikuttunut kuvien semanttisesta sisällöstä, 90 %:ia kustakin kuvasta maskattiin keskeltä (ks. alla olevat esimerkit). Tutkijat väittävät, että tässä maskausasteessa kaikki visuaaliset koodaukset suorittavat lähellä satunnaisuutta ImageNetissä, mikä osoittaa, että semanttinen signaali on poistettu:

ImageNetin validointitarkkuus maskausasteen funktiona. 90 %:n maskausasteessa kaikki mallit laskevat lähelle satunnaisuutta semanttisen labelin ennustamisessa, osoittaen, että semanttiset vihjeet on poistettu. Esimerkkikuvat alhaalla osoittavat maskausasteet.

Jopa 90 %:n maskausasteella useimmat kontrastiset visuaaliset kielimallit ja valvotut ConvNeXt-koodaukset ennustivat kameran liittyvää tietoa yli satunnaisen tasolla. Monet CVL-mallit ylittivät 70 %:n tarkkuuden älypuhelimen ja ei-älypuhelimen kuvien erottelussa.

Muut valvotut koodaukset, SigLIP ja kaikki itseopiskelumallit, suorittivat paljon heikommin. Kun ei käytetty maskausta, CVL-mallit osoittivat jälleen vahvimman klusteroinnin kameratyypin mukaan, vahvistaen, että nämä mallit sisällyttävät hankintatiedot syvemmälle kuin muut:

t-SNE-visualisoinnit kahdelle visuaaliselle koodaukselle, joissa värit osoittavat, onko kuva otettu älypuhelimen vai ei-älypuhelimen kameralla.

Aliraportin merkitys

Tutkijat osoittivat, että metatietojen vaikutus malleihin johtaa siihen, että piilotetut käsittelyjäljet voivat häiritä kuvan tulkintaa.

Kun kaksi versiota samasta kuvasta käsiteltiin eri tavoin, koodaukset järjestettiin usein käsittelytyylin mukaan eikä sisällön mukaan. Useissa tapauksissa voimakkaasti pakattu kuva koirasta käsiteltiin samankaltaisempana toiseen, samalla pakkausasetuksella olevaan kuvaan kuin sen omiin pakkaamattomiin versioihin:

Käsittelyparametrien vaikutus semanttiseen ennustamiseen, esittäen semanttisen luokittelun tarkkuuden ImageNetissä (yläosa) ja iNaturalistissa (alaosa) viidessä käsittelyasetuksessa. Perusarvona kaikki koulutus- ja testikuvat jakavat saman käsittelylabelin; kaikissa eri asetuksissa testikuva käyttää käsittelyarvoa, jota ei ole koulutusjoukossa; pos-same ja neg-same -asetuksissa käsittelylabel on joko semanttisesti samanlainen tai erilainen kuin kuvan sisällön; yhdenmukaisessa asetuksessa käsittelylabelit on annettu satunnaisesti koulutusjoukon yli. Tulokset on ilmoitettu k = 10:lle ImageNetissä ja k = 1:lle iNaturalistissa.

Vahvimmat vääristymät johtuivat JPEG-pakkaamisesta, seuraavaksi terävöityksestä ja kokoonpanosta, kun taas interpolointi aiheutti vain vähäistä vaikutusta. Tutkijat väittävät, että nämä tulokset osoittavat, että käsittelyjäljet voivat ohittaa semanttisen tiedon ja määrätä, miten kuva ymmärretään.

Loppuvihkoissa he varoittavat:

‘Vaikka olemme tunnistaneet, että metatietolabelit on koodattu perusvisuaalisiin koodauksiin, ja olemme antaneet vihjeitä potentiaalisista syistä, emme voi määrittää ongelman lähdettä. Tämän aiheen jatkokäsittely on haastavaa koulutusmallien kustannusten ja usein käytetyn yksityisen tietokantojen ja julkaisemattomien toteutusten vuoksi.

‘Vaikka emme ehdota tiettyjä lieventämismenetelmiä, korostamme tämän ongelman tärkeyttä tulevaisuuden tutkimukselle.’

Johtopäätös

Kirjallisuudessa on kasvava oikeudellinen mielenkiinto “menetelmän ylittävä” -jälkien ja merkkien suhteen; mitä helpompi on tunnistaa kehysalue tai tietty tietokanta, sitä helpompi on hyödyntää tätä tietoa esimerkiksi syvän väärennöksen havaitsemisessa tai järjestelmissä, jotka on suunniteltu luokittelun tai ikääntymisen tutkimiseen.

Tämä on vastoin tekoälymallien kouluttamisen perusajatusta, joka on, että keskeiset tiivistetyt käsitteet on kuratoitu riippumatta tuotantotavoista, ja ne eivät sisällä jälkiä niistä. Itse asiassa tietokannat ja kuvauslaitteet sisältävät ominaisuuksia ja alueellisia piirteitä, jotka on käytännössä mahdoton erottaa sisällöstä, koska ne edustavat itsessään “historiallista näkökulmaa”.

* Tutkimus on jaettu epätavallisesti, ja sopeutamme siihen parhaamme mukaan. Paljon materiaalia, joka kuuluisi (olevaan) ‘Menetelmä’-osiioon, on siirretty eri osiin liitteitä, luultavasti rajoittaakseen pääartikkelin kahdeksaan sivuun – vaikka seurauksena on ollut huomattava vaikutus selkeyteen. Jos olemme jättäneet huomiotta mahdollisuuden parantaa tätä, aikapuutteen vuoksi, pyydämme anteeksi.

Julkaistu ensimmäisen kerran keskiviikkona, 20. elokuuta 2025