Kameran tallentaman kuvan palauttaminen tekoälyn tekemiä muutoksia edeltävään tilaan

Miten voit suojella valokuvan alkuperäisen muodon puhtautta tekoälyn vaikutuksilta, kun se on jo käsitelty tekoälyllä kameran sisällä? Uusi tutkimus pyrkii palauttamaan “oikean” sensoridatan – myös tekoälyllä!

Tekoälykuvien uskottavuus on kasvanut noin viime vuoden aikana, ja monet ryhmät ja yksilöt ovat nousseet vastustamaan siitä seurannutta luottamuksen rapautumista valokuvauksessa.

Samassa ajassa, Sisällön alkuperän ja aitouden koalitio (C2PA) on yrittänyt levittää osittain kryptografista standardia, joka liittää metadataan perustuvan alkuperätiedon kuvaan hetkestä, jolloin se on otettu tuettavalla kameralla tai laitteella, toivoen paljastavansa myöhemmän generatiivisen tekoälyn käytön näillä “alkuperäisillä” kuvilla:

C2PA-järjestelmän alkuperätietojen kaavio, jossa metadata kirjoitetaan valokuvan ottamisen hetkellä ja voidaan lisätä kuin päiväkirjaan, sallien tavanomaiset säätötoimet, kuten kirkkauden ja kontrastin, mutta merkitsemällä suuret säätötoimet, jotta voimakkaasti tekoälyllä muutetut kuvat näkyvät sellaisina medialähteissä, jotka tukevat tätä järjestelmää. Lähde

Standardin omaksuminen ei ole ollut yhtä laajaa kuin koalitio toivoi. Tällä hetkellä vain 14 kameraa tukee aitoustiedon tallentamista kamerassa.

Mikä on mielenkiintoista C2PA:n ideassa antaa valokuvalle “passi” hetkestä, jolloin se syntyy, on se, että tuolloin se voi jo olla liian myöhäistä – koska kameranvalmistajat sisällyttävät nyt tekoälykäsittelyn valokuvan luomiseen:

Vuoden 2024 tutkimuksesta “Advocating Pixel-Level Authentication of Camera-Captured Images”: kuva siitä, miten nykyaikaiset kameran käsittelyketjut lisäävät hallusinoitua sisältöä kuvaushetkellä ja miten pikselitasoinen todennusmetadata paljastaa sen. Kohdassa (A) älypuhelimen sensorikuva käsitellään ISP:ssä, jonka tekoälymoduulit voivat keksiä yksityiskohtia digitaalisen zoomauksen tai valotuskorjauksen aikana. Tuloksena on realistisia kuvia, joissa on esimerkiksi virheellisiä rekisterikilven numeroita. Kohdassa (B) todennusmaski upotetaan metatietoihin ja asetetaan myöhemmin kuvan päälle paljastamaan epäaidot alueet, jotta käyttäjät erottavat alkuperäisen datan tekoälyn muuttamista pikseleistä. Lähde

Tosiasiallisesti, tämä tekoälyn “häirintä” valokuvan ottamisessa kameran sensorin raakadatasta voi lopulta jopa tulla hallitsevaksi prosessiksi.

Tämäntyyppinen jälkikäsittely ei ole sama kuin nykyinen trendi kuvien muokkaaminen kamerassa, jossa puhelinsovellus tai kameran sovellus antaa käyttäjän muokata valokuvaa kaikessa rauhassa ennen kuin se on ladattu laitteesta.

Pikemminkin, käsittely tapahtuu “mustassa laatikossa” -toimintona kameran kuvasignaaliprosessorissa (ISP), yleensä valmistajan suljetussa suoritusympäristössä, joka ei paljasta raakaa sensoridataa eikä anna siihen pääsyä (ja huomaa, että niin sanottu “puhdas” kameran raakamuoto on vähemmän ”raaka” kuin voisi luulla).

Siksi, kun pääset näkemään valokuvan lainkaan, se on saattanut jo olla altis tekoälyavusteisille parannuksille, kuten hämäräkuvien parantamiselle, skaalaukselle tai jopa kuun korvaamiselle.

Monissa tapauksissa tämä voi johtaa epätarkoihin rekonstruktioihin, esimerkiksi tekstistä, mikä voi mitätöidä sellaisen kuvan käytön todisteena, koska “oikea” raakakuva ei olisi saatavilla:

Uudesta tutkimuksesta: raakasensorikuva käsitellään GenAI-käyttöisen ISP:n avulla, jotta saadaan lopullinen sRGB-lähtö, joka näyttää selkeämmältä, mutta saattaa sisältää kuvitteellisia yksityiskohtia, kuten rekisterikilven esimerkissä, jossa merkit ovat väärin arvioituja digitaalisen zoomin aikana. Todellinen kohtaus, joka ei ole käytännössä saatavilla, eroaa sekä tekoälyllä parannetusta lähtökuvasignaalista että väliaikaisesta aidosta kuvasta ennen kuvitteellisten yksityiskohtien lisäämistä. Ehdotettu lähestymistapa mahdollistaa tämän ennen kuvitteellisten yksityiskohtien lisäämistä vallinneen kuvan palauttamisen, palauttaen sen, mitä kameran optiikka alun perin tallensi ennen kuin tekoälyparannukset muuttivat sisältöä. Lähde

Yllä olevat esimerkit ovat uudesta tutkimuksesta, joka tarjoaa ratkaisun “alkuperäisille” tekoälykuville, käyttäen vaihtoehtoisia tekoälyprosesseja rekonstruoimaan arvio alkuperäisestä ja muokkaamattomasta raakakuvasta käsitellystä kuvasta.

Tutkijat toteavat:

‘Kun tekoälymallit, jotka on koulutettu generatiivisia tai havaintopohjaisia häviöfunktioita käyttäen, otetaan käyttöön ISP:ssä, ne ovat alttiita kuvitteellisten yksityiskohtien keksimiselle, mikä voi muuttaa kuvan [merkitystä]. Seuraus on, että kuvat, jotka suoraan tulevat kamerasta, saattavat sisältää “väärää” sisältöä, erityisesti älypuhelinkameroissa, joissa tekoäly-ISP-moduulit ovat yhä enenevissä määrin käytössä.

‘GenAI:n käyttö kameralaitteistossa merkitsee perustavanlaatuista muutosta tavassamme suhtautua kamerakuviin, ja haastaa perinteisen forensisen näkemyksen kameran ottamista kuvista luonnostaan luotettavina.’

Uusi työ käyttää hyvin kevyttä koodaajaa ja MLP-dekooderia, joka voidaan sisällyttää kuvan metatietoihin vain 180 kilotavun kokolisällä. Tavoitteena on kehittää koodausjärjestelmiä, jotka ovat tarpeeksi nopeita palauttamaan alkuperäisen kuvan reaaliajassa.

Uudesta tutkimuksesta: GenAI-pohjainen super-resoluutio kameran ISP:ssä voi hienovaraisesti muuttaa kasvonpiirteitä, muuttaa ulkonäköä tai havaittua identiteettiä muutoksilla silmien suunnassa ja suun muodossa. Hämäräkuvien parantaminen voi samalla tavoin muuttaa kuvan sisältöä, vaikuttaen tulkintaan parantamalla visuaalista laatua. QR-koodiesimerkissä parantaminen tekee kuvasta viehättävämmän, mutta tekee koodin lukukelvottomaksi. Menetelmä mahdollistaa aidon kuvan palauttamisen ennen näitä kuvitteellisia yksityiskohtia, palauttaen alkuperäiset kasvonpiirteet ja skannattavan QR-koodin.

Vaihtoehtoisesti, kameranvalmistajat voivat antaa käyttäjille pääsyn todella koskemattomiin sensoridumppeihin; kuitenkin tämä näyttää todennäköisesti jäävän vain erittäin korkealuokkaisiin laitteisiin. Matkapuhelimissa ja kuluttajien suosimissa tuotteissa, valitettavasti, pääsyä käsittelemättömiin valokuviin saatetaan pitää pienen erityisryhmän tai marginaalin tarpeena.

Vaikka kuluttajakamerat ovat aina soveltaneet jonkinlaista jälkikäsittelyä, ennen reunalaskennan tekoälyn yleistymistä, algoritmit, joita käytettiin, olivat vain vähän ”tulkitsevia” eivätkä todennäköisesti muuttaneet kuvan sisältöä samalla tavoin kuin nykyiset tekoälymenetelmät voivat.

Mikä on mielenkiintoista, ottaen huomioon sen, kuinka paljon Samsungin “kuun korvaamispolitiikkaa” arvosteltiin julkisesti joitakin vuosia sitten, Samsungin tekoälykeskus Torontossa on yksi osallistujista uudessa tutkimuksessa, jonka otsikko on GenAI-kameroiden kuvien aitouden käsitteleminen, ja jonka keskeiset tekijät ovat viisi Toronton yliopiston tutkijaa.

Menetelmä

Tutkijat käyttävät ainoaa muuta tutkimusta, joka näyttää tähän mennessä käsitelleen suoraan suunnittelusta johtuvaa kuvasisällön muuttumista: vuoden 2024 tutkimusta Kameran ottamien kuvien pikselitasoisen todennuksen puolesta, joka ehdotti “binääristä todennusmaskia”, joka erottaa alueita, jotka on muutettu kameran sisäisillä tekoälyprosesseilla:

Oikealla, vuoden 2024 tutkimuksen “todennusmaski” paljastaa alueita taivaalla, joita kameran tekoälypohjaiset tasoitusprosessit ovat muuttaneet.

Kuitenkin, järjestelmä ei tarjonnut menetelmää, jolla “oikea” kuva voitaisiin palauttaa. Uusi työ ratkaisee tämän ongelman ja tunnustaa aiemman tutkimuksen merkityksen.

Uuden tutkimuksen tavoitteena on mahdollistaa käyttäjille kuvan palauttaminen, joka on mahdollisimman lähellä sitä, mitä kameran sensori alun perin tallensi ennen käsittelyä:

Ehdotetun menetelmän yleiskatsaus. Kuva (A):ssa, kuvaushetkellä, ISP-kuva, joka sisältää kuvitteellisia yksityiskohtia, ohjataan jäädytettyyn esikoulutettuun koodaajaan, ja sen latenteja piirteitä yhdistetään paikkakoordinaatteihin ja syötetään MLP:hen, joka toimii pikselikohtaisesti, jotta voidaan ennustaa ei-kuvitteellinen kuva, jonka koulutusta ohjaa aitoon kuvaan verrattu häviöfunktio. Koodaajan ja MLP:n painot tallennetaan metatietoihin kuvan kanssa. Kuva (B):ssa, katseluhetkellä, nämä painot palautetaan metatiedoista ja käytetään koodaajan ja MLP:n kanssa rekonstruoimaan ei-kuvitteellinen kuva.

Kuvaushetkellä, uudessa menetelmässä, käsitelty kuva ohjataan jäädytettyyn koodaajaan, joka muuttaa sen tiiviiksi latentiksi esitykseksi. Sen jälkeen, asiaankuuluvat paikkakoordinaatit yhdistetään näihin piirteisiin ja syötetään kevyelle MLP:lle, joka toimii pikselikohtaisesti, jotta voidaan ennustaa alkuperäinen kuvan sisältö – oppimalla, käytännössä, vähentämällä kuvitteellisia elementtejä rekonstruktiohäviön kautta, autenttisia kohteita vastaan.

Koodaaja ja dekooderi esikoulutetaan parillisten aitojen kuvien ja hallusinaatioita sisältävien kuvien pareilla, sitten nopeasti hienosäädetty kullekin kuvalle, ja niiden painot tallennetaan metatietoihin kuvan itsensä kanssa, lisäten vain pienen kokolisän.

Katseluhetkellä tallennetut painot luetaan ja samalla koodaajalla ja MLP:llä rekonstruoidaan kuva, joka vastaa läheisesti sensorin alkuperäistä tallennetta lisäämättä uutta synteettistä sisältöä.

Data ja testit

Tutkijat testasivat uuden menetelmän käyttäen kahta yleisimmin toteutettua ISP-jälkikäsittelytehtävää: super-resoluutio (SR, mukaan lukien zoomatut alueet); ja hämäräkuvauksen:

Yleisen (“luonnollisen kuvan”) SR-osion testaamiseksi, monet esimerkit tekstistä olivat mukana datassa, koska ISP-SR-rutiinit ovat tunnettuja tekstiä muuttavista (esimerkiksi auton rekisterikilven numeroista, mutta katso esimerkkejä aiemmin artikkelissa). Koska tekstivirhe on oma erillinen ongelma, se käsiteltiin ala-osiona SR-testeistä, omalla datalla.

Edellä mainittu koodaaja koulutettiin kullekin kahdelle modaliteetille, jotka testattiin, ja kummallekin valittiin sen mukaan, mikä tekoäly-ISP-moduuli todennäköisesti otettaisiin käyttöön kuvaushetkellä (esim. “hämäräkuvaus”-moduuli, pimeissä olosuhteissa).

Tutkijat käyttivät DIV2K-aineistoa super-resoluution koulutukseen, jota ajoi suosittu RealESRGAN-verkko. Linjassa edellä mainitun vuoden 2024 työn kanssa ISP-häiriintymisestä, tutkijat loivat kuvapareja, joissa toisessa oli muuttumatonta sisältöä ja toisessa hallusinaatioita.

Tekstin SR-osiossa tutkijat käyttivät vuoden 2023 MARCONet-tekstin SR-mallia:

Vuoden 2023 MARCONet-tutkimuksesta: esimerkkejä todellisen maailman matalaresoluutioisista ja vastaavista skaalatuista teksteistä. Lähde

Jotta voidaan luoda parillisia aineistoja tässä tapauksessa, tutkijat ajattivat hallusinaatioita sisältämättömiä kuvia MARCONetilla. Kaksi tuhatta kuvaa luotiin projektin alkuperäisestä koodista, ja 200 asetettiin erilleen validointiin ja toiset 200 testaamiseen.

Heikkovalokuvauksen testeissä LOw-Light (LOL)-aineistoa (LOL) käytettiin kiinalaisesta tutkimuksesta vuodelta 2018:

Vuoden 2018 kiinalaisesta LOL-aineistosta: valotushaarukoidut esimerkit samoista kuvista eri valotuksilla sekä eri pimeys- ja heikentymistasoilla. Lähde

Vertailumenetelmät

Menetelmää arvioitiin vertaamalla sitä kolmeen samoissa olosuhteissa koulutettuun vertailumenetelmään. Ensinnäkin, SIREN ja NeRF esikoulutettiin parillisten aitojen kuvien ja hallusinaatioita sisältävien kuvien pareilla ja sitten hienosäädettiin kuvaushetkellä samalla kestolla kuin ehdotettu lähestymistapa, tarjoten suoran vertailun NeRF:iin.

Toiseksi käytettiin MLP:tä, jonka opittu koodaus perustui hashgrid-menetelmään Instant-NGP:stä. Sen hajautustaulun alkiot ja MLP optimoitiin yhdessä.

Upotuksen koko ja verkon kapasiteetti sovitettiin kohteena olevaan koodaajaan ja MLP:hen, ja kokeet kattoivat sekä kunkin kuvan optimoinnin alusta että esikoulutuksen ja hienosäädön.

Kolmanneksi, sokean kuvan muuntamisen vertailukohde toteutettiin 64MB NAFNet-mallilla, joka koulutettiin pikselistä-pikseliin regressiojärjestelmäksi ilman metatietojen saatavuutta.

Koulutuksessa Adam-optimointi käytettiin PyTorch:ssa, sekä esikoulutuksessa että hienosäädössä. Koodaaja ja MLP koulutettiin 50 000 epookan ajaksi, 32:n erän koossa, ja modaalikohtaiset koodaajat koulutettiin kullekin tehtävälle (esim. SR, teksti-SR, hämäräkuvaus).

Hienosäätö kestää noin kolme sekuntia NVIDIA V100 -näytönohjaimella, jossa on 32 Gt:n VRAM. Tutkijat huomauttavat, että tavoitteena on optimointi itse laitteessa. Sitä ei kuitenkaan voitu realistisesti toteuttaa kaikille vertailumenetelmille, joten kaikki testit tehtiin työpöytäympäristössä:

Suorituskykyvertailu metatietoja hyödyntäviin MLP-pohjaisiin vertailumenetelmiin, mukaan lukien SIREN, NeRF ja hash-grid-menetelmä, sekä sokean palauttamisen NAFNetin avulla. Tulokset ilmoitetaan desibeleinä PSNR:ssä kolmessa tehtävässä: luonnollisen kuvan super-resoluutio DIV2K:lla; tekstin super-resoluutio MARCONetilla; ja hämäräkuvauksen parantaminen LOL:lla, joissa ehdotetun menetelmän saavutukset ovat korkeimmat kussakin tapauksessa.

MLP-pohjaisissa lähestymistavoissa suorituskyky riippui voimakkaasti syötteen esitysmuodosta, jossa mallit, jotka oli koulutettu vain paikkakoordinaatteja käyttäen, kamppailivat esikoulutuksessa ja eivät parantaneet tuloksiaan rajatun hienosäätöjakson aikana. Värien lisääminen johti vahvempaan suorituskykyyn.

Sokean palauttamisen NAFNet suoriutui hyvin DIV2K:lla, jossa heikennetyn kuvan ja puhtaan kuvan välinen vastaavuus oli suhteellisen vakaa, mutta se murtui MARCONetilla ja LOL:lla, joissa useita mahdollisia rekonstruktioita oli olemassa ja mallilla ei ollut riittävästi tietoa, jotta se voisi ratkaista tämän epävarmuuden.

Tämä vaikutus oli voimakkain hämäräkuvauksen parantamisessa, jossa alkuperäisen kohtauksen valotusvoimakkuutta ei voitu luotettavasti päätellä käsitellystä kuvasta yksin.

Tutkijat toteavat:

‘[Synteettisessä] MARCONet-aineistossa eri voimakkuuksilla sumennetut kuvat vastaavat samaa hallusinaatioita sisältävää kuvaa. Voidaan nähdä tuloksista, että ehdotettu lähestymistapa ylittää kilpailijat kaikissa aineistoissa.’

Yllä olevassa vertailussa voidaan nähdä, miten hyvin eri menetelmät suoriutuvat riippuen siitä, kuinka paljon aikaa niillä on käytettävissä valokuvan ottamisen hetkellä. Mallin kouluttaminen alusta kullekin kuvalle voi tuottaa vahvoja tuloksia, kuten SIREN, NeRF ja hash-grid – mutta se kestää liian kauan ollakseen käytännöllinen kameran sisällä.

Sen sijaan, tutkijoiden menetelmä tekee enimmän työn etukäteen, ja nopean sovittamisen kuvaushetkellä, sallien sen toimittaa parempia tuloksia tiukkojen aikarajoitusten (3, 5 tai kymmenen sekuntia) puitteissa.

Suorituskykyvertailu metatietoja hyödyntäviin MLP-pohjaisiin vertailumenetelmiin, kuten SIRENiin, NeRFiin ja hash-gridiin, sekä NAFNetin sokkopalautukseen. Tulokset esitetään PSNR-arvoina desibeleissä kolmessa tehtävässä: luonnollisten kuvien superresoluutio DIV2K-aineistolla, tekstin superresoluutio MARCONet-aineistolla ja hämäräkuvien parantaminen LOL-aineistolla. Ehdotettu menetelmä saavuttaa parhaat pisteet jokaisessa tehtävässä. Lähdeartikkelissa on hieman tarkempi kuva.

Yllä näkyvät DIV2K-aineiston laadulliset tulokset, joissa parannusmenetelmät lisäsivät näkyviä hallusinaatioita. GAN-pohjainen superresoluutiomalli muutti silmien väriä. Sokean palauttamisen NAFNet kamppaili kuvan rekonstruoimisessa. NeRF ja hash-grid tuottivat virheitä järjestäytyneissä alueissa, kuten ikkunoissa ja teksteissä, kun taas ehdotettu menetelmä vastasi tarkemmin aitoa kuvaa.

Viimeksi, yllä olevassa kuvassa, nähdään tulokset LOL-aineistosta, jossa kirkkaus on skaalattu visualisointia varten.

Sokean palauttamisen NAFNet ei voinut ratkaista tuntematonta kirkkausskaalaa, kun taas ehdotettu menetelmä rekonstruoi tekstuureja ja palautti muutetut merkit, kuten korjaten “1”:n takaisin “i”:ksi, ilman uusien virheiden lisäämistä.

Johtopäätös

Väitettä ”kamera ei koskaan valehtele” ei todennäköisesti voi puolustaa, eikä ole koskaan voitukaan. Jokainen valokuvaamiseen liittyvä päätös, mukaan lukien se, mitä valokuvata ja milloin valokuvata, sekä miten esittää ja kontekstualisoida sitä, on itse asiassa poliittinen tai sosiaalinen päätös.

Jo vanhimmat jälkikäsittelymenetelmät, kuten paikallinen vaalentaminen ja tummentaminen (joita on jo siirretty Photoshop-työkaluihin), ovat hyvin subjektiivisia taiteellisia päätöksiä ja mieltymyksiä.

Kuitenkin, se ei ole syy antaa periksi “objektiivisen” valokuvauksen tavoitteesta; ja se näyttää kohtuulliselta, että keskivertokuluttajan pitäisi voida päästä käsiksi muokkaamattomaan sensorin raakadataan valokuvista, jotka he ottavat, jos he haluavat; tai ainakin, että heidän pitäisi voida rajoittaa ISP-jälkikäsittely algoritmeihin, jotka eivät käytä tekoälyä, jos he niin haluavat.

Ensimmäisen kerran julkaistu perjantaina, 24. huhtikuuta 2026