Kameran ottamien valokuvien alkuperäisen muodon palauttaminen ennen kuin tekoäly muutti sitä

Miten voit suojella valokuvan alkuperäisen muodon puhtautta tekoälyn häirinnältä, kun se on jo käsitelty tekoälyllä kameran sisällä? Uusi tutkimus pyrkii palauttamaan “oikean” sensoridatan – myös tekoälyllä!

Tekoälykuvien aitoutta on lisätty viime vuoden aikana, ja monet ryhmät ja yksilöt ovat kohdistaneet vastustusta seuraavaa luottamuksen romahdukselle valokuvauksessa.

Samassa ajassa, Sisällön alkuperän ja aitouden koalitio (C2PA) on yrittänyt levittää puoliviranomaista standardia, joka liittää metadataan perustuvan alkuperän tiedon kuvaan hetkestä, jolloin se on otettu tuettavalla kameralla tai laitteella, toivoen paljastavansa myöhemmän generatiivisen tekoälyn käytön näillä “alkuperäisillä” kuvilla:

C2PA-järjestelmän alkuperän schema, jossa metadata kirjoitetaan valokuvan ottamisen hetkellä ja voidaan lisätä kuin päiväkirjaan, sallien tavanomaiset säätötoimet, kuten kirkkauden ja kontrastin, mutta merkitsemällä suuret säätötoimet, jotta voimakkaasti tekoälyllä muutetut kuvat näkyvät sellaisina medialähteissä, jotka tukevat tätä järjestelmää. Lähde

Standardin omaksuminen ei ole ollut yhtä laajaa, kuin koalitio oli toivonut, ja tällä hetkellä vain 14 kameraa tukee kameran sisäistä alkuperätiedon leimaamista.

Mikä on mielenkiintoista C2PA:n ideassa antaa valokuvalle “passi” hetkestä, jolloin se syntyy, on se, että tuolloin se voi jo olla liian myöhäistä – koska kameranvalmistajat sisällyttävät nyt tekoälykäsittelyn valokuvan luomiseen:

Vuoden 2024 tutkimuksesta “Advocating Pixel-Level Authentication of Camera-Captured Images”: kuva siitä, miten modernit kameraputkit esittävät kuvaa ottamisen aikana ja miten pikselitasoinen todennusmetadata paljastaa sen. Kuva (A) on älypuhelimen sensorikuvaa, jota käsitellään ISP:llä, jossa tekoälymoduulit voivat kekstiä yksityiskohtia digitaalisen zoomin tai valotuskorjauksen aikana, tuottaen realistisia kuvia virheillä, kuten väärin luettujen rekisterikilven numeroina. Kuva (B) on todennusmaski, joka upotetaan metatietoihin ja myöhemmin yhdistetään paljastaakseen epäaidot alueet, sallien käyttäjien erottaa alkuperäisen tiedon tekoälyllä muutetuista pikseleistä. Lähde

Tosiasiallisesti, tämä tekoälyn “häirintä” valokuvan ottamisessa kameran sensorin raakadatasta voi lopulta jopa tulla hallitsevaksi prosessiksi.

Tämä tyyppinen jälkikäsittely ei ole sama kuin nykyinen trendi kuvien muokkaaminen kamerassa, jossa puhelinsovellus tai kameran sovellus sallii käyttäjän muokata valokuvaa vapaaehtoisesti ennen kuin se on ladattu laitteesta.

Pikemminkin, käsittely tapahtuu “mustassa laatikossa” -toimintona kameran kuvansiirtoprosessorissa (ISP), yleensä omistajan aikana, joka ei paljasta tai tee raakadataa saataville (ja huomaa, että niin sanottu “puhdas” kameran raakamuoto ei olekaan niin “raaka” kuin luulettaisiin).

Siksi, kun pääset näkemään valokuvan lainkaan, se on saattanut jo olla altis tekoälyavusteisille parannuksille, kuten heikkovalokuvien parantamiselle, skaalaukselle tai jopa kuun korvaamiselle.

Monissa tapauksissa tämä voi johtaa epätarkoihin rekonstruktioihin, esimerkiksi tekstistä, mikä voi mitätöidä sellaisen kuvan käytön todisteena, koska “oikea” raakakuva ei olisi saatavilla:

Uudesta tutkimuksesta: raakasensorikuva käsitellään GenAI-käyttöisen ISP:n avulla, jotta saadaan lopullinen sRGB-lähtö, joka näyttää selkeämmältä, mutta saattaa sisältää kuvitteellisia yksityiskohtia, kuten rekisterikilven esimerkissä, jossa merkit ovat väärin arvioituja digitaalisen zoomin aikana. Todellinen kohtaus, joka ei ole käytännössä saatavilla, eroaa sekä tekoälyllä parannetusta lähtökuvasignaalista että väliaikaisesta aidosta kuvasta ennen kuvitteellisten yksityiskohtien lisäämistä. Ehdotettu lähestymistapa mahdollistaa tämän ennen kuvitteellisten yksityiskohtien lisäämistä olevan kuvan palauttamisen, palauttaen sen, mitä kameran optiikka alun perin tallensi ennen kuin tekoälyllä tehtyjen parannusten muuttaminen muutti sisällön. Lähde

Yllä olevat esimerkit ovat uudesta tutkimuksesta, joka tarjoaa ratkaisun “alkuperäisille” tekoälykuville, käyttäen vaihtoehtoisia tekoälyprosesseja rekonstruoimaan arvioitu raaka ja puolueeton kuva käsitellystä kuvasta.

Tutkijat toteavat:

‘Kun tekoälymallit, jotka on koulutettu generatiivisilla tai havainnollisilla menetyksillä, käytetään ISP:ssä, ne ovat alttiita kuvitteellisten yksityiskohtien keksimiselle, mikä voi muuttaa kuvan [merkitystä]. Seuraus on, että kuvat, jotka suoraan tulevat kamerasta, saattavat sisältää “väärää” sisältöä, erityisesti älypuhelinkameroissa, joissa tekoäly-ISP-moduulit ovat yhä enenevissä määrin käytössä.

‘GenAI:n käyttö kameran laitteistossa merkitsee uuden lähestymistavan siinä, miten katsotaan kamerakuvia, ja haastaa perinteisen oikeudellisen näkemyksen kameran ottamista kuvista luonnostaan luotettavina.’

Uusi työ käyttää hyvin kevyttä koodaajaa ja MLP-dekooderia, joka voidaan sisällyttää kuvan metatietoihin vain 180 kt:n painolla. Tavoitteena on kehittää koodausjärjestelmiä, jotka ovat tarpeeksi nopeita palauttamaan alkuperäisen kuvan reaaliajassa.

Uudesta tutkimuksesta: GenAI-pohjainen super-resoluutio kameran ISP:ssä voi häivytä kasvonpiirteitä, muuttaa ulkonäköä tai havaittua identiteettiä muutoksilla silmien suunnassa ja suun muodossa. Heikkovalokuvien parantaminen voi samalla tavoin muuttaa kuvan sisältöä, vaikuttaen tulkintaan parantamalla visuaalista laatua. QR-koodiesimerkissä parantaminen tekee kuvasta viehättävämmän, mutta tekee koodin lukukelvottomaksi. Menetelmä mahdollistaa aidon kuvan palauttamisen ennen näitä kuvitteellisia yksityiskohtia, palauttaen alkuperäiset kasvonpiirteet ja skannattavan QR-koodin.

Alternatiivisesti, kameranvalmistajat voivat antaa käyttäjille pääsyn todella koskemattomiin sensoridumppeihin; kuitenkin tämä näyttää todennäköiseltä pysyvän rajoitettuna erittäin korkealuokkaisiin laitteisiin. Matkapuhelimissa ja kuluttajien suosimissa tuotteissa, valitettavasti, pääsy käsittelemättömiin valokuvien pariin voidaan pitää “niukasti” tai marginaalisena pyrkimyksenä.

Vaikka kuluttajakamerat ovat aina soveltaneet jonkinlaista jälkikäsittelyä, ennen tekoälyn aikakautta, algoritmit, joita käytettiin, olivat vähäisiä “tulkinnollisia” eivätkä todennäköisesti muuttaneet kuvan sisältöä samalla tavoin kuin nykyiset tekoälymenetelmät voivat.

Mikä on mielenkiintoista, ottaen huomioon sen, kuinka paljon Samsungin “kuun korvaamispolitiikkaa” arvosteltiin julkisesti joitakin vuosia sitten, Samsungin tekoälykeskus Torontossa on yksi osallistujista uudessa tutkimuksessa, jonka otsikko on GenAI-kameroiden kuvien aitouden käsitteleminen, ja jota johtavat viiden tutkijan panokset Toronton yliopistosta.

Menetelmä

Tutkijat käyttävät ainoaa muuta tutkimusta, joka näyttää osoittaneen suoraan häiriön suunnittelukysymyksen: vuoden 2024 tutkimusta Kameran ottamien kuvien pikselitasoisen todennuksen puolesta, joka ehdotti “binääristä todennusmaskia”, joka erottaa alueita, jotka on muutettu kameran sisäisillä tekoälyprosesseilla:

Oikealla, vuoden 2024 tutkimuksen “todennusmaski” paljastaa alueita taivaalla, jotka ovat vaikuttaneet tekoälyllä “sileittämisprosesseihin” kamerassa.

Kuitenkin, järjestelmä ei tarjonnut menetelmää, jolla “oikea” kuva voisi palauttaa, mitä uusi tutkimus ottaa haltuun, tunnustaa velkaa aiemmalle tutkimukselle.

Uuden tutkimuksen tavoitteena on mahdollistaa käyttäjien palauttaminen kuva, joka on mahdollisimman lähellä sitä, mitä kameran sensori alun perin tallensi ennen käsittelyä:

Ehdotetun menetelmän yleiskatsaus. Kuva (A):ssa, ottamisen aikana, ISP-kuva, joka sisältää kuvitteellisia yksityiskohtia, ohjataan jäädytettyyn esikoulutettuun koodaajaan, ja sen latenteja piirteitä yhdistetään paikkakoordinaatteihin ja syötetään MLP:hen, joka toimii pikselikohtaisesti, jotta voidaan ennustaa ei-kuvitteellinen kuva, jota ohjataan menetys autenttista kuvaa vastaan. Koodaajan ja MLP:n painot säästetään metatietoihin kuvan kanssa. Kuva (B):ssa, tulkinnoissa, nämä painot palautetaan metatiedoista ja käytetään koodaajan ja MLP:n kanssa jälleenrakentamaan ei-kuvitteellinen kuva.

Ottamisen aikana, uudessa menetelmässä, käsitelty kuva ohjataan jäädytettyyn koodaajaan, joka muuttaa sen tiiviiksi latentejaksi edustukseksi. Sen jälkeen, asiaankuuluvat paikkakoordinaatit yhdistetään näihin piirteisiin ja syötetään kevyelle MLP:lle, joka toimii pikselikohtaisesti, jotta voidaan ennustaa alkuperäinen kuvan sisältö – oppimalla, käytännössä, vähentämällä kuvitteellisia elementtejä rekonstruktio-menetyksen kautta, autenttisia kohteita vastaan.

Koodaaja ja dekooderi esikoulutetaan parillisten aidosti kuvitteellisten kuvien kanssa, sitten nopeasti hienosäädetty kullekin kuvalle, ja niiden painot tallennetaan metatietoihin kuvan itsensä kanssa, lisäten vain pienen koko-overheadin.

Tulkinnoissa, nämä tallennetut painot palautetaan ja uudelleen käytetään ajamaan samaa koodaajaa ja MLP:tä, mahdollistaen lähellä olevan kuvan palauttamisen, joka vastaa sitä, mitä kameran sensori alun perin tallensi, ilman uusien synteettisten sisältöjen esittelyä.

Data ja testit

Tutkijat testasivat uuden menetelmän käyttäen kahta yleisimmin toteutettua ISP-jälkikäsittelytehtävää: super-resoluutio (SR, mukaan lukien zoomatut alueet); ja heikkovalokuvauksen:

Yleisen (“luonnollisen kuvan”) SR-osion testaamiseksi, monet esimerkit tekstistä olivat mukana datassa, koska ISP-SR-rutiinit ovat tunnettuja tekstiä muuttavista (esimerkiksi auton rekisterikilven numeroista, mutta katso esimerkkejä aiemmin artikkelissa). Koska tekstivirhe on oma erillinen ongelma, se käsiteltiin ala-osiona SR-testeistä, omalla datalla.

Edellä mainittu koodaaja koulutettiin kullekin kahdelle modaliteetille, jotka testattiin, ja kummallekin valittiin sen mukaan, mikä tekoäly-ISP-moduuli todennäköisesti otettaisiin käyttöön ottamisen aikana (esim. “heikkovalokuvaus”-moduuli, pimeissä olosuhteissa).

Tutkijat käyttivät DIV2K-aineistoa super-resoluution koulutukseen, jota ajoi suosittu RealESRGAN-verkko. Linjassa edellä mainitun vuoden 2024 työn kanssa ISP-häiriintymisestä, tutkijat loivat parillisia aineistoja, joissa oli vaikuttamattomia ja kuvitteellisia sisältöjä.

Tekstin SR-osiossa tutkijat käyttivät vuoden 2023 MARCONet-tekstin SR-mallia:

Vuoden 2023 MARCONet-tutkimuksesta: esimerkkejä maailmanlaajuisista matalaresoluutioisista ja vastaavista skaalatuista teksteistä. Lähde

Jotta voidaan luoda parillisia aineistoja tässä tapauksessa, tutkijat ajattivat non-kuvitteellisia kuvia MARCONetilla. Kaksi tuhatta kuvaa luotiin projektin alkuperäisestä koodista, ja 200 asettiin erilleen vahvistamista varten, yhdessä 200:n testaamista varten.

Heikkovalokuvauksen testeissä LOw-Light (LOL)-aineistoa (LOL) käytettiin kiinalaisesta tutkimuksesta vuodelta 2018:

Vuoden 2018 kiinalaisesta LOL-aineistosta: sulkujen sisällä olevat esimerkit samoista kuvista eri valotus- ja heikkovalotilanteissa. Lähde

Vastakkaiset kehykset

Vertailemalla menetelmää, vertailuja tehtiin kolmea tiettyä vertailukohtaa, jotka koulutettiin samojen olosuhteiden mukaan. Ensinnäkin, SIREN ja NeRF olivat esikoulutettu parillisten aidosti kuvitteellisten kuvien kanssa ja sitten hienosäädetty ottamisen aikana samalla kestolla kuin ehdotettu lähestymistapa, tarjoten suoran vertailun NeRF:iin.

Toiseksi, MLP, jossa oli opittu koodaus Instant-NGP:n “hashgrid”-menetelmällä, käytettiin, ja hashtaulukon sisäänkirjaukset ja MLP yhdistettiin.

Kuvan sisäänrakennettu koko ja verkkokapasiteetti olivat vastaavia kohderyhmän koodaajaa ja MLP:tä, ja kokeet kattoivat sekä kunkin kuvan optimoinnin alusta että esikoulutuksen ja hienosäätöilyn.

Kolmanneksi, sokean kuvan muuntamisen vertailukohde toteutettiin 64MB NAFNet-mallilla, joka koulutettiin pikselistä-pikseliin regressiojärjestelmäksi ilman metatietojen saatavuutta.

Koulutuksessa Adam-optimointi käytettiin PyTorch:ssa, sekä esikoulutuksessa että hienosäätöilyssä. Koodaaja ja MLP koulutettiin 50 000 epookan ajaksi, 32:n erän koossa, ja modaalikohtaiset koodaajat koulutettiin kullekin tehtävälle (esim. SR, teksti-SR, heikkovalokuvaus).

Hienosäätöily kestää noin kolme sekuntia NVIDIA V100 -näytönohjaimella, jossa on 32 Gt:n VRAM. Tutkijat toteavat, että vaikka laitteen optimointi on kohdennettu ympäristöön ja skenaarioon, se ei ollut realistista toteuttaa kaikille kehyksille, ja siksi kaikki testit suoritettiin työpöytäympäristössä:

Suorituskykyvertailu metatietojen avustamien MLP-pohjaisia vertailukohtia vastaan, mukaan lukien SIREN, NeRF ja hash-grid-menetelmä, sekä sokean palauttamisen NAFNetin avulla. Tulokset ilmoitetaan desibeleinä PSNR:ssä kolmessa tehtävässä: luonnollisen kuvan super-resoluutio DIV2K:lla; tekstin super-resoluutio MARCONetilla; ja heikkovalokuvauksen parantaminen LOL:lla, joissa ehdotetun menetelmän saavutukset ovat korkeimmat kussakin tapauksessa.

MLP-pohjaisissa lähestymistavoissa suorituskyky riippui voimakkaasti syötteen esitysmuodosta, jossa mallit, jotka oli koulutettu vain paikkakoordinaatteja käyttäen, kamppailivat esikoulutuksessa ja eivät parantaneet merkittävästi rajoitettujen hienosäätöilyjen aikana. Värien lisääminen johti vahvempaan suorituskykyyn.

Sokean palauttamisen NAFNet suoriutui hyvin DIV2K:lla, jossa degradoitunut-kuvaan suhteutettu kartoitus oli suhteellisen vakaa, mutta se murtui MARCONetilla ja LOL:lla, joissa useita mahdollisia rekonstruktioita oli olemassa ja malli ei ollut tarpeeksi tietoa, jotta se voisi ratkaista tämän epävarmuuden.

Tämä vaikutus oli voimakkain heikkovalokuvauksen parantamisessa, jossa alkuperäisen kohtauksen valotusvoimakkuutta ei voitu luotettavasti päätellä käsitellystä kuvasta yksin.

Tutkijat toteavat:

‘Synnyttämällä MARCONet-aineistoa, kuvat, joilla on eri suuruusluokan sumennus, kartoitetaan samaan kuvitteelliseen kuvaan. Voidaan nähdä tuloksista, että ehdotettu lähestymistapa ylittää kilpailijat kaikissa aineistoissa.’

Yllä olevassa vertailussa voidaan nähdä, miten hyvin eri menetelmät suoriutuvat riippuen siitä, kuinka paljon aikaa niillä on käytettävissä valokuvan ottamisen hetkellä. Kouluttaminen mallia alusta loppuun voi tuottaa vahvoja tuloksia, kuten SIREN, NeRF ja hash-grid – mutta se kestää liian kauan ollakseen käytännöllinen kameran sisällä.

Sen sijaan, tutkijoiden menetelmä tekee enimmän työn etukäteen, ja nopean sovittamisen ottamisen aikana, sallien sen toimittaa parempia tuloksia tiukkojen aikarajoitusten (3, 5 tai kymmenen sekuntia) puitteissa.

Suorituskykyvertailu metatietojen avustamien MLP-pohjaisia vertailukohtia vastaan, mukaan lukien SIREN, NeRF ja hash-grid-menetelmä, sekä sokean palauttamisen NAFNetin avulla. Tulokset ilmoitetaan desibeleinä PSNR:ssä kolmessa tehtävässä: luonnollisen kuvan super-resoluutio DIV2K:lla; tekstin super-resoluutio MARCONetilla; ja heikkovalokuvauksen parantaminen LOL:lla, joissa ehdotetun menetelmän saavutukset ovat korkeimmat kussakin tapauksessa. Viittaa lähdekuvaan (hieman) paremman resoluution saamiseksi.

Yllä olevassa laadukkaassa tuloksessa voidaan nähdä, miten eri menetelmät suoriutuvat riippuen siitä, kuinka paljon aikaa niillä on käytettävissä valokuvan ottamisen hetkellä. Parannusmenetelmät esittivät näkyviä kuvitteellisia yksityiskohtia. Sokean palauttamisen NAFNet kamppaili kuvan rekonstruoimisessa. NeRF ja hash-grid tuottivat virheitä järjestäytyneissä alueissa, kuten ikkunoissa ja teksteissä, kun taas ehdotettu menetelmä vastasi lähemmin aidosta kuvasta.

Viimeksi, yllä olevassa kuvassa, nähdään tulokset LOL-aineistosta, jossa kirkkaus on skaalattu visualisointia varten.

Sokean palauttamisen NAFNet ei voinut ratkaista tuntematonta kirkkausskaalaa, kun taas ehdotettu menetelmä rekonstruoitiin tekstuureja ja palautti muutetut merkit, kuten korjaten “1”:n takaisin “i”:ksi, ilman uusien virheiden lisäämistä.

Johtopäätös

On todennäköisesti kiistatonta, ettei “kamera valehtele”. Jokainen valokuvaamiseen liittyvä päätös, mukaan lukien se, mitä valokuvata ja milloin valokuvata, sekä miten esittää ja kontekstualisoida sitä, on itse asiassa poliittinen tai sosiaalinen päätös.

Jo vanhimmat jälkikäsittelymenetelmät, kuten valotus- ja varjostus (joita on jo siirretty Photoshop-työkaluihin), ovat hyvin subjektiivisia taiteellisia päätöksiä ja mieltymyksiä.

Kuitenkin, se ei ole syy antaa periksi “objektiivisen” valokuvauksen tavoitteesta; ja se näyttää kohtuulliselta, että keskivertokuluttajan pitäisi voida päästä käsiksi “massattomiin” raakasensoridumppeihin valokuvista, jotka he ottavat, jos he haluavat; tai ainakin, että heidän pitäisi voida rajoittaa ISP-jälkikäsittely non-AI-algoritmeihin, kuten he voisivat mieltää:

Ensimmäisen kerran julkaistu perjantaina, 24. huhtikuuta 2026