Gjenoppretting av hva kameraet fanget før AI endret det

Hvordan kan du beskytte integriteten til et råt bilde fra AI-forstyrrelser når det allerede er blitt automatisk kjørt gjennom AI inne i kameraet? Ny forskning søker å gjenopprette ‘sanne’ sensordata – også med AI!

Økningen i autentisiteten av AI-bilder de siste årene har ført til at mange grupper og enkeltpersoner har reagert mot den påfølgende erosjonen av tillit i fotografi.

I samme periode har koalisjonen for innholdets proveniens og autentisitet (C2PA) forsøkt å diffusere en semi-kryptografisk standard som vedlegger metadata-basert proveniensinformasjon til et bilde, fra det øyeblikket det blir fanget av et støttet kamera eller enhet, i håp om å avsløre enhver påfølgende bruk av generativ AI på disse ‘opprinnelige’ bildene:

Skjema over proveniens i C2PA-systemet, der metadata skrevet ved fangetidspunktet kan legges til som en dagbok, og tillate vanlige justeringer som lysstyrke og kontrast, men registrere større justeringer, så at et sterkt AI-endret bilde vil dukke opp som sådan i mediekanaler som støtter dette systemet. Kilde

Tilpasningen av standarden har ikke vært like utbredt som koalisjonen hadde håpet, og for tiden kun 14 kamere støtter innkamera-innskriving av autentisitetsinformasjonen.

Hva som er interessant med C2PA’s ide om å gi et bilde en ‘pass’ så snart det kommer til å eksistere, er at det på dette tidspunktet kanskje allerede er for sent – fordi kameraprodusentene nå rutinemessig baker AI-behandling inn i bildets skapelse:

Fra 2024-papiret ‘Advocating Pixel-Level Authentication of Camera-Captured Images’: en illustrasjon av hvordan moderne kamerapipelines introduserer hallucinert innhold ved fangetidspunktet og hvordan pikselnivåautentiseringmetadata avdekker det. I (A) er et smartphone-sensorbilde prosessert av ISP, der AI-moduler kan oppfinne detaljer under digital zoom eller eksponeringskorreksjon, og produserer realistiske bilder med feil som feilaktige lisensplatenummer. I (B) er en autentiseringsskjemabild lagt til som metadata og senere lagt over for å avsløre ikke-ekte områder, og tillater brukerne å skille mellom opprinnelig data og AI-endret piksler. Kilde

I virkeligheten kan denne AI-forstyrrelsen i fanget av rådata fra kameraets sensor potensielt bli den dominerende prosessen.

Dette post-prosessering er ikke det samme som den nåværende trenden for å endre bilder i kameraet, hvor en telefonapp eller et kamera-app tillater brukeren å omtenke et bilde i ro og mak før det er lastet ned fra enheten.

Snarere skjer prosesseringen i en ‘svart boks’-rutine i kameraets Image Signal Processor (ISP), vanligvis i en proprietær runtime som ikke eksponerer eller gjør rå sensordata tilgjengelig (og vurdere at det såkalte ‘rene’ kamera-RAW-formatet ikke er så ‘rent’).

Derfor, når du først kan se bildet, kan det ha vært utsatt for AI-basert forbedring, som lavlysforbedring, oppskalering eller selv måne-erstatning.

I mange tilfeller kan dette føre til uaktuelle rekonstruksjoner, for eksempel av tekst, som kan invalidere bruken av slike bilder som bevis, ettersom et ‘rent’ bilde ikke ville være tilgjengelig:

Fra det nye papiret – et råt sensorbilde prosessert av en GenAI-aktivert ISP for å produsere en sluttsRGB-utgang som ser klarere ut, men kan inneholde hallucinerte detaljer, som vist i lisensplateneksempelet hvor tegnene er feilaktig inferert under digital zoom. Den sanne scenen, som ikke er tilgjengelig i praksis, skiller seg fra både AI-forbedret utgang og det mellomliggende ekte bildet før hallucinasjonen. Den foreslåtte tilnærmingen muliggjør gjenoppretting av dette pre-hallucinerte bildet, og gjenoppretter hva kameraoptikken opprinnelig fanget før AI-basert forbedring endret innholdet. Kilde

Eksemplene ovenfor kommer fra et nytt forskningspapir som tilbyr en kur mot ‘native AI-bilder’, ved å bruke alternative AI-prosesser til å rekonstruere det estimerte rå og uforfalskede bildet fra det prosesserte bildet.

Forfatterne skriver:

‘Når AI-modeller trent med generative eller perseptuelle tap er brukt i ISPs, er de utsatt for å hallucinere innhold, potensielt endre bilde [betydning]. Implikasjonen er at bilder direkte ut fra kameraet nå kan inneholde “falskt” innhold, spesielt i smartphone-kamere hvor AI-ISP-moduler ser økende adopsjon.

‘Bruken av GenAI i kamerahardware markerer en paradigmeskifte i hvordan vi ser på kamera-bilder og utfordrer den tradisjonelle forensiske syn på kamera-fangete bilder som innebredt tillit.’

Det nye arbeidet bruker en svært lett encoder og MLP dekoder, som kan inkluderes inne i bildet med en vektstraff på bare 180kb. Målet er å utvikle kode-systemer raskt nok til å gjenopprette det opprinnelige bildet i sanntid.

Fra det nye papiret: GenAI-basert super-oppløsning innenfor kameraets ISP kan subtilt endre ansiktsdetaljer, skifte utseende eller oppfattet identitet gjennom endringer i blikk og munnform. Lavlysforbedring kan likvise modifisere bildeinnhold, påvirke tolkning til tross for å forbedre visuell kvalitet. I QR-kode-eksempelet gjør forbedringen bildet mer tiltalende, men gjør koden ulesbar. Metoden muliggjør gjenoppretting av det ekte bildet før hallucinasjonene, og gjenoppretter opprinnelige ansiktsdetaljer og en skannbar QR-kode.

Alternativt kunne kameraprodusentene gi brukerne tilgang til de virkelig urørt sensor-dumpene; imidlertid ser det ut til å forbli begrenset til svært høykvalitetsutstyr. I mobil- og forbrukermarkedet, dessverre, kan tilgang til ikke-prosesserte bilder bli betraktet som en ‘nisje’ eller marginalt løp.

Mens forbrukerkamere alltid har brukt en viss grad av post-prosessering, før introduksjonen av edge AI, var algoritmene som ble brukt minimalt ‘tolkende’, og ikke sannsynlig å endre bildeinnhold på samme måte som nåværende AI-metoder kan.

Interessant nok, når man ser på hvor mye Samsungs ‘måne-erstatningspolitikk’ var utsatt for offentlig kritikk for noen år siden, er Samsungs AI-senter i Toronto en av deltakerne i det nye arbeidet, som har tittelen Addressing Image Authenticity When Cameras Use Generative AI, og er ledet av bidrag fra fem forskere ved University of Toronto.

Metode

Forfatterne bruker den eneste andre prosjektet som ser ut til å ha direkte adressert problemet med perturbasjon ved design: 2024-papiret Advocating Pixel-Level Authentication of Camera-Captured Images, som foreslo en ‘binær autentiseringsskjemabild’ som avgrenser områder endret av innkamera-AI-prosesser:

Høyre, avslører 2024-papirets ‘autentiseringsskjemabild’ områder av himmelen påvirket av AI-‘glattning’-prosesser i et kamera.

Imidlertid tilbød systemet ingen metode for å gjenopprette et ‘sant’ bilde, noe det nye arbeidet adresserer, samtidig som det anerkjenner en gjeld til den tidligere utgaven.

Målet med det nye arbeidet er å muliggjøre brukerne å gjenopprette et bilde så nært som mulig det som faktisk traff sensoren før prosesseringen skjedde:

Oversikt over den foreslåtte metoden. I (A), ved fangetidspunktet, sendes ISP-utgangsbildet som inneholder hallucinasjoner gjennom en frozen forhånds-trent encoder, og dens latente egenskaper kombineres med romlige koordinater og matet inn i en MLP som opererer per piksel for å forutsi det ikke-hallucinerte bildet, med trening styrt av en tap mot det ekte bildet. Encoder- og MLP-vektene lagres så som metadata sammen med bildet. I (B), ved inferens, hentes disse vektene fra metadata og brukes sammen med encoder og MLP for å rekonstruere det ikke-hallucinerte bildet.

Ved fangetidspunktet, i den nye metoden, sendes det prosesserte bildet gjennom en frozen encoder som konverterer det til en kompakt latent representasjon. Deretter kombineres de relevante romlige koordinatene med disse egenskapene og matet inn i en lett MLP som opererer per piksel, for å forutsi det opprinnelige bildeinnhold – lærer, effektivt, å trekke fra de hallucinerte elementene gjennom en rekonstruksjonstap, mot ekte mål.

Encoderen og dekoderen er forhåndstrent på parrede ekte og hallucinerte bilder, og deretter raskt finjustert for hvert fanget bilde, med deres vekt lagret som metadata sammen med bildet selv, og bare en liten størrelsesoverhead.

Ved visningstidspunktet hentes de lagrede vektene ut og brukes på nytt for å kjøre samme encoder og MLP, og muliggjør gjenoppretting av et bilde som nærmer seg hva kamera-sensoren opprinnelig fanget, uten å innføre nytt syntetisk innhold.

Data og tester

Forfatterne testet den nye metoden ved å bruke to av de mest vanlige ISP-post-prosessering-oppgavene: super-oppløsning (SR, inkludert for zoomede områder); og lavlys-fotografering.

For den generelle (‘natur-bilde’) SR-delen av testene, ble mange eksempler på tekst inkludert i dataene, siden ISP SR-rutiner er kjent for å ha endret tekst (for eksempel, av bilnummerplater, men se eksempler tidligere i artikkelen). Siden tekst-forvrengning er et eget problem, ble dette behandlet som en undergruppe av SR-testene, med dedikert data.

Den ovennevnte encoderen ble trent for hver av de to modalitetene som ble testet, og hver ble valgt ut ifra hvilken AI-ISP-modul som sannsynligvis ville være engasjert under fangetidspunktet (dvs. en ‘lavlys’-modul, i mørke forhold).

Forfatterne brukte DIV2K-datasettet for super-oppløsnings-trening, drevet av den populære RealESRGAN-netverket. I linje med den ovennevnte 2024-arbeidet om ISP-forstyrrelser, genererte forskerne parrede data med uberørt og hallucinert innhold.

For tekst-SR-delen brukte forfatterne 2023-MARCONet-tekst-SR-modellen:

Fra 2023 MARCONet-papiret, eksempler på virkelige lav-oppløsning og ekvivalent oppskalert tekst. Kilde

For å generere parrede data i dette tilfelle, kjørte forskerne ikke-hallucinerte bilder gjennom MARCONet. To tusen bilder ble generert fra prosjektets opprinnelige kode, med 200 satt til side for validering, sammen med ytterligere 200 for testing.

For lavlys-testene ble LOw-Light dataset (LOL) dataset fra en 2018-kinesisk papir adoptert:

Fra 2018-kinesisk LOL-dataset, bracketed eksempler på samme bilder ved forskjellige eksponeringer og nivåer av mørke og degradering. Kilde

Rivaliserende rammer

For å evaluere metoden, ble sammenligninger gjort mot tre spesifikke baselinjer trent under like forhold. Først, SIREN og NeRF ble forhåndstrent på parrede ekte og hallucinerte bilder og deretter finjustert ved fangetidspunktet for samme varighet som den foreslåtte tilnærmingen, og tilbød en direkte sammenligning med NeRF.

For det andre, ble en MLP med en lært encoding basert på hashgrid-metoden fra Instant-NGP brukt, med hash-tabell-innlegg og MLP sammenoptimalisert.

For det tredje, ble en blind bilde-til-bilde-oversettelse-baselinje implementert ved å bruke en 64MB NAFNet-modell, trent som et piksel-til-piksel regresjon-system uten tilgang til metadata.

I trening, ble Adam-optimalisatoren brukt over PyTorch, både for forhåndstrening og finjustering. Encoderen og MLP ble trent for 50 000 epoker med en batch-størrelse på 32, med modality-spesifikke encodere trent for hver oppgave (dvs. SR, tekst-SR, lavlys).

Finjustering skjedde på rundt tre sekunder på en NVIDIA V100-GPU med 32GB VRAM. Forfatterne bemerker at mens på-enheten-optimalisering er målet, var det ikke realistisk å implementere dette for alle rammer, og derfor ble alle tester utført i en skrivebordsmiljø:

Ytelses-sammenligning mot metadata-assisterte MLP-baserte baselinjer, inkludert SIREN, NeRF og hash-grid-metoden, samt blind gjenoppretting ved å bruke NAFNet. Resultatene rapporteres som PSNR i desibel over tre oppgaver: natur-bilde-super-oppløsning på DIV2K; tekst-super-oppløsning på MARCONet; og lavlys-forbedring på LOL, med forfatternes metode som oppnår de høyeste poengene i hver enkelt tilfelle.

For MLP-baserte tilnærminger, avhengig ytelsen tungt av inndata-representasjonen, hvor modeller trent med bare romlige koordinater kjempet under forhåndstrening og mislyktes i å forbedre under den begrensede finjusteringsfasen. Tilføyelse av fargeinformasjon ledet til sterkere resultater.

Blind gjenoppretting ved å bruke NAFNet fungerte godt på DIV2K, hvor mappingen fra degradert til ren bilder var relativt stabil, men brøt sammen på MARCONet og LOL, hvor multiple plausibles rekonstruksjoner eksisterte og modellen manglet informasjonen nødvendig for å løse denne usikkerheten.

Dette effekten var mest uttalt i lavlys-forbedring, hvor den opprinnelige lysstyrken i scenen ikke kunne pålitelig infereres fra det prosesserte bildet alene.

Forfatterne skriver:

‘[I] de syntetiske MARCONet-data, mapper bilder med forskjellige uskarphetsstyrker til samme hallucinerte bilde. Det kan ses fra resultater at vår foreslåtte tilnærming overgår konkurrenter over alle datasett.’

I sammenligningen ovenfor kan vi se hvor godt ulike metoder fungerer avhengig av hvor mye tid de får til å kjøre ved fangetidspunktet. Å trene en modell fra scratch for hvert bilde kan produsere sterke resultater, som sett med SIREN, NeRF og hash-grid – men dette tar for lang tid til å være praktisk inne i et kamera.

I stedet gjør forfatternes metode mesteparten av arbeidet på forhånd, med en rask justering ved fangetidspunktet, og muliggjør å levere bedre resultater innen stramme tidsbegrensninger (3, 5 eller ti sekunder).

Ytelses-sammenligning mot metadata-assisterte MLP-baserte baselinjer, inkludert SIREN, NeRF og hash-grid-metoden, samt blind gjenoppretting ved å bruke NAFNet. Resultatene rapporteres som PSNR i desibel over tre oppgaver: natur-bilde-super-oppløsning på DIV2K; tekst-super-oppløsning på MARCONet; og lavlys-forbedring på LOL, med den foreslåtte metoden som oppnår de høyeste poengene i hver enkelt tilfelle. Vennligst se kilde-papiret for (svakt) bedre oppløsning.

Ovenfor vises kvalitative resultater på DIV2K, hvor forbedringsmetodene introduserte synlige hallucinasjoner. En GAN-basert super-oppløsningsmodell endret øyefarge, og blind gjenoppretting kjempet for å rekonstruere det opprinnelige bildet. NeRF og hash-grid produserte artefakter i strukturerte regioner som vinduer og tekst, mens den foreslåtte metoden kom nærmere det ekte bildet.

Til slutt, i figuren ovenfor, ser vi resultater på LOL-datasettet, med lysstyrke skalert for visualisering.

Blind gjenoppretting kunne ikke løse den ukjente lysstyrken, mens den foreslåtte metoden bedre rekonstruerte teksturer og gjenopprettet endret tegn, som korrigerte en ‘1’ tilbake til ‘i’, uten å legge til artefakter.

Konklusjon

Det er sannsynligvis ikke argumenterbart, eller har aldri vært argumenterbart, at ‘kameraet løyer aldri’. Hver beslutning om hva som skal fotografieres og når det skal fotografieres, samt hvordan det skal presenteres og kontekstualiseres, er i virkeligheten en politisk eller sosial beslutning.

Even de eldste metodene for post-prosessering, som dodging og burning (lenge siden overført til Photoshop-verktøy) er høyt subjektive handlinger av kunstnerisk beslutning og preferanse.

Likevel er det ingen grunn til å gi opp på målet om ‘objektive’ bilde-fangst; og det ser ut til å være rimelig at den gjennomsnittlige forbrukeren burde få tilgang til de ‘umassede’ rå sensor-dumpene av bildene de tar, hvis de ønsker det; eller at de burde få lov til å begrense ISP-post-prosessering til ikke-AI-algoritmer, som de måtte foretrekke.

Først publisert fredag, 24. april 2026