Ripristinare ciò che la tua fotocamera ha catturato prima che l’AI lo modificasse

Come puoi proteggere la santità di una fotografia grezza dall’interferenza dell’AI quando è già stata automaticamente elaborata dall’AI all’interno della fotocamera? Nuove ricerche cercano di ripristinare i ‘veri’ dati del sensore – anche con l’AI!

L’aumento dell’autenticità delle immagini AI negli ultimi anni ha portato molti gruppi e individui a rally contro l’erosione della fiducia nella fotografia.

Nello stesso periodo, la Coalition for Content Provenance and Authenticity (C2PA) ha cercato di diffondere uno standard semi-crittografico che attacca informazioni di provenienza basate su metadati a un’immagine, fin dal momento in cui viene catturata da una fotocamera o dispositivo supportato, sperando di smascherare l’uso successivo di AI generativa su queste ‘immagini originali’:

Schema della provenienza nel sistema C2PA, dove i metadati scritti al momento della cattura possono essere aggiunti come un diario, consentendo ajustamenti consueti come la luminosità e il contrasto, ma registrando gli ajustamenti importanti in modo che un’immagine pesantemente alterata dall’AI si riveli tale nei media che supportano questo sistema. Fonte

L’adozione di questo standard non è stata così ampia come la coalizione aveva sperato, e attualmente solo 14 fotocamere supportano l’impronta di autenticità all’interno della fotocamera.

Ciò che è interessante nell’idea del C2PA di dare a una foto un ‘passaporto’ non appena esiste, è che a quel punto potrebbe già essere troppo tardi – perché i produttori di fotocamere ora incorporano routine di elaborazione AI all’interno della creazione dell’immagine:

Dal paper del 2024 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’: un’illustrazione di come le moderne pipeline di fotocamere introducono contenuti allucinati al momento della cattura e come i metadati di autenticazione a livello di pixel li espongono. In (A), un’immagine del sensore di uno smartphone è elaborata dall’ISP, dove i moduli AI possono inventare dettagli durante lo zoom digitale o la correzione dell’esposizione, producendo immagini realistiche con errori come cifre di targa errate. In (B), una maschera di autenticazione è incorporata come metadati e successivamente sovrapposta per rivelare regioni non autentiche, consentendo agli utenti di distinguere i dati originali da quelli alterati dall’AI. Fonte

In realtà, questo tipo di post-elaborazione non è lo stesso della tendenza attuale di modificare le foto all’interno della fotocamera, dove un’app del telefono o un’app della fotocamera consente all’utente di rielaborare una foto a proprio piacimento prima che venga scaricata dal dispositivo.

Al contrario, l’elaborazione avviene in una routine ‘scatola nera’ all’interno del processore di segnale dell’immagine (ISP) della fotocamera, solitamente in un runtime proprietario che non espone o rende disponibili i dati grezzi del sensore (e considera che il formato grezzo della fotocamera non è così ‘grezzo’).

Pertanto, quando puoi vedere la foto, potrebbe già essere stata soggetta ad aggiustamenti AI-aidati come miglioramento in bassa luce, upscaling o anche sostituzione della luna.

In molti casi, ciò può portare a ricostruzioni inaccurate, ad esempio di testo, che potrebbero invalidare l’uso di tale immagine come prova, poiché un’immagine ‘grezza’ vera non sarebbe disponibile:

Dal nuovo paper – un’immagine grezza del sensore è elaborata da un ISP abilitato GenAI per produrre un output sRGB finale che appare più chiaro ma può contenere dettagli allucinati, come mostrato nell’esempio della targa dove i caratteri sono inferiti in modo errato durante lo zoom digitale. La scena vera, che non è accessibile nella pratica, differisce sia dall’output AI migliorato che dall’immagine autentica precedente all’allucinazione. L’approccio proposto consente il recupero di quest’ultima immagine, ripristinando ciò che la fotocamera ha originariamente catturato prima che gli aggiustamenti AI basati sul contenuto lo modificassero. Fonte

I sopra esempi provengono da un nuovo paper di ricerca che offre un rimedio alle ‘foto native AI’, utilizzando processi AI alternativi per ricostruire l’immagine grezza e non adulterata stimata dall’immagine elaborata.

Gli autori affermano:

‘Quando i modelli AI addestrati con perdite generative o percettive vengono utilizzati negli ISP, sono propensi a creare contenuti allucinati, potenzialmente alterando il significato dell’immagine. L’implicazione è che le immagini direttamente generate dalla fotocamera possono ora contenere contenuti ‘falsi’, specialmente nelle fotocamere smartphone dove i moduli AI-ISP stanno vedendo un aumento dell’adozione.

‘L’uso di GenAI nel hardware della fotocamera segna un cambiamento di paradigma su come vediamo le immagini della fotocamera e sfida la visione tradizionale forense delle immagini catturate dalla fotocamera come intrinsecamente attendibili.’

Il nuovo lavoro utilizza un encoder leggero e un MLP decoder, che possono essere inclusi all’interno dell’immagine con una penalità di peso di solo 180kb. L’obiettivo è lo sviluppo di sistemi di codifica abbastanza veloci da estrarre l’immagine originale in tempo reale.

Dal nuovo paper: la super-risoluzione basata su GenAI all’interno dell’ISP della fotocamera può alterare sottilmente i tratti del viso, spostando l’aspetto o l’identità percepita attraverso cambiamenti nello sguardo e nella forma della bocca. Il miglioramento in bassa luce può modificare in modo simile il contenuto dell’immagine, influenzando l’interpretazione nonostante il miglioramento della qualità visiva. Nell’esempio del codice QR, il miglioramento rende l’immagine più attraente ma rende il codice non leggibile. Il metodo consente il recupero dell’immagine autentica prima di queste allucinazioni, ripristinando i dettagli originali del viso e un codice QR leggibile.

In alternativa, i produttori di fotocamere potrebbero dare agli utenti l’accesso ai veri dump del sensore non manomessi; tuttavia, ciò sembra probabile che rimanga limitato a equipaggiamenti di fascia alta. Nello spazio mobile e consumer, purtroppo, l’accesso a foto non elaborate può essere considerato un obiettivo ‘di nicchia’ o marginale.

Mentre le fotocamere consumer hanno sempre applicato alcuni livelli di post-elaborazione, prima dell’avvento dell’AI edge, gli algoritmi utilizzati erano minimamente ‘interpretivi’ e non probabili di alterare il contenuto di una foto nel stesso modo significativo in cui i metodi AI attuali possono.

Interessantemente, considerando la portata in cui la ‘politica di sostituzione della luna’ di Samsung è stata sottoposta a critiche pubbliche alcuni anni fa, il centro AI di Samsung a Toronto è uno dei partecipanti al nuovo lavoro, intitolato Addressing Image Authenticity When Cameras Use Generative AI, e è guidato da contributi di cinque ricercatori dell’Università di Toronto.

Metodo

Gli autori utilizzano l’unico altro progetto che sembra aver affrontato direttamente il problema della perturbazione progettata: il paper del 2024 paper Advocating Pixel-Level Authentication of Camera-Captured Images, che propose una ‘maschera di autenticazione binaria’ che delinea le aree modificate dai processi AI all’interno della fotocamera:

A destra, la ‘maschera di autenticità’ del paper del 2024 rivela le aree del cielo influenzate dai processi di ‘smussamento’ AI all’interno della fotocamera.

Tuttavia, il sistema non offriva un metodo per recuperare un’immagine ‘vera’, che il nuovo lavoro affronta, riconoscendo un debito al precedente lavoro.

L’obiettivo del nuovo lavoro è consentire agli utenti di recuperare un’immagine il più possibile vicina a ciò che è stato effettivamente catturato dal sensore prima dell’elaborazione:

Panoramica del metodo proposto. In (A), al momento della cattura, l’immagine di output dell’ISP che contiene allucinazioni viene passata attraverso un encoder pre-addestrato congelato, e le sue caratteristiche latenti vengono combinate con le coordinate spaziali e alimentate in un MLP che opera per pixel per prevedere l’immagine non allucinata, con l’addestramento guidato da una perdita contro l’immagine autentica. I pesi dell’encoder e dell’MLP vengono quindi salvati come metadati accanto all’immagine. In (B), al momento dell’inferenza, questi pesi vengono recuperati dai metadati e utilizzati con l’encoder e l’MLP per ricostruire l’immagine non allucinata.

Al momento della cattura, nel nuovo metodo, l’immagine elaborata viene passata attraverso un encoder congelato che la converte in una rappresentazione compatta latente. Successivamente, le coordinate spaziali rilevanti vengono combinate con queste caratteristiche e alimentate in un MLP leggero che opera per pixel, per prevedere il contenuto dell’immagine originale – imparando, in effetti, a sottrarre gli elementi allucinati attraverso una perdita di ricostruzione, contro obiettivi autentici.

L’encoder e il decoder vengono pre-addestrati su immagini autentiche e allucinate accoppiate, quindi rapidamente fine-tuning per ogni immagine catturata, con i loro pesi archiviati come metadati accanto alla foto stessa, aggiungendo solo una piccola sovrapposizione di dimensioni.

Al momento della visualizzazione, questi pesi archiviati vengono estratti e riutilizzati per eseguire lo stesso encoder e MLP, consentendo il recupero di un’immagine che si avvicina molto a ciò che il sensore della fotocamera ha originariamente catturato, senza introdurre nuovo contenuto sintetico.

Dati e test

Gli autori hanno testato il nuovo metodo utilizzando due delle attività di post-elaborazione più comunemente implementate negli ISP: la super-risoluzione (SR, inclusa per aree zoomate); e la fotografia in bassa luce.

Per la sezione di test della super-risoluzione (‘immagini naturali’), sono stati inclusi molti esempi di testo, poiché le routine SR dell’ISP sono note per aver alterato il testo (ad esempio, i numeri di targa delle auto, ma vedi esempi precedenti nell’articolo). Poiché la distorsione del testo è un problema discreto in sé, ciò è stato trattato come un subset dei test SR, con dati dedicati.

L’encoder sopra menzionato è stato addestrato per ciascuna delle due modalità testate, e ciascuno è stato selezionato in base al modulo AI ISP che probabilmente sarebbe stato coinvolto durante la cattura (ad esempio, un modulo ‘bassa luce’, in condizioni buie).

Gli autori hanno utilizzato il dataset DIV2K per l’addestramento della super-risoluzione, alimentato dalla rete RealESRGAN popolare. In linea con il lavoro del 2024 sull’interferenza ISP, i ricercatori hanno generato dati accoppiati con contenuti non influenzati e allucinati.

Per la sezione di test della super-risoluzione del testo, gli autori hanno utilizzato il modello di super-risoluzione del testo MARCONet del 2023:

Dal paper MARCONet del 2023, esempi di testo a bassa risoluzione e testo equivalente ingrandito. Fonte

Per creare dati accoppiati in questo caso, i ricercatori hanno eseguito immagini non allucinate attraverso MARCONet. Due thousand immagini sono state generate dal codice originale del progetto, con 200 set aside per la convalida, insieme ad altre 200 per il test.

Per i test in bassa luce, il dataset LOw-Light (LOL) del 2018 è stato adottato:

Dal dataset LOL cinese del 2018, esempi accoppiati delle stesse immagini a diverse esposizioni e livelli di oscurità e degrado. Fonte

Framework rivali

Per valutare il metodo, sono stati effettuati confronti con tre baseline specifiche addestrate in condizioni abbinate. In primo luogo, SIREN e NeRF sono stati pre-addestrati su immagini autentiche e allucinate accoppiate e successivamente fine-tuning al momento della cattura per lo stesso periodo di tempo dell’approccio proposto, offrendo un confronto diretto con NeRF.

In secondo luogo, un MLP con un’incodifica appresa basata sul metodo hashgrid da Instant-NGP è stato utilizzato, con le voci della tabella hash e l’MLP jointly optimized.

La dimensione dell’incodifica e la capacità della rete sono state abbinate all’encoder di destinazione e all’MLP, con esperimenti che coprono sia l’ottimizzazione per immagine da zero, sia il pre-addestramento seguito da fine-tuning.

In terzo luogo, una baseline di traduzione di immagine cieca è stata implementata utilizzando un modello NAFNet da 64MB, addestrato come un sistema di regressione pixel-per-pixel senza accesso ai metadati.

Durante l’addestramento, l’ottimizzatore Adam è stato utilizzato su PyTorch, sia per il pre-addestramento che per il fine-tuning. L’encoder e l’MLP sono stati addestrati per 50.000 epoche con un batch size di 32, con encoder modali specifici addestrati per ogni attività (ad esempio SR, SR del testo, bassa luce).

Il fine-tuning ha avuto luogo per circa tre secondi su una GPU NVIDIA V100 con 32GB di VRAM. Gli autori notano che, sebbene l’ottimizzazione sul dispositivo sia l’ambiente di destinazione e lo scenario, non è stato realistico implementarlo per tutti i framework, e quindi tutti i test sono stati condotti in un ambiente desktop:

Confronto delle prestazioni con le baseline MLP basate su metadati, incluse SIREN, NeRF e il metodo hash-grid, oltre alla ripristino cieco utilizzando NAFNet. I risultati sono riportati come PSNR in decibel su tre attività: super-risoluzione di immagini naturali su DIV2K; super-risoluzione del testo su MARCONet; e miglioramento in bassa luce su LOL, con il metodo degli autori che raggiunge i punteggi più alti in ogni caso.

Per gli approcci basati su MLP, le prestazioni dipendevano fortemente dalla rappresentazione di input, dove i modelli addestrati utilizzando solo le coordinate spaziali hanno faticato durante il pre-addestramento e non sono riusciti a migliorare durante la fase di fine-tuning limitata. L’aggiunta di informazioni sui colori ha portato a risultati più solidi.

La ripristino cieco utilizzando NAFNet ha funzionato bene su DIV2K, dove la mappatura da degradato a pulito era relativamente stabile, ma si è rotta su MARCONet e LOL, dove esistevano più ricostruzioni plausibili e il modello non disponeva delle informazioni necessarie per risolvere questa ambiguità.

Questo effetto è stato più pronunciato nel miglioramento in bassa luce, dove la luminosità originale della scena non poteva essere affidabilmente inferita dall’immagine elaborata da sola.

Gli autori affermano:

‘[Nel] dataset MARCONet sintetico, le immagini con diverse forze di sfocatura si mappano sulla stessa immagine allucinata. È possibile vedere dai risultati che il nostro approccio proposto supera i concorrenti in tutti i dataset.’

Nel confronto sopra, possiamo vedere quanto bene diversi metodi si comportano a seconda del tempo che hanno per eseguirsi nel momento in cui si scatta una foto. Addestrare un modello da zero per ogni immagine può produrre risultati solidi, come si vede con SIREN, NeRF e hash-grid – ma ciò richiede troppo tempo per essere pratico all’interno di una fotocamera.

Al contrario, il metodo degli autori esegue la maggior parte del lavoro in anticipo, con un rapido aggiustamento al momento della cattura, consentendo di ottenere risultati migliori entro limiti di tempo stretti (3, 5 o dieci secondi).

Confronto delle prestazioni con le baseline MLP basate su metadati, incluse SIREN, NeRF e il metodo hash-grid, oltre alla ripristino cieco utilizzando NAFNet. I risultati sono riportati come PSNR in decibel su tre attività: super-risoluzione di immagini naturali su DIV2K; super-risoluzione del testo su MARCONet; e miglioramento in bassa luce su LOL, con il metodo degli autori che raggiunge i punteggi più alti in ogni caso. Si prega di fare riferimento al paper originale per una risoluzione (leggermente) migliore.

Sopra sono mostrati i risultati qualitativi su DIV2K, dove i metodi di miglioramento hanno introdotto allucinazioni visibili. Un modello di super-risoluzione basato su GAN ha alterato il colore degli occhi, e la ripristino cieca ha faticato a ricostruire l’immagine originale. NeRF e hash-grid hanno prodotto artefatti in regioni strutturate come finestre e testo, mentre il metodo proposto si è avvicinato di più all’immagine autentica.

Infine, nella figura sopra, vediamo i risultati sul dataset LOL, con la luminosità scalata per la visualizzazione.

La ripristino cieca non è riuscita a risolvere la scala di luminosità sconosciuta, mentre il metodo proposto ha ricostruito meglio i texture e ha ripristinato i caratteri alterati, come correggere un ‘1’ in ‘i’, senza aggiungere artefatti.

Conclusione

Probabilmente non è arguibile, né lo è mai stato, che ‘la fotocamera non mente’. Ogni decisione su cosa fotografare e quando fotografarlo, insieme a come presentarlo e contestualizzarlo, è in effetti una decisione politica o sociale.

Anche i metodi più antichi di post-elaborazione, come dodge e burn (da tempo trasferiti negli strumenti di Photoshop) sono atti altamente soggettivi di decisione artistica e preferenza.

Tuttavia, ciò non è una ragione per rinunciare almeno all’obiettivo di catture di immagini ‘oggettive’; e sembra ragionevole che il consumatore medio debba essere autorizzato, anche con difficoltà, ad accedere ai dump grezzi non manipolati delle foto che scatta, se lo desidera; o almeno, che debba essere permesso di limitare la post-elaborazione ISP a algoritmi non-AI, come potrebbe preferire.

Pubblicato per la prima volta venerdì, 24 aprile 2026