Introducendo immagini generate da AI con HDR

Le immagini e i video generate da AI possono essere impressionanti, ma non sono ancora di livello ‘professionale’ – un problema che un nuovo progetto di ricerca cerca di affrontare.

Nella comunità professionale audiovisiva, una delle obiezioni più frequenti all’avanzata dell’AI è la mancanza attuale di standard professionali per la riproduzione di immagini e video. Non meno importante è la capacità di lavorare con immagini e video ad alto range dinamico (HDR).

Le immagini HDR sono l’equivalente moderno di una pratica fotografica del XIX-XX secolo chiamata bracketing, dove la stessa immagine viene scattata più volte con quantità crescenti di luce che raggiungono l’emulsione della pellicola:

Sopra, una breve sequenza di immagini bracketate. In basso, l’alto range dinamico che può essere estratto da queste foto in un’unica immagine. Fonte

Nella fotografia tradizionale, ciò ha portato a più immagini che, con un po’ di esperienza e sforzo, potevano essere composte in una singola stampa che beneficiava di tutti i diversi livelli di dettaglio disponibili nell’intervallo di esposizione. Ma non era un processo banale o facile.

Questi giorni, una sequenza di immagini ‘auto-bracketate’ può produrre più immagini o essere combinata in un’unica immagine HDR – effettivamente una molteplicità di esposizioni in un’unica immagine, che le applicazioni di editing di immagini compatibili con HDR come Photoshop possono iterare e permettere al fotografo di orchestrare in un’unica immagine di output ideale.

Se ti chiedi perché dovresti preoccuparti, o come questo tipo di cosa influisca sulla tua fotografia, l’immagine di questo articolo è intesa a dimostrare questo in un modo familiare:

Sopra, a sinistra vediamo un esempio tipico di un’immagine sRGB (cioè non HDR). Semplicemente schiarendola (mostrato a destra) non mostra il mostro nell’armadio, perché quel dettaglio è stato scartato quando il fotografo e i processi automatici della macchina fotografica hanno deciso cosa prioritizzare nella foto:

In basso, c’è un’indicazione (a sinistra) di quanto ‘lavato’ sarebbe stato il primo piano al momento dell’esposizione per registrare il mostro nell’armadio in un’immagine non HDR, e (a destra) di come il mostro è immerso nel buio quando l’esposizione è fatta in modo adatto per i soggetti ben illuminati del primo piano:

In basso, vediamo il tipo di dettaglio che può essere ‘salvato’ da un’immagine o sequenza di immagini HDR. In questo caso, il mostro era ‘nascosto’ nei registri visuali più bassi della sequenza HDR, in un livello in cui il resto del contenuto sarebbe stato ‘bruciato’ in bianco (sopra, a sinistra). Specificando che una vasta gamma di livelli di luminosità dovrebbe essere espressa, selettivamente, nella stessa immagine, questi elementi dissonanti possono essere composti in un’unica immagine razionale:

Un’immagine non HDR è conosciuta come immagine riferita all’esposizione, e un’immagine HDR ad alto gamut è conosciuta come immagine riferita alla scena.

Il video HDR è anche una cosa, e questo tipo di versatilità tonale e duttilità dà veramente ai registi un po’ di libertà per salvare, graduare e interpretare le riprese in una serie di modi creativi e coerenti; non sorprende, quindi, che i creativi siano riluttanti a lavorare con l’output ‘appiattito’ sRGB tipico della maggior parte dei framework generativi di AI.

HDR in AI

Naturalmente, la scena della ricerca è interessata a portare i framework generativi di AI nell’era HDR. Tuttavia, non è un compito banale, sia a causa dell’architettura fondamentale dei sistemi generativi a diffusione, sia perché i dati HDR di buona qualità occupano molto spazio su disco, rendendo le raccolte ingombranti; di conseguenza, i set di dati adatti al compito sono scarsi.

Nonostante ciò, una collaborazione tra un’università di Singapore e Adobe Research sta offrendo un metodo per produrre sequenze di immagini HDR, in una metodologia che può essere teoricamente applicata anche al video oltre che alle immagini fisse:

Dai siti del progetto per il nuovo lavoro, esempi di output ‘a bracket’ di testo-immagine. Fonte

Il nuovo sistema genera più versioni allineate della stessa immagine a diversi livelli di luminosità e impara quanto è luminosa la scena, quindi le combina in un unico risultato che mantiene i dettagli sia nelle ombre che negli highlights, permettendo successive modifiche all’esposizione o al colore di comportarsi più come regolazioni di una vera cattura della macchina fotografica, piuttosto che come ritocchi fragili di un’immagine completamente elaborata.

Il sistema sfrutta una diversità di modelli diversi per il compito, comprese varianti di Qwen e Flux:

Esempi dal nuovo articolo, che mostrano come il sistema possa generare più versioni di esposizione della stessa scena mantenendo la struttura sottostante fissa. A partire da una semplice mappa dei bordi, il modello produce immagini coerenti attraverso impostazioni molto scure a molto luminose, indipendentemente dal fatto che il prompt descriva luce lunare, luce solare, tramonto o anche un piccolo oggetto come un palloncino, con il soggetto e la composizione che rimangono stabili mentre solo l’illuminazione cambia. Il metodo può variare la luminosità in un modo controllato, simile a una macchina fotografica, piuttosto che derivare o inventare nuovo contenuto mentre l’esposizione cambia. Fonte

Gli autori affermano:

‘Generare immagini lineari è impegnativo, poiché i VAE pre-addestrati nei modelli di diffusione latente lottano per preservare contemporaneamente gli estremi highlights e ombre a causa del più alto range dinamico e della profondità di bit.

‘A questo scopo, rappresentiamo un’immagine lineare come una sequenza di esposizioni a bracket, ognuna delle quali cattura una specifica porzione del range dinamico, e proponiamo un’architettura di flusso di allineamento basata su DiT per la generazione di esposizioni condizionate dal testo.

‘Inoltre, dimostriamo applicazioni downstream, tra cui la modifica lineare dell’immagine guidata dal testo e la generazione condizionata dalla struttura tramite ControlNet.’

Il nuovo lavoro è intitolato Generazione di immagini lineari sintetizzando esposizioni a bracket e proviene da quattro autori tra S-Lab all’Università Tecnologica di Nanyang, Adobe NextCam e Adobe Research. Oltre alla pagina del progetto e al video YouTube che accompagna il rilascio, c’è anche un repository GitHub (attualmente scarso) e la promessa di un rilascio del set di dati.

Sebbene gli autori forniscono molti esempi di output del sistema nella pagina del progetto, gli utenti avranno bisogno di un monitor compatibile con HDR per distinguere veramente le caratteristiche dell’output HDR presentato. Tuttavia, si prega di trovare la panoramica di YouTube dei ricercatori incorporata alla fine di questo articolo – ma si prega di notare che le differenze tra gli esempi mostrati potrebbero non essere chiare su un monitor non HDR.

Metodo e dati

Gli autori sottolineano l’estensione della quale la raccolta dei dati è una sfida in questo particolare inseguimento:

‘Acquisire un gran numero di immagini lineari è estremamente impegnativo nella pratica. Inoltre, la maggior parte dei set di dati HDR pubblici sono o panoramici (quindi si concentrano quasi esclusivamente su contenuti di scena su larga scala) o non forniscono vere immagini lineari, rendendoli inadatti ai nostri scopi.

‘Pertanto, utilizziamo principalmente set di dati di immagini RAW come base per l’addestramento.’

I ricercatori hanno fatto un uso creativo delle poche opzioni a disposizione, sfruttando il set di dati RAISE come dati di addestramento effettivi e il set di dati MIT-Adobe FiveK come dati di valutazione*.

Per costruire dati di addestramento HDR utilizzabili, i ricercatori hanno eseguito i file della macchina fotografica RAW attraverso un flusso di lavoro standardizzato per rimuovere le peculiarità specifiche della macchina fotografica, convertendo le immagini in un formato lineare coerente e riferito alla scena:

Schema per il flusso di lavoro degli autori: il sistema inizia con il rumore che rappresenta quattro livelli di esposizione della stessa scena, insieme a un prompt di testo e a un token di luminosità. Questo viene quindi elaborato attraverso blocchi di trasformatori impilati che mantengono allineate le diverse esposizioni mentre regolano l’illuminazione. Il sistema prevede sia l’insieme di immagini di esposizione che una scala di luminosità generale e, successivamente, le decodifica e le combina in un’unica immagine riferita alla scena, mantenendo i dettagli sia nelle ombre che negli highlights.

Ciò ha comportato la ricostruzione di RGB completo dai dati del sensore, l’applicazione della correzione del colore, la normalizzazione del bilanciamento del bianco e un breve passaggio in uno spazio colore percettivo per il rumore prima di tornare a un segnale lineare pulito. La luce reale nella scena è stata quindi recuperata utilizzando le impostazioni di esposizione della macchina fotografica, in modo che ogni pixel riflettesse la vera luminosità piuttosto che un’approssimazione pronta per la visualizzazione.

Poiché tali valori possono variare ampiamente, i dati sono stati quindi stabilizzati scalando ogni immagine in base alla sua distribuzione di luminosità, utilizzando statistiche di mezzo intervallo e di highlight per evitare sia immagini troppo chiare che highlights bruciati, ottenendo infine un’immagine lineare normalizzata che preserva la vera gamma di luce nella scena, rimanendo abbastanza stabile per l’addestramento.

I label di testo per le immagini sono stati creati con il modello Qwen2.5-VL 7B, con prompt progettati per corrispondere alle caratteristiche del modello Flux che sarebbe stato utilizzato al momento della generazione.

Ogni immagine è stata divisa in ‘fette’ di esposizione e passata attraverso un encoder VAE condiviso, convertendo tutte le esposizioni in uno spazio latente comune progettato per catturare l’intera gamma di luminosità. I latenti sono stati quindi raffinati dal rumore e decodificati nuovamente in immagini, permettendo una ricostruzione coerente attraverso regioni scure e luminose, senza collassarle in un’unica esposizione ‘appiattita’.

La regolazione fine di LoRA è stata utilizzata per adattare il modello Flux pre-addestrato ai dati di immagini lineari con un minimo di parametri aggiuntivi, aiutando il modello Single-Diffusion Transformers (single-DiT) a rimanere stabile, anche mentre la luminosità variava attraverso le esposizioni a bracket.

È stata introdotta l’attenzione di modulazione dell’esposizione (colonna centrale nell’illustrazione dello schema sopra) per elaborare congiuntamente tutte le esposizioni a bracket, permettendo di regolare la luminosità per esposizione mentre si mantengono allineati la struttura e i dettagli fini.

È stato utilizzato l’inserimento di posizione rotazionale 3D (3D-R[o]PE) per codificare sia la posizione spaziale che l’identità dell’esposizione, in modo che il modello potesse distinguere a quale esposizione a bracket apparteneva ogni token, preservando al contempo la coerenza spaziale, abilitando una pulita separazione della variazione di luminosità dal contenuto della scena.

Un panorama del set di dati utilizzato nello studio, che mostra come le immagini sono distribuite attraverso tipi di contenuto e scene interne ed esterne, insieme alla distribuzione dei valori di luminosità nei dati elaborati. Gli istogrammi tracciano la luminanza e la scala di radianza nello spazio logaritmico, illustrando quanto ampiamente la luminosità del mondo reale possa variare, con valori di radianza più alti che corrispondono a scene fisicamente più luminose e sottolineando il forte range dinamico che il modello è stato addestrato a gestire.

3D-RoPE ha separato dove si trovava una funzione e ‘da quale esposizione proviene’ in segnali separati, in modo che la variazione di luminosità potesse essere regolata in modo indipendente, senza corrompere i dettagli spaziali.

Test

I ricercatori hanno utilizzato Flux-dev come framework generativo, con l’addestramento che si è svolto su quattro GPU NVIDIA A100, ognuna con 80GB di VRAM. La dimensione del batch è stata impostata su 4 (per GPU), su 10.000 iterazioni.

La regolazione fine di LoRA ha utilizzato un rank di 64. L’ottimizzatore AdamW è stato utilizzato a un tasso di apprendimento di 2×10² (per l’aspetto di modulazione dell’esposizione).

Gli autori notano che, mentre ci sono due lavori precedenti simili per portata, nessuno di essi è stato un candidato ovvio per una fase di test. Il lavoro del 2022 guidato da Max Planck GlowGAN è limitato alla generazione di categorie di immagini specifiche, mentre il Bracket Diffusion del 2025 (anch’esso guidato dall’Istituto Max Planck) può generare solo un’immagine HDR a 256x256px e ci vuole diversi minuti per farlo:

Dal paper originale di GlowGAN, le immagini a basso range dinamico (LDR) perdono dettagli nelle ombre e negli highlights, mentre il modello apprende a produrre versioni HDR che mantengono dettagli attraverso livelli di luminosità e abilitano il recupero di aree saturate attraverso la mappatura del tono inversa. Fonte

Pertanto, in assenza di baseline dirette per la generazione di immagini lineari, gli autori hanno confrontato il loro metodo con versioni adattate di modelli esistenti forti, piuttosto che alternative create appositamente.

Un set di esperimenti (‘T2I Fine-Tuning’) ha adattato il modello di diffusione testo-immagine Flux utilizzando LoRA, addestrandolo per generare immagini lineari direttamente e valutando come un modello T2I di stato dell’arte si adatta a questo dominio.

Un secondo confronto (‘T2V fine-tuning’) ha utilizzato il modello testo-video Wan 2.1, il cui VAE comprime più frame in un’unica rappresentazione latente; in questa impostazione, quattro esposizioni a bracket sono state codificate in una rappresentazione latente singola e quindi decodificate nuovamente, testando se una pipeline di stile video potesse modellare la variazione di esposizione.

Il terzo set di esperimenti (‘T2I Model Inflation’) ha confrontato contro CameraCtrl e Generative Photography, che estendono i modelli di diffusione di immagini tramite moduli temporali per produrre output multi-frame. Questi sono stati adattati sui dati di addestramento, per un confronto coerente.

I metrici utilizzati sono stati Fréchet Inception Distance (FID); Aesthetic Score (AS); Naturalness Image Quality Evaluator (NIQUE); CLIP Sim score; e Luminance Similarity (LS):

Un confronto del metodo degli autori con diverse baseline adattate per la generazione di immagini lineari e riferite alla scena. I modelli testo-immagine (Flux) e testo-video (Wan 2.1) sono stati adattati con LoRA per testare quanto bene i sistemi generativi esistenti gestiscano questo setting, mentre CameraCtrl e Generative Photography estendono i modelli di diffusione con componenti temporali. Alcuni punteggi mancano, perché certi modelli non possono produrre in modo affidabile esposizioni a bracket coerenti, che sono richieste per recuperare la gamma dinamica completa. Nei metrici segnalati, il nuovo metodo raggiunge i risultati complessivi più forti, in particolare nelle misure legate alla qualità dell’immagine e alla ricostruzione della luminosità precisa.

Riguardo a questi risultati, gli autori affermano:

‘A causa della vasta distribuzione delle immagini lineari, adattare direttamente il modello T2I ai dati lineari rende difficile bilanciare i dettagli delle ombre e degli highlights. I metodi di infazione del modello T2I soffrono di un range dinamico limitato e di un degrado significativo della qualità dell’immagine anche dopo la regolazione fine.

‘Per la regolazione fine di T2V, il campionamento temporale 4× di Wan 2.1 intreccia le 4 esposizioni a bracket in una rappresentazione latente singola, causando un grave mismatch di distribuzione che non può essere risolto attraverso la sola regolazione fine.

‘Modellando direttamente le proprietà riferite alla scena utilizzando esposizioni a bracket, il nostro metodo raggiunge una qualità visiva e un range dinamico superiori rispetto a tutte le baseline.’

Un confronto con Flux adattato con LoRA e Wan 2.1, che illustra come ogni metodo gestisca i cambiamenti di esposizione attraverso le stesse scene. Gli approcci concorrenti tendono a perdere dettagli in regioni molto scure o molto luminose, mentre il metodo proposto mantiene una struttura coerente e recupera dettagli utili attraverso l’intero range di esposizioni. Si prega di fare riferimento al paper di origine e al sito del progetto per esempi di risultati di migliore qualità.

Si prega di fare riferimento alla sezione di esperimenti estesi e materiali supplementari del paper di origine per ulteriori test.

Conclusione

Per i professionisti dei media, come quelli che lavorano nella produzione di film e TV, lo stesso output che ha catturato l’immaginazione (e, sempre più, l’ira) del mondo li ha lasciati indifferenti, poiché quasi tutte le loro pipeline dipendono in qualche modo dalle catture HDR.

Pertanto, questo è un progetto tempestivo, rappresentando una funzionalità che si spera diventi uno standard opzionale in tutti i nuovi framework – sebbene sia certo che raddoppierà i tempi di rendering; chiaramente, anche, la latenza dovrà essere affrontata seriamente se il contenuto AI HDR non deve essere relegato alla categoria ‘in post’ piuttosto che ‘in camera’. https://www.youtube.com/watch?v=VNEu86Otzjc

* Normalmente mostreremmo esempi, ma poiché il lettore potrebbe non avere un monitor compatibile con HDR, li omettiamo in questo caso.

Pubblicato per la prima volta domenica 26 aprile 2026