Aducerea imaginilor generate de AI în lumina cu HDR

Imaginile și videoclipurile generate de AI pot fi impresionante, dar nu sunt la nivelul standardelor profesionale – o problemă pe care un nou proiect de cercetare încearcă să o rezolve.

În comunitatea audio-vizuală profesională, una dintre cele mai frecvente obiecții la invazia AI este lipsa actuală a standardelor profesionale de reproducere a imaginilor și videoclipurilor. Nu în ultimul rând, capacitatea de a lucra cu imagini și videoclipuri cu gamă dinamică înaltă (HDR) este una dintre aceste standarde.

Imaginile HDR sunt echivalentul modern al unei practici fotografice din secolul al XIX-lea și începutul secolului al XX-lea, numită bracketing, în care aceeași poză este făcută de mai multe ori cu cantități crescânde de lumină care ajung la emulsia de film:

Mai sus, o secvență scurtă de imagini bracketate. În partea de jos, gama dinamică înaltă care poate fi extrapolată din aceste fotografii într-o singură imagine. Sursă

În fotografia tradițională, acest lucru a dus la mai multe fotografii care, cu o anumită expertiză și efort, puteau fi compuse într-o singură poză care să beneficieze de toate nivelurile diferite de detalii disponibile pe întreaga gamă de expuneri. Dar nu a fost un proces trivial sau ușor.

În zilele noastre, o ‘secvență de imagini bracketate automat poate produce fie multiple imagini, fie poate fi combinată într-o singură imagine HDR – în esență, o mulțime de expuneri într-o singură imagine, pe care aplicațiile de editare a imaginilor compatibile cu HDR, cum ar fi Photoshop, le pot parcurge și le pot permite fotografului să le orchestreze într-o imagine de ieșire ideală.

Dacă vă întrebați de ce ar trebui să vă intereseze sau cum afectează această problemă propria dvs. fotografie, ilustrația pentru acest articol este menită să demonstreze acest lucru într-un mod familiar:

Mai sus, în stânga, vedem un exemplu tipic de imagine sRGB (adică, non-HDR). Doar îmbunătățirea acesteia (aratată în dreapta) nu arată monstrul din dulap, pentru că acel detaliu a fost aruncat atunci când fotograful și procesele automate ale aparatului de fotografiat au decis ce să prioritizeze în poză:

Mai jos, este indicat (stânga) cât de spălat ar trebui să fie prim-planul în momentul expunerii pentru a înregistra monstrul din dulap într-o poză non-HDR, și (dreapta) cum monstrul este aruncat în întuneric atunci când expunerea este făcută potrivită pentru subiecții bine iluminați din prim-plan:

Mai jos, vedem tipul de detaliu care poate fi salvat dintr-o imagine HDR sau o secvență de imagini. În acest caz, monstrul era ascuns în cele mai joase înregistrări vizuale ale secvenței HDR, într-un nivel în care restul conținutului ar fi fost spălat în alb (mai sus, stânga). Prin specificarea faptului că o gamă largă de niveluri de strălucire ar trebui să fie exprimate, selectiv, în aceeași imagine, aceste elemente disonante pot fi compuse într-o singură poză rațională:

O imagine non-HDR este cunoscută sub numele de imagine referențiată la afișare, iar o imagine HDR cu gamă largă este cunoscută sub numele de imagine referențiată la scenă.

Videoclipul HDR este și el o realitate, și acest tip de versatilitate și ductilitate tonală oferă realmente filmului o anumită libertate de a salva, de a gradua și de a interpreta filmările într-un număr de moduri creative și coerente; nu este surprinzător, deci, că creatorii sunt reticenți să lucreze cu ieșirile plat sRGB, caracteristice pentru majoritatea cadrelor generative AI.

HDR în AI

În mod natural, scena de cercetare este interesată de aducerea cadrului generativ AI în era HDR. Cu toate acestea, nu este o sarcină trivială, atât din cauza arhitecturii fundamentale a sistemelor generative difuzive, cât și pentru că datele HDR de calitate necesită o cantitate considerabilă de spațiu pe disc, făcând colecțiile de date greu de manevrat; în consecință, seturile de date potrivite pentru această sarcină sunt rare.

În ciuda acestor lucruri, o colaborare între o universitate din Singapore și Adobe Research oferă o metodă de producere a secvențelor de imagini HDR, într-o metodologie care poate fi teoretic aplicată atât pentru videoclipuri, cât și pentru imagini statice:

De pe site-ul proiectului pentru noua lucrare, exemple de ieșiri de imagini text-la-imagine ‘bracketate’. Sursă

Noul sistem generează mai multe versiuni aliniate ale aceleiași imagini la diferite niveluri de strălucire și învață cât de strălucitor a fost realmente scena, apoi le combină într-un singur rezultat care păstrează detalii atât în umbre, cât și în zonele luminoase, permițând editări ulterioare ale expunerii sau culorii să se comporte mai mult ca ajustări ale unei capturi de cameră reale, decât ca ajustări fragile ale unei imagini complet procesate.

Sistemul utilizează o diversitate de modele diferite pentru această sarcină, inclusiv variante ale Qwen și Flux:

Exemple din noua lucrare, arătând cum sistemul poate genera multiple versiuni de expunere ale aceleiași scene, păstrând structura de bază fixă. Plecând de la o hartă de margine simplă, modelul produce imagini consistente pe întreaga gamă de la foarte întunecat la foarte strălucitor, indiferent dacă promptul descrie lumina lunii, lumina soarelui, apusul soarelui sau chiar un obiect mic, cum ar fi un balon, cu subiectul și compoziția rămânând stabile, în timp ce doar iluminarea se schimbă. Metoda poate varia strălucirea într-un mod controlat, similar cu o cameră, mai degrabă decât a derapa sau a inventa conținut nou pe măsură ce expunerea se schimbă. Sursă

Autorii afirmă:

‘Generarea de imagini liniare este o sarcină dificilă, deoarece VAE-urile preantrenate în modelele de difuzie latentă luptă pentru a păstra în același timp atât umbre extreme, cât și zone luminoase, din cauza gamei dinamice mai mari și a adâncimii de bit.’

‘Pentru aceasta, reprezentăm o imagine liniară ca o secvență de expuneri ‘bracketate’, fiecare capturând o anumită parte a gamei dinamice, și propunem o arhitectură DiT-bazată pentru generarea expunerilor ‘bracketate’ condiționate de text.’

‘Mai mult, demonstrăm aplicații downstream, incluzând editarea liniară a imaginilor ghidată de text și generarea condiționată de structură prin ControlNet.’

Noua lucrare se intitulează Generarea de imagini liniare prin sintetizarea expunerilor ‘bracketate’ și provine de la patru autori de la S-Lab de la Universitatea Tehnică Nanyang, Adobe NextCam și Adobe Research. Pe lângă pagina proiectului și videoclipul de pe YouTube care însoțește lansarea, există și un repo GitHub (în prezent, destul de gol) și promisiunea unei lansări a setului de date.

Deși autorii oferă multe exemple de ieșiri ale sistemului pe pagina proiectului asociat, cititorii vor avea nevoie de un monitor compatibil cu HDR pentru a distinge realmente caracteristicile ieșirii HDR prezentate. Cu toate acestea, vă rugăm să găsiți prezentarea video a cercetătorilor pe YouTube, încorporată la sfârșitul acestui articol – dar fiți conștienți că diferențele dintre exemplele prezentate nu pot fi clare pe un monitor non-HDR.

Metodă și date

Autorii subliniază amploarea căreia strângerea de date este o provocare în această căutare:

‘Obținerea unui număr mare de imagini liniare este extrem de dificilă în practică. Mai mult, majoritatea seturilor de date HDR publice sunt fie panoramice (și, prin urmare, se concentrează aproape exclusiv pe conținutul de scenă la scară largă), fie nu oferă imagini liniare adevărate, făcându-le inadecvate pentru scopurile noastre.’

‘Prin urmare, ne bazăm în primul rând pe seturile de date de imagini RAW ca bază pentru antrenament.’

Cercetătorii au făcut un uz creativ din opțiunile limitate pe care le-au avut, folosind setul de date RAISE ca date reale de antrenament și setul de date MIT-Adobe FiveK ca date de evaluare*.

Pentru a construi date de antrenament HDR utilizabile, cercetătorii au rulat fișierele de cameră RAW printr-o pipelină standardizată pentru a elimina ciudățeniile specifice camerei, transformând imaginile într-un format liniar scene-referențiat consistent:

Schemă pentru fluxul de lucru al autorilor: sistemul pornește de la zgomot care reprezintă patru niveluri de expunere ale aceleiași scene, împreună cu un prompt de text și un token de strălucire. Acesta este apoi procesat prin blocuri de transformatori împiluite care mențin expunerile aliniate, în timp ce ajustează pentru iluminare. Sistemul prezice atât setul de imagini de expunere, cât și o scară generală de strălucire, și ulterior decodifică și combină imaginile într-o singură imagine scene-referențiată, păstrând detalii atât în umbre, cât și în zone luminoase.

Acest lucru a implicat reconstruirea completă a RGB din datele de senzor, aplicarea corecției de culoare, normalizarea echilibrului de alb și o scurtă trecere printr-un spațiu de culoare perceptuală pentru denoising, înainte de a reveni la un semnal liniar curat. Lumina reală din scenă a fost apoi recuperată folosind setările de expunere ale camerei, astfel încât fiecare pixel să reflecte strălucirea reală, mai degrabă decât o aproximare gata de afișare.

Deoarece astfel de valori pot varia foarte mult, datele au fost apoi stabilizate prin scalarea fiecărei imagini pe baza propriei distribuții de strălucire, folosind statistici de mijloc și de evidențiere pentru a evita atât imaginile spălate, cât și evidențierile arse, obținând în final o imagine liniară normalizată care păstra gama reală de lumină din scenă, în timp ce rămânea suficient de stabilă pentru antrenament.

Etichetele de text pentru imagini au fost create cu modelul Qwen2.5-VL 7B, cu prompturi create pentru a se potrivi caracteristicilor modelului Flux care urmau să fie utilizate în timpul generării.

Fiecare imagine a fost împărțită în ‘felii’ de expunere și trecută printr-un encoder VAE partajat, transformând toate expunerile într-un spațiu liniar latent conceput pentru a capta gama completă de strălucire. Lanteni au fost apoi rafinați din zgomot și decodificați înapoi în imagini, permițând o reconstruire consistentă pe întreaga gamă de strălucire, fără a le reduce la o singură expunere ‘plată’.

Reglarea fină LoRA a fost utilizată pentru a adapta modelul Flux preantrenat la datele de imagini liniare, cu un număr minim de parametri suplimentari, ajutând modelul Single-Diffusion Transformers (single-DiT) să rămână stabil, chiar și pe măsură ce strălucirea varia pe întreaga gamă de expuneri.

Atenția Modulată de Expunere (coloana centrală din ilustrația schemei de mai sus) a fost introdusă pentru a procesa toate ‘bracketele’ în mod comun, permițând ajustarea strălucirii pentru fiecare expunere, în timp ce păstra structura și detaliile fine aliniate.

Încorporarea Pozițională Rotativă 3D (3D-R[o]PE) a fost utilizată pentru a codifica atât poziția spațială, cât și identitatea expunerii, astfel încât modelul să poată distinge la care ‘bracket’ aparține fiecare token, în timp ce păstra consistența spațială, permițând o separare curată a variației de strălucire de conținutul scenei.

O prezentare generală a setului de date utilizat în studiu, arătând cum imaginile sunt distribuite pe tipuri de conținut și scene interioare versus exterioare, alături de distribuția valorilor de strălucire în datele procesate. Histograma reprezintă luminozitatea și scara de radianță în spațiu logaritmic, ilustrând cât de mult poate varia strălucirea lumii reale, cu valori de radianță mai mari corespunzând unor scene fizic mai strălucitoare și subliniind gama dinamică puternică pe care modelul este antrenat să o gestioneze.

3D-RoPE a separat unde se află o caracteristică și ‘de la ce expunere provine’ în semnale separate, astfel încât strălucirea să poată fi ajustată independent, fără a corupe detaliile spațiale.

Teste

Cercetătorii au utilizat Flux-dev ca cadru generativ, cu antrenamentul desfășurându-se pe patru plăci video NVIDIA A100, fiecare cu 80GB de VRAM. Dimensiunea lotului a fost setată la 4 (pe GPU), pe 10.000 de iterații.

Reglarea fină LoRA a utilizat un rang de 64. Optimizatorul AdamW a fost utilizat la o rată de învățare de 2×10² (pentru aspectul de modulare a expunerii).

Autorii notează că, deși există două lucrări anterioare care sunt similare în scop, niciuna nu a fost un concurent evident pentru o fază de testare. Lucrarea condusă de Max Planck din 2022 GlowGAN este limitată la generarea unor categorii de imagini specifice, în timp ce Bracket Diffusion (din 2025, condusă de Institutul Max Planck) poate genera doar o imagine HDR la 256x256px și necesită câteva minute pentru a o face:

Din lucrarea originală GlowGAN, imagini tipice cu gamă dinamică joasă (LDR) pierd detalii în umbre și zone luminoase, în timp ce modelul învață să producă versiuni HDR care păstrează detalii pe întreaga gamă de strălucire și permit recuperarea regiunilor saturate prin mapare inversă a tonului. Sursă

Prin urmare, în absența unor linii directe de bază pentru generarea de imagini liniare, autorii au comparat metoda lor cu versiuni adaptate ale unor modele puternice existente, mai degrabă decât alternative special concepute.

Un set de experimente (‘T2I Fine-Tuning’) a adaptat modelul de difuzie text-la-imagine Flux utilizând LoRA, antrenându-l pentru a genera imagini liniare direct și evaluând cum un model T2I de ultimă generație se adaptează la acest domeniu.

O a doua comparație (‘T2V fine-tuning’) a utilizat modelul text-la-videoclip Wan 2.1, a cărui VAE comprimă multiple cadre într-o reprezentare latentă partajată; în această configurație, patru ‘bracketele’ de expunere au fost încodificate într-o singură reprezentare latentă și apoi decodificate înapoi, testând dacă o pipelină de tip videoclip poate modela variația de expunere.

Al treilea set de experimente (‘T2I Model Inflation’) a comparat împotriva CameraCtrl și Generative Photography, care extind modelele de difuzie a imaginilor prin module temporale, pentru a produce ieșiri multi-cadru. Acestea au fost, de asemenea, reglate fin pentru a se potrivi cu aceleași date, pentru o comparație consistentă.

Metricile utilizate au fost Distanța de Incepție Fréchet (FID); Scor Estetic (AS); Evaluator de Calitate a Imaginii Naturală (NIQUE); Scor de Similitudine CLIP; și Similaritatea de Luminozitate (LS):

O comparație a metodei autorilor cu mai multe linii de bază adaptate pentru generarea de imagini liniare, referențiate la scenă. Modelele text-la-imagine (Flux) și text-la-videoclip (Wan 2.1) sunt reglate fin cu LoRA pentru a testa cât de bine sistemele generative existente se descurcă în acest cadru, în timp ce CameraCtrl și Generative Photography extind modelele de difuzie cu componente temporale. Unele scoruri lipsesc, deoarece anumite modele nu pot produce în mod fiabil ‘bracketele’ de expunere consistente, care sunt necesare pentru a recupera gama dinamică completă. Pe întreaga gamă de metrici raportate, noua metodă obține cele mai puternice rezultate generale, în special în ceea ce privește măsurile legate de calitatea imaginii și reconstrucția precisă a strălucirii.

În legătură cu aceste rezultate, autorii afirmă:

‘Datorită distribuției largi a imaginilor liniare, antrenarea directă a modelului T2I pe date liniare face dificilă echilibrarea detaliilor din umbre și zone luminoase. Metodele de umflare a modelului T2I suferă de o gamă dinamică limitată și de o degradare semnificativă a calității imaginii, chiar și după reglarea fină. ‘

‘Pentru reglarea fină T2V, Wan 2.1 reduce temporal la 4 expuneri într-o singură reprezentare latentă, ceea ce provoacă un decalaj semnificativ de distribuție care nu poate fi rezolvat prin reglarea fină singură. ‘

‘Prin modelarea directă a proprietăților referențiate la scenă utilizând ‘bracketele’ de expunere, metoda noastră obține o calitate vizuală superioară și o gamă dinamică pe toate liniile de bază.’

O comparație cu Flux și Wan 2.1 reglate fin cu LoRA, ilustrând cum fiecare metodă gestionează schimbările de expunere pe aceleași scene. Abordările concurente tind să piardă detalii în regiunile foarte întunecate sau foarte strălucitoare, în timp ce metoda propusă menține structura consistentă și recuperează detalii utile pe întreaga gamă de expuneri. Vă rugăm să consultați lucrarea sursă și site-ul proiectului pentru exemple de rezultate de calitate superioară.

Vă rugăm să consultați secțiunea de experimente extinse și materiale suplimentare din lucrarea sursă pentru teste suplimentare.

Concluzie

Pentru profesioniștii din mass-media, cum ar fi cei care lucrează în producția de film și televiziune, aceeași ieșire care a capturat imaginația (și, din ce în ce mai mult, nemulțumirea) lumii i-a lăsat pe aceștia nepăsători, deoarece majoritatea fluxurilor de lucru depind într-un fel sau altul de capturi HDR.

Prin urmare, acesta este un proiect oportun, reprezentând o facilitate pe care s-ar putea spera că va deveni o opțiune standard în cadrul noilor cadre – deși este cert că va dubla timpul de rendering; în mod evident, de asemenea, latența va trebui să fie abordată în mod serios, dacă conținutul AI HDR nu va fi relegat la categoria ‘în post-procesare’, mai degrabă decât ‘în cameră’.

* De obicei, am arăta exemple, dar deoarece cititorul nu are un monitor compatibil cu HDR, le omitem în acest caz.

Publicat pentru prima dată duminică, 26 aprilie 2026