Att bringa AI-genererade bilder till liv med HDR

AI-bilder och video kan vara imponerande, men de är inte av “professionell” standard – ett problem som ett nytt forskningsprojekt försöker lösa.

I den professionella audiovisuella gemenskapen är en av de vanligaste invändningarna mot AI:s intrång det nuvarande bristen på professionella standarder för bild- och videoreproduktion. Inte minst av dessa är förmågan att arbeta med High Dynamic Range (HDR) bilder och video.

HDR-bilder är den moderna motsvarigheten till en fotografisk teknik från 1800- och 1900-talet som kallas bracketing, där samma bild tas flera gånger med ökande mängder ljus som släpps in i filmemulsionen:

Ovan, en kort bracket-sekvens. Insett nedan, den höga dynamiska omfång som kan extrapoleras från dessa foton till en enda bild. Källa

I traditionell fotografi resulterade detta i flera bilder som, med viss expertis och ansträngning, kunde komponeras till en enda utskrift som drog nytta av alla olika detaljnivåer som var tillgängliga över exponeringsområdet. Men det var inte en trivial eller lätt process.

Idag kan en ‘auto-bracketed’ bildsekvens antingen producera flera bilder eller kombineras till en enda HDR-bild – effektivt en multiplicitet av exponeringar i en bild, som HDR-kapabla bildredigeringsprogram som Photoshop kan iterera genom och låta fotografen komponera till en ideal utdata bild.

Om du undrar varför du ska bry dig, eller hur detta påverkar din egen fotografering, är illustrationen för denna artikel tänkt att demonstrera detta på ett bekant sätt:

Ovan, till vänster ser vi ett typiskt exempel på en sRGB (dvs. icke-HDR) bild. Bara genom att ljusa upp den (visad till höger) visas inte monstret i garderoben, eftersom den detaljen kastades bort när fotografen och kamerans automatiserade processer bestämde vad som skulle prioriteras i bilden:

Nedan är en indikation (till vänster) på hur “utblekt” förgrunden skulle behöva vara vid exponeringstillfället för att registrera monstret i garderoben i en icke-HDR-bild, och (till höger) hur monstret sjunker in i mörker när exponeringen görs lämplig för den väl upplysta förgrunden:

Nedan ser vi den typ av detaljer som kan “räddas” från en HDR-bild eller bildsekvens. I detta fall “gömde” sig monstret i de lägsta visuella registren i HDR-sekvensen, på en nivå där resten av innehållet skulle ha varit “utbränt” till nästan vitt (ovan, vänster). Genom att specificera att en stor mängd ljusnivåer skulle uttryckas, selektivt, i samma bild, kan dessa diskordanta element komponeras till en enda rationell bild:

En icke-HDR-bild kallas en display-referred bild, och en hög-gamut HDR-bild kallas en scene-referred bild.

HDR-video är också en sak, och denna typ av tonal flexibilitet och ductilitet ger filmarna en viss frihet att rädda, gradera och tolka footage på ett kreativt och konsekvent sätt; det är inte förvånande att kreativa personer är ovilliga att arbeta med den “platta” sRGB-utmatningen som är typisk för de flesta generativa AI-ramverk.

HDR i AI

Naturligtvis är forskarscenen intresserad av att bringa AI-genererade ramverk in i HDR-eran. Men det är inte en trivial uppgift, både på grund av den grundläggande arkitekturen i diffusionsbaserade generativa system och för att bra HDR-data tar upp en hel del diskutrymme, vilket gör det till en besvärlig samling; följaktligen är datamängder som är lämpliga för uppgiften sällsynta.

Trots detta erbjuder ett samarbete mellan ett universitet i Singapore och Adobe Research en metod för att producera HDR-bildsekvenser, i en metodik som i teorin kan tillämpas på video såväl som stillbilder:

Från projektets webbplats för det nya arbetet, exempel på ‘bracketed’ text-till-bild-utdata. Källa

Det nya systemet genererar flera justerade versioner av samma bild i olika ljusnivåer och lär sig hur ljusa scenen verkligen var, och kombinerar sedan dessa till en enda resultatbild som behåller detaljer i både skuggor och högdager, och tillåter senare redigeringar av exponering eller färg att bete sig mer som justeringar av en riktig kamerainspelning, snarare än ömtåliga justeringar av en fullt bearbetad bild.

Systemet utnyttjar en mångfald av olika modeller för uppgiften, inklusive varianter av Qwen och Flux:

Exempel från den nya artikeln, som visar hur systemet kan generera flera exponeringsversioner av samma scen medan den underliggande strukturen förblir oförändrad. Utgående från en enkel kantkarta producerar modellen konsekventa bilder över mycket mörka till mycket ljusa inställningar, oavsett om prompten beskriver månsken, solsken, solnedgång eller till och med ett litet föremål som en ballong, med ämnet och kompositionen som förblir stabila medan endast belysningen förändras. Metoden kan variera ljusstyrka på ett kontrollerat, kameralikt sätt, snarare än att driva eller uppfinna nytt innehåll när exponeringen förändras. Källa

Författarna skriver:

‘Att generera linjära bilder är utmanande, eftersom förtränade VAE i latent diffusionsmodeller kämpar för att samtidigt bevara extrema högdager och skuggor på grund av den högre dynamiska omfånget och bitdjupet.

‘För att lösa detta representerar vi en linjär bild som en sekvens av exponeringsbracket, var och en som fångar en specifik del av det dynamiska omfånget, och föreslår en DiT-baserad flödesmatchningsarkitektur för text-villkorad exponeringsbracket-generering.

‘Vi demonstrerar också nedströmsapplikationer, inklusive text-styrd linjär bildredigering och struktur-villkorad generering via ControlNet.’

Det nya arbetet heter Linjär bildgenerering genom syntes av exponeringsbracket, och kommer från fyra författare på S-Lab vid Nanyang Technological University, Adobe NextCam och Adobe Research. Utöver den ovannämnda projektwebbplatsen och YouTube-videon som åtföljer utgåvan, finns det också ett (för närvarande tomt) GitHub-repo, och ett löfte om en datamängdsutgåva.

Även om författarna tillhandahåller många exempel på utdata från systemet på den associerade projektwebbplatsen, kommer tittarna att behöva en HDR-kapabel skärm för att verkligen urskilja egenskaperna hos den HDR-utmatning som presenteras. Ändå hittar du forskarnas YouTube-översikt inbäddad i slutet av den här artikeln – men var medveten om att skillnaderna mellan de visade exemplen kanske inte är tydliga på en icke-HDR-skärm.

Metod och data

Författarna betonar den utsträckning till vilken datainsamling är en utmaning i detta specifika företag:

‘Att skaffa ett stort antal linjära bilder är extremt utmanande i praktiken. Dessutom är de flesta offentliga HDR-datasets antingen panoramiska (och fokuserar nästan uteslutande på storskalig sceninnehåll) eller tillhandahåller inte riktiga linjära bilder, vilket gör dem olämpliga för våra syften.

‘Därför använder vi främst RAW-bild-datasets som grund för utbildning.’

Forskarna gjorde kreativt bruk av de få alternativ som fanns till hands, och utnyttjade RAISE-datasetet som faktisk utbildningsdata, och MIT-Adobe FiveK-datasetet som utvärderingsdata*.

För att bygga användbar HDR-träningsdata körde forskarna de råa kamerafilerna genom en standardiserad pipeline för att avlägsna kameratypiska egenheter, och omvandlade bilderna till en konsekvent, scen-hänvisad linjär format:

Schemat för författarnas arbetsflöde: systemet börjar med brus som representerar fyra exponeringsnivåer av samma scen, tillsammans med en textprompt och en ljusstyrka-token. Detta bearbetas sedan genom staplade transformer-block som håller de olika exponeringarna justerade medan de justerar för belysning. Systemet förutsäger sedan både uppsättningen av exponeringsbilder, tillsammans med en allmän ljusstyrka-skala, och avkodar och kombinerar dem till en enda scen-hänvisad bild, som behåller detaljer i både skuggor och högdager.

Detta innebar att rekonstruera fullständig RGB från sensordata, applicera färgkorrigering, normalisera vitbalans och kortvarigt flytta till ett perceptuellt färgutrymme för brusreducering innan de återvände till en ren linjär signal. Det faktiska ljuset i scenen återställdes sedan med hjälp av kamerans exponeringsinställningar, så att varje pixel skulle reflektera verklig ljusstyrka snarare än en display-klar approximation.

Eftersom sådana värden kan variera kraftigt, stabiliserades data sedan genom att skala varje bild baserat på dess egen ljusstyrka-fördelning, med hjälp av mitt-fält- och högdagsstatistik för att undvika både utblekta bilder och överexponerade högdager, och slutligen erhållit en normaliserad linjär bild som bevarade det sanna omfånget av ljus i scenen, samtidigt som den förblev tillräckligt stabil för utbildning.

Textetiketter för bilderna skapades sedan med Qwen2.5-VL 7B-modellen, med prompter som utformats för att matcha Flux-modellens egenskaper vid genereringstiden.

Varje bild delades sedan in i exponerings-“skivor” och passerade genom en delad VAE-encoder, som omvandlade alla exponeringar till ett gemensamt latenta utrymme som var utformat för att fånga det fulla ljusomfånget. Latenterna raffinerades sedan från brus och avkodades tillbaka till bilder, vilket möjliggjorde konsekvent rekonstruktion över mörka och ljusa områden, utan att kollapsa dem till en enda “platt” exponering.

LoRA-fine-tuning användes för att anpassa den förtränade Flux-ryggraden till linjär-bild-data med minimala extra parametrar, vilket hjälpte Single-Diffusion Transformers (single-DiT)-modellen att förbli stabil, även när ljusstyrkan varierade över exponeringsbracket.

Exponeringsmodulering självuppmärksamhet (central kolumn i schemat ovan) introducerades för att gemensamt bearbeta alla bracket, och tillåta ljusstyrka att justeras per exponering medan struktur och fina detaljer förblev justerade.

3D Rotary Positional Embedding (3D-R[o]PE) användes för att koda både spatial position och exponeringsidentitet, så att modellen kunde skilja på vilken bracket varje token tillhörde, samtidigt som den bevarade spatial konsistens, och möjliggjorde ren separation av ljusstyrkevariation från sceninnehåll.

En översikt av datamängden som användes i studien, som visar hur bilder fördelas över innehållstyper och inomhus- respektive utomhusscener, tillsammans med spridningen av ljusstyrkevärden i den bearbetade datan. Histogrammen plottar luminans och strålnings-skalan i log-utrymme, och visar hur mycket den verkliga ljusstyrkan kan variera, med högre strålningsvärden som motsvarar fysiskt ljusare scener och betonar den starka dynamiska omfånget som modellen är utbildad för att hantera.

3D-RoPE delade ut var en funktion var och “vilken exponering den kommer från” till separata signaler, så att ljusstyrkevariation kunde justeras oberoende, utan att korrumpera spatiala detaljer.

Tester

Forskarna använde Flux-dev som det generativa ramverket, med utbildning som skedde på fyra NVIDIA A100 GPU:er, var och en med 80 GB VRAM. Batch-storleken sattes till 4 (per GPU), över 10 000 iterationer.

LoRA-fine-tuning använde en rang på 64. AdamW-optimiseraren användes vid en inlärningssnabbhet på 2×10² (för exponeringsmoduleringsaspekten).

Författarna noterar att medan det finns två tidigare arbeten som är liknande i omfattning, varken av dem var en uppenbar kandidat för en testfas. Max Planck-ledda 2022-utgåvan GlowGAN är begränsad till att generera specifika bildkategorier, medan 2025 års Bracket Diffusion (även den ledd av Max Planck-institutet) kan bara generera en HDR-bild i 256x256px, och tar flera minuter att göra det.

Från den ursprungliga GlowGAN-artikeln, typiska lågdynamiska omfångs-bilder (LDR) förlorar detaljer i skuggor och högdager, medan modellen lär sig att producera högdynamiska omfångs-versioner (HDR) som behåller detaljer över ljusnivåer och möjliggör återvinning av mättade områden genom invers tonkarta. Källa

Därför jämförde författarna sin metod med anpassade versioner av starka existerande modeller, snarare än specialbyggda alternativ.

En uppsättning experiment (‘T2I Fine-Tuning’) fine-tuningade text-till-bild-diffusionsmodellen Flux med LoRA, och tränade den för att generera linjära bilder direkt, och utvärderade hur en state-of-the-art T2I-modell anpassade sig till detta domän.

En andra jämförelse (‘T2V fine-tuning’) använde text-till-video-modellen Wan 2.1, vars VAE-komprimerar flera ramar till en gemensam latent; i detta setup, kodades fyra exponeringsbracket till en enda latent representation, och avkodades sedan tillbaka, och testade om en video-liknande pipeline kunde modellera exponeringsvariation.

Den tredje uppsättningen experiment (‘T2I Model Inflation’) jämförde mot CameraCtrl och Generative Photography, som båda utökar bild-diffusionsmodeller via temporala moduler, för att producera multi-ram-utdata. Dessa fine-tuningades också på samma data, för en konsekvent jämförelse.

Mätvärden som användes var Fréchet Inception Distance (FID); Estetisk Poäng (AS); Naturalness Image Quality Evaluator (NIQUE); CLIP Sim-poäng; och Ljusstyrke-Likhet (LS):

En jämförelse av författarnas metod mot flera anpassade baslinjer för att generera linjära, scen-hänvisade bilder. Text-till-bild- (Flux) och text-till-video- (Wan 2.1) modeller fine-tuningas med LoRA för att testa hur väl existerande generativa system hanterar detta scenario, medan CameraCtrl och Generative Photography utökar diffusionsmodeller med temporala komponenter. Vissa poäng saknas, eftersom vissa modeller inte kan tillförlitligt producera konsekventa exponeringsbracket, som krävs för att återvinna fullt dynamiskt omfång. Över de rapporterade mätvärdena uppnår den nya metoden de starkaste övergripande resultaten, särskilt på mått som är kopplade till bildkvalitet och korrekt ljusstyrke-rekonstruktion.

Med avseende på dessa resultat skriver författarna:

‘På grund av den breda fördelningen av linjära bilder är det direkt fine-tuning av T2I-modellen på linjär data svårt att balansera skugg- och högdagsdetaljer. T2I-modell-inflationsmetoder lider av både begränsat dynamiskt omfång och betydande bildkvalitetsförsämring, även efter fine-tuning.’

‘För T2V-fine-tuning, Wan 2.1:s 4× temporala nedsmältning sammanflätar de 4 exponeringsbracketen till en enda latent representation, vilket orsakar en allvarlig fördelningsmismatch som inte kan lösas genom fine-tuning ensamt. ‘

‘Genom att direkt modellera scen-hänvisade egenskaper med hjälp av exponeringsbracket uppnår vår metod överlägsen visuell kvalitet och dynamiskt omfång över alla baslinjer.’

En jämförelse med LoRA-anpassad Flux och Wan 2.1, som visar hur varje metod hanterar exponeringsförändringar över samma scener. Tävlande metoder tenderar att förlora detaljer i mycket mörka eller mycket ljusa områden, medan den föreslagna metoden behåller konsekvent struktur och återvinner användbar detalj över hela exponeringsområdet. Se källartikeln och projektwebbplatsen för bättre exempel.

Vänligen se källartikelns utvidgade experiment och supplementär material för ytterligare tester.

Slutsats

För medieproffs, såsom de som arbetar inom film- och TV-produktion, har samma utmatning som har fångat världens fantasi (och, alltmer, deras ilska) lämnat dem oberörda, eftersom nästan alla deras pipelines på något sätt förlitar sig på HDR-inspelningar.

Därför är detta ett välkommet projekt, som representerar en funktion som man skulle hoppas skulle bli en valfri standard över nya ramverk – även om det med all säkerhet kommer att fördubbla renderingtider; tydligt, också, kommer latens att behöva hanteras allvarligt om HDR-AI-innehåll inte ska reduceras till ‘i post’ snarare än i kameran kategori.

* Normalt skulle vi visa exempel, men eftersom läsaren kanske inte har en HDR-kapabel skärm, utelämnar vi dessa i detta fall.

Publicerad första gången söndag, 26 april 2026