AI-gegenereerde beelden naar een hoger niveau brengen met HDR

AI-afbeeldingen en -video’s kunnen indrukwekkend zijn, maar ze zijn nog niet van ‘professionele’ kwaliteit – een probleem dat een nieuw onderzoeksproject probeert aan te pakken.

In de professionele audiovisuele gemeenschap is een van de meest voorkomende bezwaren tegen de opkomst van AI het huidige gebrek aan professionele standaarden voor afbeelding- en videoreproductie. Niet in de laatste plaats het vermogen om te werken met High Dynamic Range (HDR)-afbeeldingen en -video’s.

HDR-afbeeldingen zijn het moderne equivalent van een 19e/20e-eeuwse fotografische praktijk genaamd bracketing, waarbij dezelfde foto meerdere keren wordt genomen met toenemende hoeveelheden licht die de filmemulsie bereiken:

Boven, een korte gebrackette sequentie. Onder, de hoge dynamische range die kan worden afgeleid uit deze foto’s in één afbeelding. Bron

In de traditionele fotografie resulteerde dit in meerdere foto’s die, met enige expertise en moeite, konden worden samengesteld tot één afdruk die profiteerde van alle verschillende detailniveaus die beschikbaar waren over het hele bereik van de belichtingen. Maar het was geen triviaal of eenvoudig proces.

Deze dagen kan een ‘auto-gebrackette’ beeldsequentie ofwel meerdere beelden produceren of worden samengevoegd tot één HDR-afbeelding – effectief een veelvoud aan belichtingen in één beeld, die HDR-geïntegreerde beeldbewerkingsprogramma’s zoals Photoshop kunnen doorlopen en de fotograaf in staat stellen om te orkestreren tot één ideale uitvoerbeeld.

Als je je afvraagt waarom je je hier druk over zou moeten maken, of hoe dit soort dingen je eigen fotografie beïnvloedt, is de illustratie voor dit artikel bedoeld om dit op een vertrouwde manier te demonstreren:

Boven, aan de linkerkant zien we een typisch voorbeeld van een sRGB (d.w.z. niet-HDR) afbeelding. Alleen het verhogen van de helderheid (getoond aan de rechterkant) toont niet het monster in de kast, omdat dat detail werd weggegooid toen de fotograaf en de geautomatiseerde processen van de camera besloten wat prioriteit had in de foto:

Onder is een indicatie (links) van hoe ‘uitgebleekt’ de voorgrond zou moeten zijn op het moment van belichting om het monster in de kast te registreren in een niet-HDR-foto, en (rechts) hoe het monster in duisternis wordt gestort wanneer de belichting geschikt wordt gemaakt voor de goed verlichte voorgrondonderwerpen:

Onder zien we het soort detail dat kan worden ‘gered’ uit een HDR-afbeelding of -beeldsequentie. In dit geval verborg het monster zich in de laagste visuele registers van de HDR-sequentie, op een niveau waar de rest van de inhoud ‘uitgebleekt’ zou zijn in near-wit (boven, links). Door aan te geven dat een breed bereik van helderheidsniveaus selectief in hetzelfde beeld moet worden weergegeven, kunnen deze dissonante elementen worden samengesteld tot één rationeel beeld:

Een niet-HDR-afbeelding wordt een weergave-gerelateerde afbeelding genoemd, en een hoge-gamut-HDR-afbeelding wordt een scène-gerelateerde afbeelding genoemd.

HDR-video is ook een ding, en deze soort tonale veelzijdigheid en ductiliteit geeft filmmakers enige vrijheid om beelden te redden, te graderen en te interpreteren op een aantal creatieve en consistente manieren; het is dan ook niet verwonderlijk dat creatieven niet willen werken met de ‘afgeplatte’ sRGB-uitvoer die typisch is voor de meeste generatieve AI-kaders.

HDR in AI

Natuurlijk is de onderzoekssector geïnteresseerd in het brengen van AI-gegenereerde kaders naar de HDR-tijdperk. Het is echter geen triviaal taak, zowel vanwege de fundamentele architectuur van diffusie-gebaseerde generatieve systemen, als vanwege het feit dat goede HDR-gegevens veel schijfruimte in beslag nemen, waardoor onhandige verzamelingen ontstaan; dienovereenkomstig zijn datasets die geschikt zijn voor de taak schaars.

Desondanks biedt een samenwerking tussen een universiteit in Singapore en Adobe Research een methode om HDR-afbeeldingsequenties te produceren, in een methodologie die theoretisch kan worden toegepast op zowel video als stilstaande beelden:

Van de projectsite voor het nieuwe werk, voorbeelden van ‘gebrackette’ tekst-naar-afbeelding-uitvoer. Bron

Het nieuwe systeem genereert meerdere gealigneerde versies van hetzelfde beeld bij verschillende helderheidsniveaus en leert hoe helder de scène echt was, en combineert deze vervolgens in één resultaat dat detail behoudt in zowel schaduwen als highlights, waardoor latere bewerkingen van belichting of kleur meer lijken op aanpassingen aan een echte camera-opname, in plaats van kwetsbare aanpassingen aan een volledig verwerkt beeld.

Het systeem maakt gebruik van een diversiteit van verschillende modellen voor de taak, waaronder varianten van Qwen en Flux:

Voorbeelden uit het nieuwe artikel, waarin wordt getoond hoe het systeem meerdere belichtingsversies van dezelfde scène kan genereren terwijl de onderliggende structuur vast wordt gehouden. Vanuit een eenvoudige randkaart produceert het model consistente beelden over zeer donkere tot zeer heldere instellingen, of de prompt beschrijft maanlicht, zonlicht, zonsondergang of zelfs een klein voorwerp zoals een ballon, met het onderwerp en de compositie die stabiel blijven terwijl alleen de verlichting verandert. De methode kan helderheid op een gecontroleerde, camera-achtige manier variëren, in plaats van te zweven of nieuwe inhoud te verzinnen wanneer de belichting verandert. Bron

De auteurs verklaren:

‘Het genereren van lineaire beelden is moeilijk, omdat vooraf getrainde VAE’s in latent diffusiemodellen moeite hebben om zowel extreme highlights als schaduwen te behouden vanwege de hogere dynamische range en bitdiepte.

‘Daarom vertegenwoordigen we een lineair beeld als een reeks van belichtingsbrackets, waarbij elke bracket een specifiek deel van de dynamische range vastlegt, en stellen we een DiT-gebaseerde flow-matching-architectuur voor voor tekst-geconditioneerde belichtingsbracketgeneratie.

‘We demonstreren verder downstream-toepassingen, waaronder tekst-geleide lineaire beeldbewerking en structuur-geconditioneerde generatie via ControlNet.’

Het nieuwe werk heeft als titel Lineaire beeldgeneratie door synthese van belichtingsbrackets en komt van vier auteurs uit S-Lab aan de Nanyang Technological University, Adobe NextCam en Adobe Research. Naast de eerdergenoemde projectpagina en de YouTube-video die bij de release hoort, is er ook een (momenteel schaarse) GitHub-repo, en de belofte van een dataset-release.

Hoewel de auteurs veel voorbeelden van uitvoer van het systeem op de bijbehorende projectpagina leveren, zullen kijkers een HDR-capabele monitor nodig hebben om de kenmerken van de HDR-uitvoer echt te onderscheiden. Niettemin vindt u de onderzoekerstube YouTube-overzicht ingesloten aan het einde van dit artikel – maar houd er rekening mee dat de verschillen tussen de getoonde voorbeelden mogelijk niet duidelijk zijn op een niet-HDR-monitor.

Methode en gegevens

De auteurs benadrukken de mate waarin gegevensverzameling een uitdaging is in deze specifieke onderneming:

‘Het verkrijgen van een groot aantal lineaire beelden is extreem moeilijk in de praktijk. Bovendien zijn de meeste openbare HDR-datasets ofwel panoramisch (en richten zich dus bijna uitsluitend op grote scène-inhoud) of leveren geen echte lineaire beelden, waardoor ze ongeschikt zijn voor onze doeleinden.

‘Daarom gebruiken we voornamelijk RAW-beeldatasets als basis voor de training.’

De onderzoekers maakten creatief gebruik van de weinige opties die ze hadden, door de RAISE-dataset te gebruiken als daadwerkelijke trainingsgegevens, en de MIT-Adobe FiveK-dataset als evaluatiegegevens*.

Om bruikbare HDR-trainingsgegevens te maken, voerden de onderzoekers de RAW-camera-bestanden door een gestandaardiseerde pijplijn om camera-specifieke eigenaardigheden weg te halen, en zetten ze de beelden om in een consistente, scène-gerelateerde lineaire formaat:

Schema voor de workflow van de auteurs: het systeem begint met ruis die vier belichtingsniveaus van dezelfde scène vertegenwoordigt, samen met een tekstprompt en een helderheidstoken. Dit wordt vervolgens verwerkt door gestapelde transformer-blokken die de verschillende belichtingen gealigneerd houden, terwijl ze worden aangepast voor verlichting. Het systeem voorspelt vervolgens zowel de set van belichtingsbeelden als een algemene helderheidschaal, en decodeert en combineert deze vervolgens in één scène-gerelateerde beeld, waarbij detail in zowel schaduwen als highlights wordt behouden.

Dit omvatte het reconstrueren van volledig RGB van sensordata, het toepassen van kleurcorrectie, het normaliseren van witbalans en het korte tijdje verplaatsen naar een perceptuele kleurruimte voor ruisreductie voordat het terugkeerde naar een schone lineaire signaal. De werkelijke licht in de scène werd vervolgens hersteld met behulp van de belichtingsinstellingen van de camera, zodat elk pixel de werkelijke helderheid weergaf in plaats van een weergave-klare benadering.

Vanwege het feit dat dergelijke waarden sterk kunnen variëren, werd de data vervolgens gestabiliseerd door elke afbeelding te schalen op basis van de helderheidsverdeling, met behulp van mid-range- en highlightstatistieken om zowel uitgebleekte beelden als overbelichte highlights te vermijden, en uiteindelijk een genormaliseerde lineaire afbeelding te verkrijgen die het werkelijke bereik van licht in de scène behield, terwijl deze stabiel genoeg bleef voor training.

Tekstlabels voor de afbeeldingen werden vervolgens gemaakt met de Qwen2.5-VL 7B-model, met prompts die waren ontworpen om de kenmerken van het Flux-model te matchen dat op generatiemoment zou worden gebruikt.

Elke afbeelding werd gesplitst in belichtings-‘slices’ en doorgegeven aan een gedeelde VAE-encoder, waardoor alle belichtingen werden omgezet in een gemeenschappelijke latent ruimte die was ontworpen om het volledige bereik van helderheid te vangen. De latenten werden vervolgens verfijnd vanuit ruis en gedecodeerd terug naar beelden, waardoor consistente reconstructie mogelijk was over donkere en heldere gebieden, zonder dat deze werden samengeperst tot één enkele ‘afgeplatte’ belichting.

LoRA-finetuning werd gebruikt om de vooraf getrainde Flux-backbone aan te passen aan lineaire beeldgegevens met minimale extra parameters, waardoor de Single-Diffusion Transformers (single-DiT)-model stabiel bleef, zelfs toen de helderheid varieerde over belichtingsbrackets.

Exposure Modulation Self-Attention (centrale kolom in schema-illustratie hierboven) werd geïntroduceerd om alle brackets gezamenlijk te verwerken, waardoor luminantie per belichting kon worden aangepast terwijl structuur en fijne details werden gealigneerd.

3D Rotary Positional Embedding (3D-R[o]PE) werd gebruikt om zowel ruimtelijke positie als belichtingsidentiteit te coderen, zodat het model kon onderscheiden tot welke bracket elk token behoorde, terwijl ruimtelijke consistentie werd behouden, waardoor een schone scheiding van helderheidsvariatie van scène-inhoud mogelijk was.

Overzicht van de dataset die in de studie wordt gebruikt, waarin wordt getoond hoe beelden zijn verdeeld over inhoudstypen en binnen- en buitenscènes, naast de verspreiding van helderheidswaarden in de verwerkte gegevens. De histogrammen plotten luminantie en de stralingschaal in log-ruimte, waaruit blijkt hoe breed de helderheid in de werkelijke wereld kan variëren, met hogere stralingswaarden die overeenkomen met fysiek heldere scènes en die de sterke dynamische range aantonen die het model is getraind om te behandelen.

3D-RoPE split waar een kenmerk was en ‘welke belichting het afkomstig is’ in afzonderlijke signalen, zodat helderheidsvariatie onafhankelijk kon worden aangepast, zonder de ruimtelijke details te corrumperen.

Tests

De onderzoekers gebruikten Flux-dev als het generatieve kader, met training die plaatsvond op vier NVIDIA A100-GPU’s, elk met 80 GB VRAM. De batchgrootte was ingesteld op 4 (per GPU), over 10.000 iteraties.

LoRA-finetuning gebruikte een rang van 64. De AdamW-optimizer werd gebruikt bij een leer tempo van 2×10² (voor het belichtingsmodulatieaspect).

De auteurs merken op dat, hoewel er twee eerdere werken zijn die vergelijkbaar zijn in omvang, geen van beide een voor de hand liggende kandidaat was voor een testfase. De Max Planck-leiding van 2022 GlowGAN is beperkt tot het genereren van specifieke beeldcategorieën, terwijl Bracket Diffusion (opnieuw geleid door het Max Planck-instituut) alleen een HDR-afbeelding kan genereren op 256x256px, en enkele minuten nodig heeft om dit te doen.

Uit het oorspronkelijke GlowGAN-artikel, typische laagdynamische bereik (LDR) beelden verliezen detail in schaduwen en highlights, terwijl het model leert om hoogdynamische bereik (HDR) versies te produceren die detail over helderheidsniveaus behouden en herstel van verzadigde gebieden mogelijk maken via inverse toonkaart. Bron

Daarom werden, in afwezigheid van directe baselines voor lineaire beeldgeneratie, de auteurs vergeleken met aangepaste versies van bestaande modellen, in plaats van speciaal gebouwde alternatieven.

Een reeks experimenten (‘T2I Fine-Tuning’) fine-tune de tekst-naar-afbeelding-diffusiemodel Flux met LoRA, trainend om lineaire beelden rechtstreeks te genereren en evaluerend hoe een state-of-the-art T2I-model zich aanpaste aan dit domein.

Een tweede vergelijking (‘T2V fine-tuning’) gebruikte het tekst-naar-video-model Wan 2.1, waarvan de VAE meerdere frames comprimeert tot een gedeelde latent; in deze setup werden vier belichtingsbrackets gecodeerd in een enkele latent-representatie, en vervolgens gedecodeerd, getest of een video-achtige pijplijn belichtingsvariatie kon modelleren.

De derde reeks experimenten (‘T2I Model Inflation’) vergeleek tegen CameraCtrl en Generative Photography, die beide beeld-diffusiemodellen uitbreiden via tijdelijke modules, om meerdere kaders te produceren. Deze werden ook gefinetuned op dezelfde gegevens, voor een consistente vergelijking.

De gebruikte metrics waren Fréchet Inception Distance (FID); Aesthetic Score (AS); Naturalness Image Quality Evaluator (NIQUE); CLIP Sim-score; en Luminantie-overeenkomst (LS):

Een vergelijking van de methode van de auteurs met verschillende aangepaste baselines voor het genereren van lineaire, scène-gerelateerde beelden. Tekst-naar-afbeelding (Flux) en tekst-naar-video (Wan 2.1) modellen worden gefinetuned met LoRA om te testen hoe goed bestaande generatieve systemen deze instelling behandelen, terwijl CameraCtrl en Generative Photography beeld-diffusiemodellen uitbreiden met tijdelijke componenten. Sommige scores ontbreken, omdat bepaalde modellen geen consistente belichtingsbrackets kunnen produceren, die nodig zijn om het volledige dynamische bereik te herstellen. Over de gerapporteerde metrics heen bereikt de nieuwe methode de sterkste overall resultaten, met name op maatregelen die zijn gekoppeld aan beeldkwaliteit en nauwkeurige helderheidsreconstructie.

Met betrekking tot deze resultaten verklaren de auteurs:

‘Vanwege de brede distributie van lineaire beelden, maakt het rechtstreeks finetunen van het T2I-model op lineaire gegevens het moeilijk om schaduw- en highlightdetails in evenwicht te brengen. T2I-modelinflatie-methoden lijden aan zowel een beperkt dynamisch bereik als een aanzienlijke afname van de beeldkwaliteit, zelfs na finetuning.

‘Voor T2V-finetuning zorgt Wan 2.1’s 4× tijdelijke downsampling ervoor dat de 4 belichtingsbrackets in een enkele latente representatie worden verstrengeld, waardoor een ernstige distributiemismatch ontstaat die niet kan worden opgelost door finetuning alleen.

‘Door scène-gerelateerde eigenschappen rechtstreeks te modelleren met behulp van belichtingsbrackets, bereikt onze methode een superieure visuele kwaliteit en dynamisch bereik over alle baselines heen.’

Een vergelijking met LoRA-gefined Flux en Wan 2.1, waarin wordt getoond hoe elke methode belichtingsveranderingen over dezelfde scènes behandelt. Concurrerende benaderingen hebben de neiging om detail te verliezen in zeer donkere of zeer heldere gebieden, terwijl de voorgestelde methode consistentie structuren en herstelt bruikbaar detail over het volledige bereik van belichtingen. Verwijs naar de bron van het artikel en de projectsite voor betere kwaliteit voorbeelden.

Verwijs naar de uitgebreide experimenten en aanvullende materialen van het bronartikel voor verdere tests.

Conclusie

Voor mediaprofessionals, zoals die in de film- en tv-productie, heeft dezelfde uitvoer die de wereld heeft veroverd (en, steeds vaker, de woede) hen onverschillig gelaten, aangezien vrijwel al hun pijplijnen op de een of andere manier afhankelijk zijn van HDR-opnames.

Daarom is dit een tijdig project, dat een functionaliteit vertegenwoordigt die hopelijk een optionele standaard zal worden over nieuwe kaders – hoewel het zeker zal dubbele rendertijden zal hebben; duidelijk, ook, zal latentie serieus moeten worden aangepakt als HDR-AI-inhoud niet moet worden afgekeurd naar de ‘in post’ in plaats van in-camera categorie.

* Normaal gesproken zouden we voorbeelden laten zien, maar aangezien de lezer mogelijk geen HDR-capabele monitor heeft, laten we deze in dit geval weg.

Publicatie op zondag 26 april 2026