KI-generierte Bilder mit HDR-Technologie ans Licht bringen

KI-Bilder und -videos mögen beeindruckend sein, aber sie sind nicht auf “professionellem” Niveau – ein Problem, das ein neues Forschungsprojekt angehen will.

In der professionellen Audio-Visuellen-Gemeinschaft ist einer der häufigsten Einwände gegen den Einzug von KI die derzeitige Mangel an professionellen Standards für die Wiedergabe von Bildern und Videos. Nicht zuletzt fehlt es an der Fähigkeit, mit High-Dynamic-Range- (HDR-) Bildern und -Videos zu arbeiten.

HDR-Bilder sind das moderne Äquivalent einer im 19. und 20. Jahrhundert üblichen fotografischen Praxis, die als Bracketing bezeichnet wird, bei der das gleiche Bild mehrmals mit zunehmendem Licht aufgenommen wird, das die Filmemulsion erreicht:

Oben, eine kurze Bracketing-Sequenz. Unten, der hohe Dynamikbereich, der aus diesen Fotos in ein einzelnes Bild extrahiert werden kann. Quelle

In der traditionellen Fotografie resultierten daraus mehrere Bilder, die mit einigem Fachwissen und Aufwand zu einem einzigen Druck kombiniert werden konnten, der von allen verschiedenen Detailstufen im gesamten Belichtungsbereich profitierte. Aber es war kein trivialer oder einfacher Prozess.

Heute kann eine ‘auto-bracketierte’ Bildsequenz entweder mehrere Bilder erzeugen oder in ein einzelnes HDR-Bild kombiniert werden – effektiv eine Vielzahl von Belichtungen in einem Bild, das HDR-fähige Bildbearbeitungsanwendungen wie Photoshop durchlaufen, iterieren und den Fotografen ermöglichen, sie in ein ideales Ausgabebild zu orchestrieren.

Wenn Sie sich fragen, warum Sie sich dafür interessieren sollten oder wie sich dies auf Ihre eigene Fotografie auswirkt, soll die Abbildung in diesem Artikel dies auf vertraute Weise demonstrieren:

Oben links sehen wir ein typisches Beispiel für ein sRGB (d. h. nicht-HDR)-Bild. Wenn wir es einfach aufhellen (rechts), zeigt es nicht das Monster im Schrank, weil diese Details weggeworfen wurden, als der Fotograf und die automatischen Prozesse der Kamera entschieden, was in dem Foto priorisiert werden sollte:

Unten ist ein Hinweis (links) darauf, wie “ausgebleicht” der Vordergrund zum Zeitpunkt der Belichtung sein müsste, um das Monster im Schrank in einem Nicht-HDR-Foto zu registrieren, und (rechts), wie das Monster in Dunkelheit versinkt, wenn die Belichtung für den gut beleuchteten Vordergrund angepasst wird:

Unten sehen wir die Art von Details, die aus einem HDR-Bild oder einer Bildsequenz “gerettet” werden können. In diesem Fall “versteckte” sich das Monster in den unteren visuellen Registern der HDR-Sequenz, in einem Bereich, in dem der Rest des Inhalts “ausgebleicht” in fast weiß wäre (oben links). Durch die Festlegung, dass ein breites Spektrum an Helligkeitsstufen selektiv in demselben Bild ausgedrückt werden soll, können diese dissonanten Elemente in ein rationales Bild komponiert werden:

Ein Nicht-HDR-Bild wird als display-referred-Bild bezeichnet und ein High-Gamut-HDR-Bild als scene-referred-Bild.

HDR-Video ist auch möglich und diese Art von tonaler Vielseitigkeit und Duktilität gibt Filmemachern einige Freiheiten, um Footage auf kreative und konsistente Weise zu retten, zu gradieren und zu interpretieren; es ist daher nicht verwunderlich, dass Kreative zögern, mit dem “abgeflachten” sRGB-Ausgang zu arbeiten, der für die meisten generativen KI-Rahmenwerke typisch ist.

HDR in KI

Natürlich ist die Forschungsszene daran interessiert, KI-generierte Rahmenwerke in die HDR-Ära zu bringen. Es ist jedoch keine triviale Aufgabe, sowohl aufgrund der grundlegenden Architektur von diffusionsbasierten generativen Systemen als auch weil gute HDR-Daten viel Speicherplatz beanspruchen, was zu unhandlichen Sammlungen führt; daher sind geeignete Datensätze rar.

Trotzdem bietet eine Zusammenarbeit zwischen einer Universität in Singapur und Adobe Research eine Methode zur Erzeugung von HDR-Bildsequenzen, die theoretisch auch auf Videos und nicht nur auf Stillbilder angewendet werden kann:

Vom Projekt-Website für die neue Arbeit, Beispiele für ‘geklammerte’ Text-Bild-Ausgaben. Quelle

Das neue System erzeugt mehrere ausgerichtete Versionen desselben Bildes bei unterschiedlichen Helligkeitsstufen und lernt, wie hell die Szene wirklich war, und kombiniert diese dann in ein einzelnes Ergebnis, das Details in Schatten und Highlights beibehält und es ermöglicht, dass spätere Bearbeitungen von Belichtung oder Farbe wie Anpassungen an einer echten Kameraaufnahme und nicht wie fragile Anpassungen an einem vollständig verarbeiteten Bild verhalten.

Das System nutzt eine Vielzahl von Modellen für diese Aufgabe, darunter Varianten von Qwen und Flux:

Beispiele aus dem neuen Papier, die zeigen, wie das System mehrere Belichtungsversionen derselben Szene erzeugen kann, während die zugrunde liegende Struktur fest bleibt. Ausgehend von einer einfachen Kantenkarte erzeugt das Modell konsistente Bilder über sehr dunkle bis sehr helle Einstellungen, egal ob der Prompt Mondlicht, Sonnenlicht, Sonnenuntergang oder sogar ein kleines Objekt wie einen Ball beschreibt, wobei das Thema und die Komposition stabil bleiben, während nur die Beleuchtung geändert wird. Die Methode kann die Helligkeit auf kontrollierte, kamera-ähnliche Weise ändern, anstatt zu drifteten oder neuen Inhalt zu erfinden, wenn die Belichtung geändert wird. Quelle

Die Autoren erklären:

‘Das Erzeugen linearer Bilder ist herausfordernd, da vorgefertigte VAEs in latenten Diffusionsmodellen Schwierigkeiten haben, extreme Highlights und Schatten gleichzeitig zu erhalten, aufgrund des höheren Dynamikbereichs und der höheren Bit-Tiefe.’

‘Deshalb stellen wir ein lineares Bild als eine Sequenz von Belichtungsbracketing dar, jede davon erfasst einen bestimmten Teil des Dynamikbereichs, und schlagen eine DiT-basierte Fluss-Übereinstimmungsarchitektur für die textgesteuerte Belichtungsbracketing-Generierung vor.’

‘Wir demonstrieren außerdem nachgelagerte Anwendungen, einschließlich textgesteuerter linearer Bildbearbeitung und strukturkonditionierter Generierung über ControlNet.’

Die neue Arbeit trägt den Titel Lineare Bildgenerierung durch Synthese von Belichtungsbracketing und stammt von vier Autoren aus dem S-Lab an der Nanyang Technological University, Adobe NextCam und Adobe Research. Neben der bereits erwähnten Projekt-Website und dem YouTube-Video, das mit der Veröffentlichung verbunden ist, gibt es auch ein (derzeit spärlich besetztes) GitHub-Repository und das Versprechen einer Datensatz-Veröffentlichung.

Obwohl die Autoren viele Beispiele für die Ausgabe des Systems auf der zugehörigen Projekt-Website bereitstellen, benötigen Betrachter ein HDR-fähiges Display, um die Eigenschaften der HDR-Ausgabe wirklich zu unterscheiden. Dennoch finden Sie bitte die YouTube-Übersicht der Forscher am Ende dieses Artikels – aber beachten Sie, dass die Unterschiede zwischen den gezeigten Beispielen auf einem Nicht-HDR-Display möglicherweise nicht klar sind.

Methode und Daten

Die Autoren betonen den Umfang, in dem Datensammlung in diesem speziellen Vorhaben eine Herausforderung darstellt:

‘Die Beschaffung einer großen Anzahl linearer Bilder ist extrem herausfordernd in der Praxis. Darüber hinaus sind die meisten öffentlichen HDR-Datensätze entweder panoramisch (und somit fast ausschließlich auf große Szeneninhalte fokussiert) oder liefern keine echten linearen Bilder, was sie für unsere Zwecke untauglich macht.’

‘Daher verwenden wir hauptsächlich RAW-Bild-Datensätze als Grundlage für die Ausbildung.’

Die Forscher nutzten die wenigen verfügbaren Optionen kreativ, indem sie den RAISE-Datensatz als tatsächliche Trainingsdaten und den MIT-Adobe FiveK-Datensatz als Auswertungsdaten nutzten*.

Um verwendbare HDR-Trainingsdaten zu erstellen, führten die Forscher die RAW-Kamera-Dateien durch eine standardisierte Pipeline, um kamera-spezifische Eigenheiten zu entfernen und die Bilder in ein konsistentes, szene-referenziertes lineares Format umzuwandeln:

Schema für den Arbeitsablauf der Autoren: Das System startet mit Rauschen, das vier Belichtungsebenen derselben Szene darstellt, zusammen mit einem Text-Prompt und einem Helligkeits-Token. Dies wird dann durch gestapelte Transformer-Blöcke verarbeitet, die die verschiedenen Belichtungen ausrichten, während sie die Beleuchtung anpassen. Das System prognostiziert dann sowohl die Menge der Belichtungsbilder als auch eine Gesamthelligkeitsskala und dekodiert und kombiniert sie anschließend in ein einzelnes szene-referenziertes Bild, wobei Details in Schatten und Highlights beibehalten werden.

Dies umfasste die Rekonstruktion von Voll-RGB aus Sensordaten, die Anwendung von Farbkorrektur, die Normalisierung der Weißabgleichs und eine kurze Verschiebung in einen wahrnehmungsorientierten Farbraum zur Entfernung von Rauschen, bevor man zu einem sauberen linearen Signal zurückkehrte. Die tatsächliche Lichtszene wurde dann unter Verwendung der Kamera-Expositions-Einstellungen wiederhergestellt, sodass jedes Pixel die tatsächliche Helligkeit widerspiegelte und nicht eine display-fertige Approximation.

Da diese Werte stark variieren können, wurde das Datenmaterial dann durch Skalierung jedes Bildes basierend auf seiner eigenen Helligkeitsverteilung stabilisiert, wobei Mittelwert- und Highlight-Statistiken verwendet wurden, um sowohl ausgebleichte Bilder als auch überbelichtete Highlights zu vermeiden, und schließlich ein normales lineares Bild erhalten, das den wahren Bereich des Lichts in der Szene beibehielt, während es stabil genug für die Ausbildung blieb.

Text-Labels für die Bilder wurden dann mit dem Qwen2.5-VL 7B-Modell erstellt, wobei die Prompts so gestaltet wurden, dass sie den Eigenschaften des Flux-Modells entsprachen, das zur Generierungszeit verwendet werden würde.

Jedes Bild wurde in Belichtungs-“Scheiben” unterteilt und durch einen gemeinsamen VAE-Encoder geschickt, der alle Belichtungen in einen gemeinsamen latenten Raum umwandelte, der darauf ausgelegt war, den vollen Helligkeitsbereich zu erfassen. Die Latenten wurden dann aus Rauschen raffiniert und zurück in Bilder dekodiert, wodurch eine konsistente Rekonstruktion über dunkle und helle Bereiche hinweg ermöglicht wurde, ohne dass sie in einer einzigen “abgeflachten” Belichtung kollabierten.

LoRA-Feinabstimmung wurde verwendet, um das vorgefertigte Flux-Backbone an lineare Bild-Daten mit minimalen zusätzlichen Parametern anzupassen, was half, das Single-Diffusion-Transformer- (single-DiT-) Modell stabil zu halten, auch wenn die Helligkeit über Belichtungs-Bracketing variierte.

Exposure-Modulation-Self-Attention (mittlere Spalte in der Schema-Illustration oben) wurde eingeführt, um alle Bracketing-Elemente gemeinsam zu verarbeiten, wodurch die Luminanz pro Belichtung angepasst werden konnte, während Struktur und feine Details ausgerichtet blieben.

3D-Rotations-Positionierungseinbettung (3D-R[o]PE) wurde verwendet, um sowohl räumliche Position als auch Belichtungs-Identität zu kodieren, sodass das Modell erkennen konnte, welches Bracketing-Element jedes Token gehörte, während die räumliche Konsistenz erhalten blieb, wodurch eine saubere Trennung von Helligkeitsvariation von Szeneninhalt ermöglicht wurde.

Überblick über den im Studium verwendeten Datensatz, der zeigt, wie Bilder über Inhaltstypen und Innen- bzw. Außenszenen verteilt sind, zusammen mit der Verteilung der Helligkeitswerte in den verarbeiteten Daten. Die Histogramme zeigen die Leuchtdichte und die Strahlungs-Skala im Log-Raum, was verdeutlicht, wie stark die tatsächliche Helligkeit variieren kann, wobei höhere Strahlungswerte physikalisch helleren Szenen entsprechen und den starken Dynamikbereich hervorheben, den das Modell zu bewältigen lernt.

3D-RoPE teilte wo ein Merkmal war und ‘welche Belichtung es stammt’ in separate Signale auf, sodass die Helligkeitsvariation unabhängig angepasst werden konnte, ohne die räumliche Detailgenauigkeit zu beeinträchtigen.

Tests

Die Forscher verwendeten Flux-dev als generatives Framework, wobei die Ausbildung auf vier NVIDIA A100-GPUs mit jeweils 80 GB VRAM stattfand. Die Batch-Größe wurde auf 4 (pro GPU) über 10.000 Iterationen festgelegt.

LoRA-Feinabstimmung verwendete einen Rang von 64. Der AdamW-Optimizer wurde mit einer Lernrate von 2×10² (für den Belichtungs-Modulations-Aspekt) verwendet.

Die Autoren weisen darauf hin, dass es zwei vorherige Arbeiten gibt, die in ihrem Umfang ähnlich sind, aber keine davon war ein offensichtlicher Kandidat für eine Testphase. Die von Max Planck angeführte Veröffentlichung von 2022 GlowGAN ist auf die Generierung spezifischer Bildkategorien beschränkt, während Bracket Diffusion (erneut von Max Planck Institute angeführt) nur ein HDR-Bild im Format 256x256px erzeugen kann und dazu mehrere Minuten benötigt.

Aus dem ursprünglichen GlowGAN-Papier, typische niedrige Dynamikbereichs-Bilder (LDR) verlieren Details in Schatten und Highlights, während das Modell lernt, hohe Dynamikbereichs-Bilder (HDR) zu erzeugen, die Details über Helligkeitsstufen hinweg beibehalten und die Wiederherstellung gesättigter Bereiche durch inverse Tonwertzuordnung ermöglichen. Quelle

Deshalb verglichen die Autoren ihre Methode in Ermangelung direkter Vergleichsbasen mit adaptierten Versionen starker bestehender Modelle, anstatt mit speziell entwickelten Alternativen.

Ein Satz von Experimenten (‘T2I-Feinabstimmung’) feinabstimmte das text-zu-Bild-Diffusionsmodell Flux mithilfe von LoRA, indem es trainiert wurde, lineare Bilder direkt zu erzeugen, und bewertete, wie ein State-of-the-Art-T2I-Modell sich an dieses Gebiet anpasste.

Ein zweiter Vergleich (‘T2V-Feinabstimmung’) verwendete das text-zu-Video-Modell Wan 2.1, dessen VAE mehrere Frames in eine gemeinsame Latente komprimiert; in diesem Setup wurden vier Belichtungs-Bracketing-Elemente in eine einzelne latente Repräsentation kodiert und dann wieder dekodiert, um zu testen, ob eine Video-ähnliche Pipeline die Belichtungsvariation modellieren kann.

Der dritte Satz von Experimenten (‘T2I-Modell-Inflation’) verglich gegen CameraCtrl und Generative Photography, die beide Bild-Diffusionsmodelle über temporale Module erweitern, um Multi-Frame-Ausgaben zu produzieren. Diese wurden ebenfalls auf den gleichen Daten feinabgestimmt, um einen konsistenten Vergleich zu ermöglichen.

Verwendete Metriken waren Fréchet-Inception-Distanz (FID); Ästhetik-Score (AS); Naturalness-Bildqualitätsbewertung (NIQUE); CLIP-Sim-Score; und Leuchtdichtähnlichkeit (LS):

Ein Vergleich der Methode der Autoren mit mehreren adaptierten Baselines für die Generierung linearer, szene-referenzieller Bilder. Text-zu-Bild- (Flux) und text-zu-Video- (Wan 2.1) Modelle werden mit LoRA feinabgestimmt, um zu testen, wie gut bestehende generative Systeme dieses Setting bewältigen, während CameraCtrl und Generative Photography Diffusionsmodelle mit temporalen Komponenten erweitern. Einige Werte fehlen, da bestimmte Modelle keine konsistenten Belichtungs-Bracketing-Elemente zuverlässig erzeugen können, die für die Wiederherstellung des vollen Dynamikbereichs erforderlich sind. Über die berichteten Metriken hinweg erzielt die neue Methode die stärksten Gesamtergebnisse, insbesondere bei Maßen, die mit Bildqualität und genauer Helligkeitsrekonstruktion zusammenhängen.

Zu diesen Ergebnissen erklären die Autoren:

‘Aufgrund der weiten Verteilung linearer Bilder ist es schwierig, das T2I-Modell direkt auf lineare Daten feinzujustieren, um Schatten- und Highlight-Details auszugleichen. T2I-Modell-Inflationsmethoden leiden unter begrenztem Dynamikbereich und deutlicher Bildqualitätsverschlechterung, selbst nach der Feinjustierung.’

‘Für T2V-Feinjustierung verursacht die 4-fache zeitliche Downsampling von Wan 2.1 eine Verflechtung der 4 Belichtungs-Bracketing-Elemente in eine einzelne latente Repräsentation, was zu einer schweren Verteilungsfehlpassung führt, die allein durch Feinjustierung nicht aufgelöst werden kann.’

‘Indem wir szene-referenzierte Eigenschaften direkt mithilfe von Belichtungs-Bracketing modellieren, erzielt unsere Methode eine überlegene visuelle Qualität und Dynamikbereich über alle Baselines hinweg.’

Ein Vergleich mit LoRA-adaptiertem Flux und Wan 2.1, der zeigt, wie jede Methode Belichtungsänderungen über dieselben Szenen hinweg handhabt. Konkurrierende Ansätze neigen dazu, Details in sehr dunklen oder sehr hellen Bereichen zu verlieren, während die vorgeschlagene Methode konsistente Struktur beibehält und brauchbare Details über den gesamten Bereich der Belichtungen hinweg wiederherstellt. Bitte besuchen Sie die Quell-Website und die Projekt-Website für bessere Beispiele.

Bitte besuchen Sie den erweiterten Experimenten- und Anhangs-Abschnitt des Quell-Papiers für weitere Tests.

Fazit

Für Medien-Profis, wie z.B. diejenigen, die in Film- und Fernsehproduktionen arbeiten, hat die gleiche Ausgabe, die die Welt (und zunehmend den Unmut) der Welt erfasst hat, sie unbeeindruckt gelassen, da fast alle ihre Pipelines auf irgendeine Weise auf HDR-Aufnahmen angewiesen sind.

Deshalb ist dies ein rechtzeitiges Projekt, das eine Einrichtung darstellt, die man hoffen würde, dass sie ein optionaler Standard über neue Rahmenwerke hinweg werden sollte – obwohl es sicherlich mindestens doppelt so lange dauern wird, bis sie gerendert sind; klar ist auch, dass die Latenz ernsthaft angegangen werden muss, wenn HDR-KI-Inhalte nicht in die ‘nachträgliche’ anstatt der ‘in-Kamera’-Kategorie verbannt werden sollen.

* Normalerweise würden wir Beispiele zeigen, aber da der Leser möglicherweise kein HDR-fähiges Display hat, lassen wir diese in diesem Fall aus.

Erstveröffentlichung am Sonntag, dem 26. April 2026