Menghadirkan Gambar yang Dihasilkan AI ke Dalam Cahaya dengan HDR

Gambar dan video yang dihasilkan AI mungkin mengesankan, tetapi mereka tidak memiliki standar ‘profesional’ – masalah yang dicoba untuk diatasi oleh sebuah proyek penelitian baru.

Dalam komunitas audio-visual profesional, salah satu keberatan yang paling sering muncul terhadap penggunaan AI adalah kurangnya standar profesional dalam reproduksi gambar dan video. Tidak hanya itu, kemampuan untuk bekerja dengan gambar dan video High Dynamic Range (HDR) juga menjadi salah satu kekurangan.

Gambar HDR adalah setara dengan praktik fotografi abad ke-19/20 yang disebut bracketing, di mana gambar yang sama diambil beberapa kali dengan pencahayaan yang berbeda-beda untuk mencapai efek yang diinginkan.

Di atas, sebuah urutan bracketed. Di bawah, rentang dinamis yang dapat diperoleh dari foto-foto tersebut menjadi satu gambar. Sumber

Dalam fotografi tradisional, ini menghasilkan beberapa gambar yang dapat, dengan beberapa keahlian dan usaha, disusun menjadi satu cetakan yang menguntungkan dari semua level detail yang berbeda-beda di seluruh rentang eksposur. Namun, ini bukanlah proses yang sederhana atau mudah.

Sekarang, sebuah urutan ‘auto-bracketed’ dapat menghasilkan beberapa gambar atau digabungkan menjadi satu gambar HDR – secara efektif, beberapa eksposur dalam satu gambar, yang dapat diiterasi oleh aplikasi pengeditan gambar yang mendukung HDR seperti Photoshop, dan memungkinkan fotografer untuk mengatur menjadi satu gambar output yang ideal.

Jika Anda bertanya-tanya mengapa Anda harus peduli, atau bagaimana hal ini mempengaruhi fotografi Anda sendiri, ilustrasi untuk artikel ini dimaksudkan untuk menunjukkan hal ini dengan cara yang familiar:

Di atas, di sebelah kiri kita melihat contoh gambar sRGB (yaitu, non-HDR) yang biasa. Hanya dengan menerangi (ditunjukkan di sebelah kanan) tidak menunjukkan monster di lemari, karena detail tersebut telah dibuang ketika fotografer, dan proses otomatis kamera, memutuskan apa yang harus diprioritaskan dalam foto:

Di bawah ini, kita dapat melihat (di sebelah kiri) bagaimana ‘terlalu terang’ latar depan harus pada saat eksposur untuk mendaftarkan monster di lemari dalam foto non-HDR, dan (di sebelah kanan) bagaimana monster itu tenggelam dalam kegelapan ketika eksposur dibuat sesuai untuk latar depan yang terang:

Di bawah ini, kita dapat melihat jenis detail yang dapat ‘diselamatkan’ dari gambar HDR atau urutan gambar. Dalam hal ini, monster itu ‘bersembunyi’ di register visual terendah dari urutan HDR, di level di mana isi lainnya akan ‘terbakar’ menjadi hampir putih (di atas, kiri). Dengan menentukan bahwa berbagai level kecerahan harus diekspresikan, secara selektif, dalam gambar yang sama, elemen-elemen yang tidak harmonis ini dapat disusun menjadi satu gambar yang rasional:

Gambar non-HDR dikenal sebagai display-referred image, dan gambar HDR dengan rentang dinamis yang tinggi dikenal sebagai scene-referred image.

Video HDR juga ada, dan kemampuan tonal yang fleksibel dan dapat diandalkan ini memberikan pembuat film beberapa kelebihan untuk menyelamatkan, menggradasi, dan menafsirkan footage dengan cara yang kreatif dan konsisten; tidak mengherankan, maka, bahwa kreatif enggan bekerja dengan output sRGB yang ‘datar’ yang khas dari kebanyakan kerangka kerja AI generatif.

HDR di AI

Secara alami, adegan penelitian tertarik untuk membawa kerangka kerja AI yang dihasilkan ke dalam era HDR. Namun, ini bukanlah tugas yang sederhana, baik karena arsitektur dasar dari sistem generatif difusi, maupun karena data HDR yang baik membutuhkan banyak ruang disk, sehingga membuat kumpulan data yang tidak nyaman; akibatnya, kumpulan data yang sesuai untuk tugas ini sangat langka.

Meskipun demikian, sebuah kolaborasi antara universitas di Singapura dan Adobe Research menawarkan sebuah metode untuk menghasilkan urutan gambar HDR, dengan metodologi yang secara teoretis dapat diterapkan pada video serta gambar statis:

Dari situs proyek untuk pekerjaan baru, contoh dari ‘bracketed’ output teks-ke-gambar. Sumber

Sistem baru ini menghasilkan beberapa versi yang sama dari gambar pada tingkat kecerahan yang berbeda-beda dan mempelajari seberapa terang adegan sebenarnya, kemudian menggabungkannya menjadi satu hasil yang mempertahankan detail di kedua bayangan dan sorotan, memungkinkan edit eksposur atau warna untuk berperilaku lebih seperti penyesuaian pada pengambilan kamera nyata, daripada penyesuaian yang rapuh pada gambar yang sudah diproses:

Sistem ini menggunakan berbagai model yang berbeda untuk tugas ini, termasuk varian dari Qwen dan Flux:

Contoh dari makalah baru, menunjukkan bagaimana sistem dapat menghasilkan beberapa versi eksposur dari adegan yang sama sambil mempertahankan struktur yang mendasarinya. Dimulai dari peta tepi sederhana, model ini menghasilkan gambar yang konsisten di seluruh pengaturan yang sangat gelap hingga sangat terang, baik itu cahaya bulan, cahaya matahari, senja, atau bahkan sebuah objek kecil seperti balon, dengan subjek dan komposisi yang tetap stabil karena hanya pencahayaan yang berubah. Metode ini dapat mengubah kecerahan dengan cara yang terkendali, seperti kamera, daripada mengalami perubahan atau menciptakan konten baru saat eksposur berubah. Sumber

Para penulis menyatakan:

‘Menghasilkan gambar linier sangat menantang, karena VAE yang sudah dilatih dalam model difusi laten kesulitan mempertahankan sorotan dan bayangan yang ekstrem secara bersamaan karena rentang dinamis yang lebih tinggi dan kedalaman bit.’

‘Oleh karena itu, kami merepresentasikan gambar linier sebagai urutan bracket eksposur, masing-masing menangkap bagian tertentu dari rentang dinamis, dan mengusulkan arsitektur flow-matching berbasis DiT untuk generasi eksposur teks-kondisional.’

‘Kami lebih lanjut mendemonstrasikan aplikasi hilir termasuk pengeditan gambar linier teks-terarah dan generasi struktur-kondisional melalui ControlNet.’

Pekerjaan baru ini berjudul Generasi Gambar Linier dengan Mensintesis Bracket Eksposur, dan berasal dari empat penulis dari S-Lab di Nanyang Technological University, Adobe NextCam, dan Adobe Research. Selain halaman proyek dan video YouTube yang menyertainya, ada juga sebuah repo GitHub yang saat ini masih kosong, dan janji untuk merilis dataset.

Meskipun penulis menyediakan banyak contoh output dari sistem di halaman proyek yang terkait, pembaca akan memerlukan monitor yang mendukung HDR untuk benar-benar membedakan karakteristik output HDR yang ditampilkan. Namun, silakan temukan tinjauan YouTube para peneliti yang disematkan di akhir artikel ini – tetapi perlu diingat bahwa perbedaan antara contoh yang ditunjukkan mungkin tidak jelas pada monitor non-HDR.

Metode dan Data

Para penulis menekankan seberapa besar tantangan pengumpulan data dalam upaya ini:

‘Mengumpulkan sejumlah besar gambar linier sangat menantang dalam prakteknya. Selain itu, sebagian besar dataset HDR publik adalah panoramic (sehingga fokus hampir secara eksklusif pada konten adegan besar) atau tidak menyediakan gambar linier yang sebenarnya, sehingga tidak sesuai untuk tujuan kami.’

‘Oleh karena itu, kami terutama menggunakan dataset gambar RAW sebagai dasar untuk pelatihan.’

Peneliti membuat penggunaan kreatif dari beberapa pilihan yang tersedia, menggunakan dataset RAISE sebagai data pelatihan yang sebenarnya, dan dataset MIT-Adobe FiveK sebagai data evaluasi*.

Untuk membangun data pelatihan HDR yang dapat digunakan, peneliti menjalankan file kamera RAW melalui pipa yang distandarisasi untuk menghilangkan kekhasan kamera, mengubah gambar menjadi format linier yang konsisten dan scene-referred:

Sistem ini dimulai dari noise yang mewakili empat level eksposur dari adegan yang sama, bersama dengan prompt teks dan token kecerahan, dan memprosesnya melalui blok transformer yang ditumpuk yang menjaga eksposur yang berbeda tetap sejajar sambil menyesuaikan untuk pencahayaan. Kemudian, sistem ini memprediksi baik himpunan gambar eksposur, bersama dengan skala kecerahan secara keseluruhan, dan kemudian mendekode dan menggabungkannya menjadi satu gambar scene-referred, mempertahankan detail di kedua bayangan dan sorotan.

Ini melibatkan merekonstruksi RGB penuh dari data sensor, menerapkan koreksi warna, menormalkan keseimbangan putih, dan singkatnya memasuki ruang warna perseptual untuk denoising sebelum kembali ke sinyal linier yang bersih. Cahaya sebenarnya dalam adegan kemudian dipulihkan menggunakan pengaturan eksposur kamera, sehingga setiap piksel akan mencerminkan kecerahan nyata daripada perkiraan yang siap untuk ditampilkan.

Karena nilai-nilai ini dapat bervariasi secara luas, data kemudian distabilkan dengan menskalakan setiap gambar berdasarkan distribusi kecerahan masing-masing, menggunakan statistik mid-range dan sorotan untuk menghindari baik gambar yang terlalu terang dan sorotan yang terbakar, akhirnya mendapatkan gambar linier yang dinormalkan yang mempertahankan rentang kecerahan sebenarnya dari adegan, sambil tetap stabil enough untuk pelatihan.

Label teks untuk gambar kemudian dibuat dengan model Qwen2.5-VL 7B, dengan prompt yang dibuat untuk mencocokkan karakteristik model Flux yang akan digunakan pada saat generasi:

Setiap gambar kemudian dibagi menjadi ‘iris’ eksposur dan dilewatkan melalui pengkode VAE yang dibagikan, mengubah semua eksposur menjadi ruang laten yang sama yang dirancang untuk menangkap rentang kecerahan penuh. Laten kemudian diperhalus dari noise, dan didekode kembali menjadi gambar, memungkinkan rekonstruksi konsisten di seluruh daerah gelap dan terang, tanpa menggabungkannya menjadi satu eksposur ‘datar’.

Penghalusan LoRA digunakan untuk menyesuaikan tulang belakang Flux yang sudah dilatih dengan data gambar linier dengan parameter tambahan minimal, membantu model Single-Diffusion Transformers (single-DiT) tetap stabil, bahkan ketika kecerahan bervariasi di seluruh bracket eksposur.

Perhatian Modulasi Eksposur (kolom tengah dalam ilustrasi skema di atas) diperkenalkan untuk memproses semua bracket secara bersamaan, memungkinkan kecerahan untuk disesuaikan per eksposur sambil menjaga struktur dan detail halus tetap sejajar.

Penanaman Posisi Rotasi 3D (3D-R[o]PE) digunakan untuk mengkodekan baik posisi spasial dan identitas eksposur, sehingga model dapat membedakan bracket mana yang dimiliki setiap token, sambil mempertahankan konsistensi spasial, memungkinkan pemisahan kecerahan yang bersih dari konten adegan.

Tinjauan dari dataset yang digunakan dalam studi, menunjukkan bagaimana gambar didistribusikan di seluruh jenis konten dan adegan indoor versus outdoor, bersama dengan penyebaran nilai kecerahan dalam data yang diproses. Histogram ini memplot luminans dan skala radiasi dalam ruang log, menggambarkan seberapa luas kecerahan dunia nyata dapat bervariasi, dengan nilai radiasi yang lebih tinggi sesuai dengan adegan yang lebih terang secara fisik dan menyoroti rentang dinamis yang kuat yang dimodelkan.

3D-RoPE memisahkan di mana sebuah fitur berada dan ‘eksposur mana yang berasal’ menjadi sinyal yang terpisah, sehingga perubahan kecerahan dapat disesuaikan secara independen, tanpa merusak detail spasial.

Pengujian

Peneliti menggunakan Flux-dev sebagai kerangka generatif, dengan pelatihan yang terjadi pada empat NVIDIA A100 GPU, masing-masing dengan 80GB VRAM. Ukuran batch ditetapkan pada 4 (per GPU), selama 10.000 iterasi.

Penghalusan LoRA menggunakan peringkat 64. Optimizer AdamW digunakan pada tingkat pembelajaran 2×10² (untuk aspek modulasi eksposur).

Para penulis mencatat bahwa meskipun ada dua karya sebelumnya yang serupa dalam cakupan, tidak ada yang merupakan kandidat yang jelas untuk tahap pengujian. Karya Max Planck yang dipimpin pada tahun 2022 GlowGAN terbatas pada menghasilkan kategori gambar tertentu, sementara Bracket Diffusion pada tahun 2025 (lagi-lagi dipimpin oleh Max Planck Institute) hanya dapat menghasilkan gambar HDR pada 256x256px, dan membutuhkan beberapa menit untuk melakukannya.

Dari makalah asli GlowGAN, gambar LDR biasa kehilangan detail di bayangan dan sorotan, sementara model ini belajar menghasilkan versi HDR yang mempertahankan detail di seluruh level kecerahan dan memungkinkan pemulihan daerah yang jenuh melalui pemetaan nada inverse. Sumber

Oleh karena itu, dalam ketiadaan baseline langsung untuk generasi gambar linier, para penulis membandingkan metode mereka dengan versi yang disesuaikan dari model yang kuat yang ada, bukan alternatif yang dibuat khusus.

Satu set eksperimen (‘T2I Fine-Tuning’) menyesuaikan model difusi teks-ke-gambar Flux menggunakan LoRA, melatihnya untuk menghasilkan gambar linier secara langsung, dan mengevaluasi bagaimana model T2I yang mutakhir beradaptasi dengan domain ini.

Perbandingan kedua (‘T2V fine-tuning’) menggunakan model teks-ke-video Wan 2.1, yang VAE-nya mengompresi beberapa frame menjadi representasi laten yang dibagikan; dalam setup ini, empat bracket eksposur dikodekan menjadi satu representasi laten, dan kemudian didekode kembali, menguji apakah pipa video dapat memodelkan variasi eksposur.

Set eksperimen ketiga (‘T2I Model Inflation’) membandingkan melawan CameraCtrl dan Generative Photography, yang keduanya memperluas model difusi gambar melalui modul temporal, untuk menghasilkan output multi-frame. Ini juga disesuaikan pada data yang sama, untuk perbandingan yang konsisten.

Metri yang digunakan adalah Fréchet Inception Distance (FID); Skor Estetika (AS); Evaluasi Kualitas Gambar Alam (NIQUE); Skor CLIP Sim; dan Kesamaan Kecerahan (LS):

Perbandingan metode penulis dengan beberapa baseline yang disesuaikan untuk menghasilkan gambar linier yang merujuk pada adegan. Model teks-ke-gambar (Flux) dan teks-ke-video (Wan 2.1) disesuaikan dengan LoRA untuk menguji seberapa baik sistem generatif yang ada menangani pengaturan ini, sementara CameraCtrl dan Generative Photography memperluas model difusi dengan komponen temporal. Beberapa skor hilang, karena beberapa model tidak dapat secara andal menghasilkan bracket eksposur yang konsisten, yang diperlukan untuk memulihkan rentang dinamis penuh. Di seluruh metrik yang dilaporkan, metode baru ini mencapai hasil keseluruhan yang paling kuat, terutama pada ukuran yang terkait dengan kualitas gambar dan rekonstruksi kecerahan yang akurat.

Mengenai hasil ini, para penulis menyatakan:

‘Karena distribusi gambar linier yang luas, langsung menyesuaikan Model T2I pada data linier membuatnya sulit untuk menyeimbangkan detail bayangan dan sorotan. Metode Inflasi Model T2I menderita dari rentang dinamis yang terbatas dan degradasi kualitas gambar yang signifikan bahkan setelah penyesuaian.’

‘Untuk Penyesuaian T2V, downsampling temporal 4x dari Wan 2.1 menggabungkan 4 bracket eksposur menjadi satu representasi laten, menyebabkan ketidakcocokan distribusi yang parah yang tidak dapat diselesaikan melalui penyesuaian saja.’

‘Dengan langsung memodelkan properti yang merujuk pada adegan menggunakan bracket eksposur, metode kami mencapai kualitas visual dan rentang dinamis yang superior di semua baseline.’

Perbandingan dengan Flux yang disesuaikan dengan LoRA dan Wan 2.1, menggambarkan bagaimana setiap metode menangani perubahan eksposur di seluruh adegan yang sama. Pendekatan yang bersaing cenderung kehilangan detail di daerah yang sangat gelap atau sangat terang, sementara metode yang diusulkan mempertahankan struktur yang konsisten dan memulihkan detail yang dapat digunakan di seluruh rentang eksposur. Silakan merujuk ke bagian eksperimen lanjutan dan bahan tambahan makalah sumber untuk contoh hasil yang lebih baik.

Silakan merujuk ke bagian eksperimen lanjutan dan bahan tambahan makalah sumber untuk pengujian lebih lanjut.

Kesimpulan

Bagi para profesional media, seperti mereka yang bekerja dalam produksi film dan TV, output yang telah menarik perhatian (dan, semakin banyak, kemarahan) dunia telah meninggalkan mereka tidak terkesan, karena hampir semua pipa mereka bergantung pada capture HDR.

Oleh karena itu, ini adalah proyek yang tepat waktu, yang mewakili fasilitas yang diharapkan menjadi standar opsional di seluruh kerangka kerja baru – meskipun ini pasti akan setidaknya menggandakan waktu rendering; jelas, juga, latensi harus ditangani dengan serius jika konten AI HDR tidak akan dipindahkan ke kategori ‘di pos’ daripada di kamera.

* Normalnya kita akan menunjukkan contoh, tetapi karena pembaca mungkin tidak memiliki monitor yang mendukung HDR, kita menghilangkannya dalam kasus ini.

Publikasi pertama pada hari Minggu, 26 April 2026