Menggunakan AI untuk Mensimulasikan Grain Film

Membuat Amerika Grainy Lagi: alat AI baru dapat menghilangkan grain film dari footage lama, mengompresi video pada ukuran yang jauh lebih kecil, lalu mengembalikan grain sehingga pemirsa tidak menyadari perbedaannya. Ini bekerja dengan standar video yang ada dan memotong bandwidth hingga 90 persen, sambil menjaga tampilan vintage.

Bagi banyak dari kita yang menonton film atau acara TV lama, “sizzle” dari grain film adalah menenangkan; bahkan ketika kita tidak secara sadar menyadari hal itu, grain memberitahu kita bahwa apa yang kita tonton dibuat dengan bahan kimia, bukan kode, dan mengikat pengalaman dengan dunia fisik: pilihan stok, eksposur, proses laboratorium, dan era yang telah berlalu:

Pendekatan Hollywood terhadap grain telah bergeser seiring dengan perubahan budaya dan metode produksi. Pada 1960-an, kamera stok yang berkembang dan praktik fotografi berkontribusi pada identitas visual dekade tersebut. Kemudian, sutradara yang bekerja dalam digital memperkenalkan kembali grain secara sengaja. Pada pertengahan 1980-an, sutradara James Cameron memilih stok Kodak yang sangat kasar untuk Aliens (1986, bagian bawah kanan pada gambar di atas), kemungkinan untuk meningkatkan atmosfer serta membantu menyembunyikan kabel dari pekerjaan VFX miniatur yang praktis. Sumber: https://archive.is/3ZSjN (artikel terbaru saya tentang topik ini)

Tekstur analog berasal dari waktu ketika memproduksi media membutuhkan biaya nyata, akses terbatas, dan setidaknya ada kesadaran bahwa hanya mereka yang paling mampu atau berdedikasi yang dapat melewatinya, bertindak sebagai singkatan untuk realisme, dan kredibilitas – dan, ketika teknologi pengambilan resolusi tinggi menghilangkannya, nostalgia.

Christopher Nolan tidak pernah beralih. Sementara sebagian besar industri mengadopsi digital karena kecepatan dan fleksibilitasnya, sutradara terkenal itu tetap mempertahankan seluloid sebagai disiplin dan estetika.

Denis Villeneuve, bekerja dalam pipa digital, masih memproses footage-nya melalui proses foto-kimia. Untuk film Dune, yang difilmkan secara digital, footage-nya dicetak ke stok film dan kemudian dipindai kembali ke digital, hanya untuk atmosfer dan efek.

Grain Palsu

Penggemar film dan kualitas TV mengasosiasikan grain yang terlihat dengan resolusi tinggi, di mana bitrate (jumlah data yang dimasukkan ke dalam setiap frame) sangat tinggi sehingga bahkan detail terkecil, seperti kristal halida, dipertahankan.

Namun, jika jaringan streaming benar-benar membuat bitrate seperti itu tersedia, itu akan menimbulkan beban berat pada kapasitas jaringan, dan kemungkinan akan menyebabkan buffering dan stuttering. Oleh karena itu, platform seperti Netflix membuat versi AV1 yang dioptimalkan dari konten mereka dan menggunakan kemampuan codec AV1 untuk menambahkan grain ke film atau episode dengan cara yang cerdas dan tepat, menghemat 30% bandwidth dalam prosesnya.

AV1 dirancang untuk menggabungkan grain film palsu, seperti pada contoh ini. Sumber: https://waveletbeam.com/index.php/av1-film-grain-synthesis

The ‘grain fetish’ adalah ekivalen digital yang relatif langka untuk tren atavistik seperti kebangkitan vinil, dan sulit untuk mengatakan apakah itu digunakan oleh streamer untuk membuat video yang sangat dioptimalkan terlihat seperti ‘raw video’ yang sangat mahal (untuk pemirsa yang telah mengasosiasikan karakteristik tersebut secara tidak sadar), membuat bitrate tampak lebih tinggi dari yang sebenarnya; atau untuk mengalihkan penurunan kualitas perseptual yang akan dialami oleh acara lama 4:3 ketika penyedia streaming memotongnya ke rasio aspek widescreen; atau hanya untuk memuja estetika ‘Nolan’ yang retro secara umum.

Grain yang Diisolasi

Masalahnya adalah grain juga merupakan noise. Sistem digital membenci noise, dan codec streaming seperti AV1 menghilangkannya untuk menghemat bandwidth, kecuali jika pengaturan grain secara eksplisit dikonfigurasi. Demikian pula AI upscalers seperti seri Topaz Gigapixel memperlakukan grain sebagai kesalahan yang perlu diperbaiki.

Di bidang sintesis gambar berbasis difusi, grain sangat sulit untuk dibuat, karena itu mewakili detail ekstrem, dan biasanya hanya muncul dalam model yang sangat overfitted, karena arsitektur LDM (Latent Diffusion Model) secara keseluruhan dirancang untuk menghilangkan noise (seperti grain) menjadi gambar yang jernih, bukan memperlakukan grain sebagai properti implisit dalam media.

Oleh karena itu, menciptakan grain yang meyakinkan menggunakan pembelajaran mesin sangat menantang. Dan bahkan jika seseorang bisa melakukannya, merendernya kembali ke dalam video yang dioptimalkan hanya akan membuat ukuran file video membengkak kembali.

Karena pertimbangan logistik ini, codec video canggih seperti Versatile Video Coding (VVC) menawarkan grain sebagai layanan ‘sidecar’.

VVC mengompresi video yang bersih, tanpa noise, dan membuang grain. Alih-alih membuang-buang data untuk mempertahankan pola grain acak dengan frekuensi tinggi, itu menganalisis grain secara terpisah dan mengkodekan set parameter kecil (misalnya amplitudo, frekuensi, dan mode blending) yang menjelaskan bagaimana meregenerasi grain yang serupa selama pemutaran.

Parameter ini disimpan dalam FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information) stream, yang berjalan bersama dengan bit-stream utama. Setelah decoding, modul sintesis menggunakan instruksi ini untuk mengembalikan grain sintetis yang meniru aslinya.

Ini mempertahankan ‘tampilan’ dari emulsi dengan bitrate tinggi yang kaya akan grain, sambil menjaga bitrate yang sebenarnya rendah, karena encoder tidak dipaksa untuk menghabiskan sumber daya untuk mempertahankan noise yang tidak terduga.

Tambahnya, seperti halnya file subtitle diskrit, konten ‘grain’ palsu ini spesifik untuk video yang bersangkutan; menerapkan filter grain generik secara sembarangan di platform seperti Photoshop atau After Effects, atau di pipa pemrosesan otomatis, tidak akan menghasilkan ‘grain’ yang sesuai, tetapi malah lapisan noise yang tidak terkait.

Kiri: gambar asli. Tengah: Filter Grain Camera Raw Photoshop diterapkan secara merata di semua saluran. Kanan: Filter Grain yang sama diterapkan secara individual ke setiap saluran secara berurutan. Sumber gambar (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (melalui artikel saya sebelumnya)

Filter ‘Grain’ Photoshop menambahkan noise acak yang seragam; tetapi grain film asli datang dari kristal halida dengan ukuran yang bervariasi. Menerapkan filter ke setiap saluran secara terpisah (lihat gambar di atas) hanya menciptakan kekacauan, bukan realisme. Grain film asli mencerminkan bagaimana cahaya mengenai lapisan emulsi saat eksposur. Mensimulasikan itu akan memerlukan estimasi tentang bagaimana area yang berbeda dari gambar akan mengaktifkan setiap lapisan halida, bukan hanya membagi efek di seluruh lapisan RGB.

FGA-NN

Dalam upaya yang spekulatif ini, sebuah makalah penelitian baru dari Prancis – sebuah keluaran singkat tapi menarik yang menawarkan metode yang lebih unggul secara kuantitatif dan kualitatif untuk menganalisis dan merekreasikan grain:

Perbandingan antara grain asli dan hasil dari berbagai metode analisis dan sintesis. Sumber: https://arxiv.org/pdf/2506.14350

Sistem baru, yang disebut FGA-NN, tidak menyimpang dari penggunaan konvensional sintesis grain berbasis Gaussian melalui metode VVC yang kompatibel, Versatile Film Grain Synthesis (VFGS). Apa yang diubah sistem ini adalah analisis, menggunakan jaringan saraf untuk memperkirakan parameter sintesis dengan lebih akurat

Oleh karena itu, grain akhir masih disintesis menggunakan model Gaussian konvensional – tetapi jaringan memberikan metadata yang lebih baik ke generator berbasis aturan, menghasilkan model yang sangat canggih.

Makalah baru ini berjudul FGA-NN: Film Grain Analysis Neural Network, dan berasal dari tiga peneliti di InterDigital R&D, Cesson-Sévigné. Meskipun makalah ini tidak panjang, mari kita lihat beberapa aspek kunci dari kemajuan yang ditawarkan metode baru ini.

Metode

Untuk mengingatkan: sistem FGA-NN mengambil video yang berisi grain sebagai input dan mengekstrak deskripsi kompak dari grain, mengeluarkan parameter dalam format FGC-SEI yang distandarisasi dan digunakan oleh codec modern yang beragam. Parameter ini ditransmisikan bersama dengan video, memungkinkan decoder untuk merekonstruksi grain menggunakan VFGS, bukan mengkodekan grain secara langsung.

Skema untuk menganalisis dan mengembalikan grain film dalam distribusi video, menggunakan FGA-NN untuk ekstraksi parameter dan VFGS untuk sintesis.

Untuk melatih jaringan, penulis memerlukan pasangan video yang berisi grain dan metadata FGC-SEI yang sesuai. Karena sebagian besar footage yang berisi grain tidak memiliki jenis metadata ini, peneliti membuat dataset mereka sendiri dengan menghasilkan parameter FGC-SEI, menerapkan grain sintetis ke video yang bersih, dan menggunakan ini sebagai contoh pelatihan.

Data pelatihan untuk FGA-NN dibuat dengan menerapkan grain sintetis ke footage yang bersih dari dataset BVI-DVC dan DIV2K. Parameter FGC-SEI acak dihasilkan dan digunakan dengan alat sintesis VFGS, memungkinkan setiap video yang berisi grain untuk dipasangkan dengan metadata yang diketahui.

Model berbasis frekuensi yang didukung oleh standar video saat ini digunakan, dengan rentang parameter yang dibatasi untuk mempertahankan kemungkinan visual di seluruh kanal luma dan kroma.

Data pelatihan untuk koleksi baru ini dibuat dengan menerapkan grain sintetis ke footage yang bersih dari dataset BVI-DVC dan DIV2K. Parameter FGC-SEI acak dihasilkan dan digunakan dengan alat sintesis Versatile Film Grain (VFGS), memungkinkan setiap video yang berisi grain untuk dipasangkan dengan metadata yang diketahui.

Ikhtisar dari rentang parameter FGC-SEI acak yang digunakan untuk menghasilkan grain sintetis untuk pelatihan, diterapkan ke footage yang bersih dari dataset BVI-DVC dan DIV2K. Parameter dibatasi untuk memastikan hasil visual yang masuk akal di seluruh kanal luma dan kroma.

Model penyaringan frekuensi, metode sintesis satu-satunya yang saat ini didukung dalam implementasi codec seperti VVC Test Model (VTM), digunakan sepanjang waktu. Rentang parameter dibatasi untuk mempertahankan kemungkinan visual di seluruh kanal luma dan kroma.

Efek Jaringan

FGA-NN memiliki dua model yang terkordinasi, untuk luma dan kroma, masing-masing dirancang untuk memprediksi parameter spesifik yang diperlukan untuk merekreasikan grain film yang realistis.

Untuk setiap gambar input, sistem memperkirakan himpunan interval intensitas, faktor skala yang terkait dengan setiap interval, frekuensi pemotongan horizontal dan vertikal, dan penyesuaian skala keseluruhan yang dikenal sebagai faktor Log2Scale. Untuk menangani ini, model menggunakan ekstraktor fitur yang dibagikan yang memproses input yang berisi grain dan memberikan input ke empat cabang output yang terpisah, masing-masing bertanggung jawab untuk tugas prediksi yang berbeda:

Arsitektur versi luma dari FGA-NN. Sebuah backbone yang dibagikan mengekstrak fitur dari frame input yang berisi grain, diikuti oleh empat cabang output yang disesuaikan dengan tugas prediksi parameter yang spesifik: batas interval, faktor skala, frekuensi pemotongan, dan penyesuaian Log2Scale global. Jaringan kroma menggunakan struktur yang sama dengan dimensi input dan output yang disesuaikan.

Batas interval diprediksi menggunakan regresi, sementara faktor skala, frekuensi pemotongan, dan pengaturan skala global diperlakukan sebagai masalah klasifikasi.

Arsitektur disesuaikan untuk mencerminkan kompleksitas setiap tugas, dengan lapisan internal yang lebih besar digunakan untuk prediksi yang lebih halus; khususnya, model kroma mempertahankan struktur luma, tetapi menyesuaikan dengan karakteristik data warna yang berbeda.

Pelatihan dan Pengujian

FGA-NN dilatih menggunakan empat fungsi objektif, masing-masing sejalan dengan salah satu tugas prediksi. Untuk output klasifikasi, kerugian entropi kategoris digunakan untuk mengurangi kesenjangan antara label yang diprediksi dan label sebenarnya.

Batas interval dinormalisasi ke rentang 0-1 dan dioptimalkan menggunakan kerugian yang dikombinasikan: kerugian L1 yang diperbesar secara eksponensial (expL1) yang menghukum kesalahan yang lebih besar lebih berat, dan hukuman monotonis yang mencegah tren menurun. Semua empat kerugian digabungkan, dengan bobot yang tinggi diberikan kepada faktor skala dan frekuensi pemotongan, sementara batas interval dan Log2Scale diberi bobot 1 dan 0,1.

Pelatihan dilakukan di bawah optimizer Adam, dengan tingkat pembelajaran 5e-4, selama 10.000 iterasi, dengan ukuran batch 64.

Alat yang paling sesuai untuk pengujian komparatif adalah FGA-CONVENT, yang juga menghasilkan nilai dalam format FGC-SEI, dan digunakan untuk pemrosesan grain. Kedua sistem diuji pada urutan UHD dari set evaluasi subjektif JVET, menggunakan footage yang mengandung grain film asli.

Garis vertikal putus-putus menunjukkan batas interval intensitas, sementara gain Log2Scale dicatat pada label sumbu.

Di gambar di atas, kita melihat bingkai yang identik dihasilkan oleh VFGS menggunakan parameter dari setiap metode, dibandingkan dengan aslinya. Perkiraan luma mereka juga dipetakan terhadap nilai sebenarnya yang ditetapkan secara manual menggunakan VFGS, yang di sini memetakan intensitas piksel pada sumbu X (0–255), faktor skala pada sumbu Y biru (0–255), dan frekuensi pemotongan pada sumbu Y hijau (2–14).

Para penulis menyatakan:

‘Satu dapat mengamati bahwa FGA-NN secara akurat menangkap tren keseluruhan dari pola grain film dan amplitudo, menghasilkan gambar yang disintesis dengan grain film yang secara perseptual mirip dengan yang asli. ‘

‘Di sisi lain, FGA-CONVENT memprediksi faktor skala yang lebih rendah, dikompensasikan oleh faktor Log2Scale yang lebih rendah sebagai hasil dari desainnya, dan cenderung menghasilkan pola grain film yang lebih kasar daripada referensi, menghasilkan penampilan yang berbeda namun konsisten secara visual.’

Mereka mencatat bahwa perbandingan langsung dengan parameter grain sebenarnya tidak dapat diandalkan, karena skala dan Log2Scale dapat saling mengkompensasi, dan kesalahan kecil sering memiliki dampak visual yang minimal.

Uji Iman

Kesetiaan grain film diuji melintasi empat alur kerja: FGA-NN dengan VFGS; FGA-CONVENT plus VFGS; Style-FG; dan 3R-INN. Pengujian menggunakan kedua dataset FGC-SEI dan FilmGrainStyle740k, membandingkan output dengan sebenarnya menggunakan Learned Perceptual Similarity Metrics (LPIPS); JSD-NSS; dan Kullback–Leibler (KL) divergence.

Hasil pengujian pada dataset FilmGrainStyle740k. Style-FG dan 3R-INN outperform yang lain karena dilatih pada dataset ini, dengan FGA-NN mengikuti dari dekat. FGA-CONVENT underperforms, mencerminkan ketergantungannya pada analisis multi-frame dan wilayah homogen – kondisi yang tidak dipenuhi oleh input kecil yang kaya tekstur yang digunakan dalam kasus ini.

Dari hasil ini, para penulis menyatakan:

‘Pada dataset uji FilmGrainStyle740k, Style-FG dan 3R-INN mencapai hasil terbaik, karena metode ini secara khusus dilatih pada dataset ini, dengan FGA-NN mengikuti dari dekat. Kinerja FGA-CONVENT yang digabungkan dengan VFGS adalah suboptimal pada kedua set uji. ‘

‘Ini hanya karena analisisnya bergantung pada wilayah homogen dan memanfaatkan informasi dari beberapa frame dalam kasus analisis grain film yang sebenarnya, sedangkan dalam evaluasi ini, analisis diberikan dengan satu gambar beresolusi rendah (256×256 hingga maksimal 768×512), yang sering mengandung tekstur yang signifikan. ‘

‘Ini lebih lanjut mempersulit tantangan bagi metode analisis konvensional, membuatnya mustahil untuk menerapkan FGA-CONVENT pada gambar-gambar kecil seperti itu.’

Akhirnya, para penulis mencatat bahwa meskipun metode berbasis pembelajaran seperti 3R-INN dan Style-FG menghasilkan hasil visual yang kuat pada dataset yang dikurasi, biaya komputasi yang tinggi membuatnya tidak sesuai untuk penerapan pada perangkat pengguna akhir.

Perbandingan antara bingkai berbitrate rendah yang ditingkatkan menggunakan alur kerja analisis dan sintesis yang berbeda (kolom ketiga hingga terakhir).

Dibandingkan dengan itu, pendekatan yang diusulkan dalam makalah baru ini menggabungkan modul analisis FGA-NN yang ringan dengan metode sintesis VFGS yang efisien perangkat keras, yang penulis deskripsikan sebagai solusi yang lebih layak dan dapat diterapkan untuk mengembalikan grain film dalam video yang dikompresi.

Mereka menyatakan lebih lanjut bahwa manfaat FGA-NN potensialnya sangat besar, pada skala:

‘[Mengkode] video UHD dengan grain film pada bitrate menengah hingga rendah menggunakan alur kerja analisis dan sintesis grain film kami memungkinkan penghematan bitrate hingga 90% dibandingkan dengan pengkodean bitrate tinggi.’

Kesimpulan

Obsesi dengan grain film adalah salah satu konsep paling aneh dan menarik dari era pasca-analog, dan menarik untuk dicatat bahwa apa yang dulunya dianggap sebagai keterbatasan medium telah menjadi simbol keaslian dan otentisitas dalam dirinya sendiri, bahkan (mungkin secara tidak sadar) bagi generasi baru pemirsa yang lahir setelah kemunduran emulsi.

Perlu dicatat bahwa tidak ada metode rekreasi grain yang canggih, termasuk inovasi terbaru ini, yang dapat menangkap secara akurat efek sebenarnya dari cara cahaya mempengaruhi lapisan halida dalam proses foto-kimia yang sebenarnya, di seluruh rentang kondisi.

Dipublikasikan pertama kali pada Rabu, 18 Juni 2025