Film Grainini Simüle Etmek için AI Kullanımı

Amerika’yı Again Grainy Yapın: bir yeni AI aracı eski görüntülerden film grainini çıkarabilir, videoyu boyutunun bir kısmında sıkıştırabilir ve ardından graini geri koyabilir, böylece izleyiciler hiçbir şey fark etmez. Mevcut video standartlarıyla çalışır ve bant genişliğini %90’a kadar azaltırken, vintage görünümü korur.

Bizim için birçok film veya eski TV şovu izlerken, film graininin “çatırdaması” rahatlatıcıdır; bilinçli olarak kaydedemeyebiliriz, ancak grain bize izlediğimiz şeyin kimyasallarla, kodla değil, fiziksel dünyaya bağlı olduğunu ve deneyimi film seçimi, pozlama, laboratuvar işlemleri ve geçmiş dönemlere bağladığını söyler:

Hollywood’un grainine yaklaşımı, kültür ve üretim yöntemlerindeki değişikliklerle birlikte değişmiştir. 1960’larda, gelişen kamera stokları ve fotoğrafik uygulamalar on yılın ayrıcalıklı görsel kimliğine katkıda bulunmuştur. Daha sonra, dijital olarak çalışan yönetmenler kasıtlı olarak graini yeniden tanıttı. 1980’lerin ortalarında yönetmen James Cameron, Atmosferi güçlendirmek ve aynı zamanda pratik VFX miniatur çalışma için telleri gizlemek için Aliens (1986, yukarıdaki resmin sağ alt köşesinde) için özellikle kaba bir Kodak stok seçti. Kaynak: https://archive.is/3ZSjN (bu konudaki en son makalem) Kaynak: https://archive.is/3ZSjN (bu konudaki en son makalem)

Analog tekstür, medyayı üretmenin gerçek para maliyeti olduğu, erişimin sınırlı olduğu ve en azından yetenekli veya kararlı olanların bunu başarmış olabileceği bir zamanın ürünüdür ve gerçekçilik ve güvenilirlik için bir tür kısaltma işlevi görür – ve yüksek çözünürlüklü yakalama teknolojileri bunu ortadan kaldırdığında, nostalji.

Christopher Nolan asla geçmedi. Endüstrinin çoğunun dijitali hız ve esnekliği nedeniyle benimsediği sırada, ünlü yönetmen hücreli filmi hem disiplin hem de estetik olarak savunmaya devam etti.

Denis Villeneuve, dijital iş akışlarının içinde çalışırken, masihlerini fotoğrafik işlemlerden geçiriyor. Dune filmleri için dijital olarak çekilen görüntüler film stoklarına basıldı ve ardından dijital olarak tarandı, yalnızca atmosfer ve efekt için.

Sahte Grain

Film ve TV kalitesinin tutkunları, yüksek çözünürlükte görünen grain ile ilişkilendirir; burada bit hızı (her kareye yüklenen veri miktarı) o kadar yüksektir ki, en küçük ayrıntılar, chẳng hạn halid grainleri, korunur.

Ancak, eğer akış ağları gerçekten bu tür bir bit hızını sağlasalardı, bu, ağ kapasitesini ciddi şekilde zorlayacak ve muhtemelen arabelleklenmeye ve aksaklıklara neden olacaktır. Bu nedenle, Netflix gibi platformlar içeriklerinin optimize edilmiş AV1 sürümlerini oluşturur ve AV1 kodunun özelliklerini kullanarak film veya bölümdeki graini akıllı ve uygun bir şekilde ekler, bu sırada %30’luk bir bant genişliği tasarrufu sağlar.

AV1, yapay film grainini entegre etmek için tasarlanmıştır, aşağıdaki örneklerde görüldüğü gibi. Kaynak: https://waveletbeam.com/index.php/av1-film-grain-synthesis

‘Grain fetişi’ , vinil canlanması gibi atavistik eğilimlerin dijital eşdeğeri ve bu nedenle akış sağlayıcıların, optimize edilmiş videoyu gerçekten pahalı ‘ham video’ gibi göstermek için kullandıkları, özellikle de bu özelliklerle bilinçli olarak ilişkilendiren izleyiciler için; veya eski 4:3 gösterileri akış sağlayıcılar geniş ekran oranlarına kırparken algılanan kalite düşüşünü bertaraf etmek için; veya sadece genel ‘Nolan estetiği’ne özenmek için kullanıp kullanmadıkları bilinmez.

Grain Siloed

Sorun, grainin aynı zamanda gürültü olmasıdır. Dijital sistemler gürültüyü sevmez ve AV1 gibi akış kodları, bant genişliğini kaydetmek için grain ayarları açıkça yapılandırılmazsa, gürültüyü temizler. Aynı şekilde, AI upscaler gibi Topaz Gigapixel serisi, graini düzeltilmesi gereken bir hata olarak ele alır.

Diffüzyon tabanlı görüntü sentezinde, grain cực derece ayrıntı içerir ve bu nedenle genellikle sadece aşırı overfitted modellerde ortaya çıkar, çünkü tüm latent diffüzyon modeli (LDM) mimarisi, gürültüyü (örneğin grain) net görsellere dönüştürmek için tasarlanmıştır, bu nedenle graini medya özelliklerinin açık bir şekilde ele almaz.

Bu nedenle, makine öğrenimi kullanarak ikna edici grain oluşturmak zor olabilir. Ve hatta bunu yapabilirseniz, doğrudan optimize edilmiş bir videoya geri yüklemek, video dosyasının boyutunu tekrar artırır.

Bu son consideration nedeniyle, state-of-the-art video kodları gibi Versatile Video Coding (VVC) graini bir tür ‘yan hizmet’ olarak sunar.

VVC, temiz, gürültüsüz videoyu sıkıştırır ve graini atar. Rastgele yüksek frekanslı grain kalıplarını korumaya çalışırken veri boşa harcamak yerine, graini ayrı olarak analiz eder ve graini yeniden oluşturmak için gereken parametrelerin (örneğin genlik, frekans ve karıştırma modu) küçük bir kümesini kodlar.

Bu parametreler, FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information) akışında depolanır, bu akış ana bit akışının yanında çalışır. Çözme sonrasında, bir sentez modülü bu talimatları kullanarak orijinaline benzeyen sentetik graini yeniden uygular.

Bu, yüksek bitrate’li, grain zengin emülsiyonun ‘görünümünü’ korur, ancak gerçek bitrate düşük kalır, çünkü kodlayıcı, öngörülemez gürültüyü korumak için kaynak harcamak zorunda kalmaz.

Ek olarak, alt yazı dosyaları gibi, bu sahte ‘grain’ içeriği ilgili videoya özgüdür; Photoshop veya After Effects gibi platformlarda veya otomatik işleme hatlarında generic grain filtrelerini rastgele uygulamak, ‘uygun’ grain değil, ilgili olmayan bir gürültü katmanına yol açar:

Sol: orijinal görüntü. Orta: Photoshop Camera Raw Grain, tüm kanallara uniform olarak uygulanmıştır. Sağ: aynı Grain filtresi, her kanala sırayla uygulanmıştır. Kaynak görüntü (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (kendi önceki makalem)

Photoshop’un ‘Grain’ filtresi uniform rastgele gürültü ekler; ancak gerçek film graini çeşitli boyutlarda halid kristallerinden gelir. Filtreyi her kanala ayrı ayrı uygulamak (yukarıdaki resme bakın) sadece daha fazla kaos yaratır, gerçekçilik değil. Gerçek film graini, ışığın katmanlı emülsiyonlara maruz kalma anında nasıl vurduğunu yansıtır. Bunu simüle etmek, her görüntüdeki farklı alanların her bir halid katmanını nasıl aktive edeceğini tahmin etmek gerekecektir, sadece RGB katmanlarına across effecti bölmek değil.

FGA-NN

Bu şüpheli arayışa, Fransa’dan yeni bir araştırma makalesi giriyor – kısa ancak ilginç bir çalışma, grain analiz ve yeniden oluşturma yöntemi olarak nicel ve nitel olarak üstün bir yöntem sunuyor:

Zemin gerçeğine grain ve çeşitli analiz ve sentez yöntemelerinden sonuçların karşılaştırması. Kaynak: https://arxiv.org/pdf/2506.14350

Yeni sistem, FGA-NN olarak adlandırılır, geleneksel Gaussian tabanlı grain sentezi kullanımından vazgeçmez, VVC ile uyumlu standart yöntem olan Versatile Film Grain Synthesis (VFGS) aracılığıyla. Sistemdeki değişiklik, analizdir, sentez parametrelerini daha doğru bir şekilde tahmin etmek için bir sinir ağını kullanır

Bu nedenle, nihai grain hala geleneksel Gaussian modeli kullanılarak sentezlenir – ancak ağ, standart, kural tabanlı bir oluşturucuya daha iyi meta verileri besler, böylece state-of-the-art bir model elde edilir.

The new paper is titled FGA-NN: Film Grain Analysis Neural Network ve InterDigital R&D, Cesson-Sévigné’den üç araştırmacının eseridir. Makale kısa olsa da, yeni yöntemin sunduğu ilerlemelerin bazı önemli yönlerine bakalım.

Method

Özetle: FGA-NN sistemi, grainli bir video alır ve grainin kompakt bir tanımını çıkarır, standartlaştırılmış FGC-SEI formatındaki parametreleri verir. Bu parametreler video ile birlikte iletilir, böylece kodlayıcı, VFGS kullanarak graini yeniden oluşturabilir, graini doğrudan kodlamak yerine.

Video dağıtımında film grainini analiz etme ve yeniden uygulama şeması, FGA-NN ile parameter çıkarma ve VFGS ile sentez.

Ağı eğitmek için, yazarlara grainli videolar ve karşılık gelen FGC-SEI meta verileri içeren çiftler gerekliydi. Çoğu grainli görüntünün bu tür meta verilere sahip olmaması nedeniyle, araştırmacılar kendi veri setlerini oluşturdular, sentetik FGC-SEI parametreleri oluşturdular, bunları temiz videolara uyguladılar ve bunları eğitim örnekleri olarak kullandılar.

FGA-NN için eğitim verileri, BVI-DVC ve DIV2K veri setlerinden temiz görüntülere sentetik grain uygulayarak oluşturuldu. Rastgele FGC-SEI parametreleri oluşturuldu ve VFGS sentez aracı ile kullanıldı, her grainli videoyu bilinen meta verilerle eşleştirmeye izin verdi.

Mevcut video standartlarını destekleyen frekans tabanlı model kullanıldı, parametre aralıkları görsel tutarlılığı korumak için luma ve kroma kanalları boyunca sınırlı kaldı.

Yeni koleksiyon için eğitim verileri, BVI-DVC ve DIV2K veri setlerinden temiz görüntülere sentetik grain uygulayarak oluşturuldu. Rastgele FGC-SEI parametreleri oluşturuldu ve Versatile Film Grain Synthesis (VFGS) aracı ile kullanıldı, her grainli videoyu bilinen meta verilerle eşleştirmeye izin verdi.

Eğitim için sentetik FGC-SEI parameter aralıklarının özeti, BVI-DVC ve DIV2K veri setlerinden temiz görüntülere uygulanmıştır. Parametreler, luma ve kroma kanalları boyunca görsel olarak tutarlı sonuçlar sağlamak için sınırlandırıldı.

Sentez methodu olarak, yalnızca VVC Test Model (VTM) gibi kodlayıcı uygulamalarında desteklenen frekans filtreleme modeli kullanıldı. Parametre aralıkları, luma ve kroma kanalları boyunca görsel tutarlılığı korumak için sınırlandırıldı.

Ağ Etkisi

FGA-NN, luma ve kroma için ayrı ayrı tasarlanmış iki koordineli model içerir, her biri gerçekçi film grainini yeniden oluşturmak için gereken belirli parametreleri tahmin etmek için tasarlanmıştır.

Her giriş görüntüsü için, sistem, yoğunluk aralıklarının bir kümesini, her aralığa bağlı ölçekleme faktörlerini, yatay ve dikey kesme frekanslarını ve Log2Scale faktörü olarak bilinen genel bir ölçekleme ayarını tahmin eder. Bunu yapmak için, model, grainli girişi işleyen paylaşılan bir öznitelik çıkaran ve dört ayrı çıktı dalına beslenen bir yapıya sahiptir, her biri farklı bir tahmin görevinden sorumludur:

FGA-NN’nin luma versiyonunun mimarisi. Paylaşılan bir arka plan, grainli giriş çerçevelerinden öznitelikleri çıkarır, ardından dört çıktı dalı, aralık sınırları, ölçekleme faktörleri, kesme frekansları ve genel Log2Scale tahmini için özel görevlere ayrılmıştır. Kroma ağı, aynı yapıyı ayarlanmış girdi ve çıktı boyutlarıyla kullanır.

Aralık sınırları, regresyon kullanılarak tahmin edilir, mentre ölçekleme faktörleri, kesme frekansları ve genel ölçek ayarı, sınıflandırma problemleri olarak ele alınır.

Mimari, her görevin karmaşıklığını yansıtmak için ayarlanır; daha ince tahminler için daha büyük iç katmanlar kullanılır; özellikle, kroma modeli, luma yapısını taklit eder, ancak renk verilerinin farklı özelliklerine uyarlanır.

Eğitim ve Testler

FGA-NN, dört nesne fonksiyonu ile eğitildi, her biri dört tahmin görevinden birine hizalandı. Sınıflandırma çıktıları için, tahmin edilen etiketlerle gerçek etiketler arasındaki boşluğu azaltmak için kategorik cross-entropy kaybı kullanıldı.

Aralık sınırları 0-1 aralığına normalize edildi ve birleşik bir kayıp ile optimize edildi: daha büyük hataları daha ağır bir şekilde cezalandıran L1 kaybı (expL1) ve monotonicity cezası , aşağı yönlü eğilimleri cezalandırdı. Dört kayıp birleştirildi, kesme ve ölçekleme faktörlerine yüksek ağırlıklar atandı, mentre aralık sınırları ve Log2Scale 1 ve 0.1 olarak ağırlıklandırıldı.

Eğitim, Adam optimizatörü altında, 5e-4’lik bir öğrenme hızında, 10.000 iterasyon boyunca ve 64’lük bir toplu işlemden oluştu.

Karşılaştırılabilir bir araç, FGA-NN ile karşılaştırılabilecek tek uygun araç, aynı zamanda FGC-SEI formatında değerler üreten ve grain işlemleri için kullanılan FGA-CONVENT idi. Her iki sistem de, gerçek film graini içeren JVET subjektif değerlendirme seti UHD dizilerinde test edildi.

Dikey çizgiler, yoğunluk aralık sınırlarını gösterir, Log2Scale kazancı eksen etiketinde belirtilir.

Yukarıdaki resimde, VFGS kullanarak her yöntemden üretilen aynı kırpılmış çerçeveleri görüyoruz, orijinal ile karşılaştırıldı. Her bir yöntemin luma tahminleri de, VFGS ile manuel olarak ayarlanan gerçek değerlere karşı grafik olarak gösterilir, burada piksel yoğunluğu X ekseni (0–255), ölçekleme faktörleri mavi Y ekseni (0–255) ve kesme frekansları yeşil Y ekseni (2–14) olarak çizilir.

Yazarlar şunları belirtir:

‘FGA-NN, zemin gerçeğinin film graini deseninin ve genliğinin genel eğilimini doğru bir şekilde yakalar, sentezlenen görüntülerin, zemin gerçeğinkine benzer film grainine sahip olmasını sağlar.

‘Öte yandan, FGA-CONVENT, daha düşük bir ölçekleme faktörünü öngörür, bu, tasarımının bir sonucu olarak, daha düşük bir Log2Scale faktörüne karşılık gelir ve referansınkinden daha kaba bir film graini deseni üretme eğilimindedir, bu da farklı ancak görsel olarak tutarlı bir görünüm sağlar.’

Ayrıca, doğrudan zemin gerçeği grain parametreleriyle karşılaştırmanın güvenilebilir olmadığını belirtirler, çünkü ölçekleme ve Log2Scale birbirlerini telafi edebilir ve küçük hatalar genellikle görsel olarak önemli bir etkiye sahip değildir.

İnanç Testi

Film graini bağlılığı dört iş akışında karşılaştırıldı: FGA-NN ile VFGS; FGA-CONVENT ile VFGS; Style-FG; ve 3R-INN. Testler, FGC-SEI ve FilmGrainStyle740k veri setlerini kullandı, çıktı ile zemin gerçeğini Öğrenilen Algısal Benzerlik Ölçütleri (LPIPS); JSD-NSS; ve Kullback-Leibler (KL) sapma kullanarak karşılaştırdı.

FilmGrainStyle740k veri setinde benchmark sonuçları. Style-FG ve 3R-INN, bu veri setinde eğitildikleri için en iyi sonuçları elde eder, FGA-NN ise yakından takip eder. FGA-CONVENT, bu durumda kullanılan küçük, dokulu girişlerin koşullarını karşılamayan çok kareli analiz ve homojen bölgelere bağımlılığı nedeniyle düşük performans gösterir.

Bu sonuçlardan, yazarlar şunları belirtir:

‘FilmGrainStyle740k test setinde, Style-FG ve 3R-INN en iyi sonuçları elde eder, çünkü bu yöntemler bu veri setinde eğitilmiştir, FGA-NN ise yakından takip eder. FGA-CONVENT ve VFGS kombinasyonunun performansı, her iki test setinde de düşük kalır.

‘Bu, analizlerin çok kareli analiz ve homojen bölgelere dayanması, ancak bu durumda kullanılan küçük, dokulu girişlerin bu koşulları karşılamaması nedeniyle xảyar.

‘Bu, geleneksel analiz yönteminin, bu gibi küçük resimler için uygulanabilir olmadığını gösterir.’

Son olarak, yazarlar, öğrenme tabanlı yöntemlerin (3R-INN ve Style-FG gibi) küratörlü veri setlerinde güçlü görsel sonuçlar üretse de, yüksek hesaplama maliyetleri nedeniyle son kullanıcı cihazlarında dağıtıma uygun olmadığını belirtir.

Farklı analiz ve sentez iş akışlarını kullanarak düşük bitrate çerçevelerinin karşılaştırılması (üçüncü sondan son sütun).

Karşılaştırıldığında, önerilen yaklaşım, hafif FGA-NN analiz modülünü donanım verimli VFGS sentez yöntemi ile birleştirir, yazarlar bunu daha uygulanabilir ve dağıtılabilir bir çözüm olarak tanımlar.

Ayrıca, FGA-NN’nin faydalarının önemli olabileceğini belirtirler:

‘Orta ila düşük bitrate’li UHD videoları film graini ile kodlamak, önerilen film graini analiz ve sentez iş akışını kullanarak, yüksek bitrate’li kodlamaya kıyasla %90’a varan bitrate tasarrufu sağlar.’

Sonuç

Film graini takıntısı, post-analog çağın en tuhaf ve en ilginç saplantılarından biridir ve dikkat çekici bir şekilde, bir zamanlar ortamın bir kısıtlaması olarak kabul edilen şey, şimdi itself için gerçekçilik ve otantiklik simgesi haline gelmiştir, belki de analogdan sonra doğan yeni bir izleyici nesline bile.

Unutulmaması gereken, state-of-the-art grain yeniden oluşturma yöntemlerinin hiçbiri, bu son yenilik dahil, ışığın katmanlı halidlerdeki etkisini真的 bir foto-kimyasal işlemde, çeşitli koşullar altında tam olarak yakalayamaz.

İlk olarak 18 Haziran 2025 Çarşamba günü yayımlandı.