Yansımalar ve Aynaların Diffusion Modellerinin Sınırlı Anlamını Düzeltme

Yapay zeka kamuoyunun ilgisini çekmeye başladığından beri, bilgisayar görüşü araştırma alanı, fiziksel yasaları anlayan ve taklit eden yapay zeka modelleri geliştirmeye ilgi duymuştur. Ancak, makine öğrenimi sistemlerine yerçekimi ve sıvı dinamikleri gibi fenomenlerin simülasyonunu öğretme challenge’ı en az beş yıldır araştırma çabalarının önemli bir odak noktası olmuştur.

Latent diffusion modelleri (LDM’ler) 2022’de generatif yapay zeka sahnesine hakim olunca, araştırmacılar LDM mimarisinin fiziksel fenomenleri anlamak ve yeniden üretmek konusundaki sınırlı kapasitesine giderek daha fazla odaklandılar. Şimdi, bu sorun OpenAI’nin generatif video modeli Sora’nın çığır açan gelişimi ve açık kaynaklı video modelleri Hunyuan Video ve Wan 2.1’in daha recent yayımlanmasıyla birlikte daha da fazla önem kazandı.

Kötü Yansımalar

Fiziksel yasaları iyileştirmeye yönelik çoğu araştırma, yürüyüş simülasyonu, parçacık fiziği ve Newtoncu hareketin diğer yönleri gibi alanlara odaklanmıştır. Bu alanlar, temel fiziksel davranışlardaki doğruların AI tarafından oluşturulan videoyu hemen geçersiz kılacağı için dikkat çekmiştir.

Ancak, bir araştırma dalı LDM’lerin en büyük zayıflıklarından birine odaklanmaktadır – yansımaları doğru bir şekilde üretme konusundaki göreceli yeteneksizliği.

Ocak 2025 tarihli ‘Reflecting Reality: Diffusion Modellerinin İnanılmaz Aynasal Yansımalar Üretmesine İzin Verme’ makalesinden, ‘yansıma hatası’ ve araştırmacıların kendi yaklaşımının örnekleri. Kaynak: https://arxiv.org/pdf/2409.14677

Bu sorun CGI döneminde de video oyunları alanında da bir challenge olarak kaldı ve burada ışığın yüzeylerle etkileşimi simüle eden ışın izleme algoritmaları kullanılmaktadır. Işın izleme, gerçekçi yansımalar, kırılmalar ve gölgeler oluşturmak için sanal ışınların nesnelerle nasıl etkileşime girdiğini hesaplar.

Ancak, her ek atlayışın hesaplama maliyetini önemli ölçüde artırdığı için, gerçek zamanlı uygulamalar gecikme ile doğruluk arasında bir trade-off yapmak zorundadır.

Geleneksel 3D tabanlı (yani CGI) bir senaryoda sanal olarak hesaplanan bir ışık demetinin temsili, ilk olarak 1960’larda geliştirilen ve 1982-93 arasında (Tron [1982] ve Jurassic Park [1993] arasında) doruğa ulaşan teknolojiler ve ilkeler kullanılarak. Kaynak: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

Örneğin, bir ayna önünde bir krom kaplı çaydanlık görseli, ayna yüzeyleri arasında ışınların tekrar tekrar seyahat ettiği bir ışın izleme işlemi içerebilir, bu da neredeyse sonsuz bir döngü oluşturur ve final görüntüye pratik olarak hiçbir fayda sağlamaz. Çoğu durumda, iki ila üç atlayışın yansımaların derinliğini already aşmaktadır ve bir atlayış, ışığın en az iki seyahatini tamamlaması gereken bir siyah ayna ile sonuçlanacaktır.

Her ek atlayış, hesaplama maliyetini önemli ölçüde artırır, genellikle render zamanını iki katına çıkarır ve yansımaların daha hızlı işlenmesini ışın izleme renderlemenin en önemli fırsatlarından biri haline getirir.

Tabii ki, yansımalar, fotogerçekçilik için gerekli olan ve daha az açık senaryolarda da ortaya çıkar – örneğin, bir şehir sokaklarının yansıtıcı yüzeyi veya bir savaş alanındaki bir yağmurdan sonra; bir dükkân penceresinde veya cam kapıda karşı sokakların yansımaları veya karakterlerin gözlüklerinde, nesnelerin ve ortamların görünmesi gereken bir şekilde.

Geleneksel kompozit kullanarak ‘The Matrix’ (1999) filminin ikonik bir sahnesinde simüle edilen ikiz yansımalar.

Görüntü Problemleri

Bu nedenle, diffusion modellerinin ortaya çıkmasından önce popüler olan çerçeveler, örneğin Neural Radiance Fields (NeRF) ve bazı daha recent rakipler gibi Gaussian Splatting, doğal bir şekilde yansımaları gerçekleştirmekte kendi zorluklarını yaşamışlardır.

REF²-NeRF projesi (aşağıda resmedilmiştir), bir cam kutu içeren sahneler için NeRF tabanlı bir modelleme yöntemi önerdi. Bu yöntemde, kırılma ve yansımalar, izleyici perspektifine bağlı ve bağımsız elemanlar kullanılarak modellendi. Bu yaklaşım, araştırmacıların kırılmanın meydana geldiği yüzeyleri, özellikle cam yüzeylerini tahmin etmelerine ve doğrudan ve yansıtılan ışık bileşenlerini ayırıp modellemelerine olanak tanıdı.

Ref2Nerf makalesinden örnekler. Kaynak: https://arxiv.org/pdf/2311.17116

Son dört ila beş yıl içinde NeRF’ye yönelik diğer yansımaya ilişkin çözümler arasında NeRFReN, Reflecting Reality ve Meta’nın 2024 Planar Reflection-Aware Neural Radiance Fields projesi yer almıştır.

GSplat için, Mirror-3DGS, Reflective Gaussian Splatting ve RefGaussian gibi makaleler, yansımaya ilişkin çözümler sunmuşlardır. 2023 Nero projesi, nöral gösterimlere yansıtıcı özellikler kazandırmak için özel bir yöntem önermiştir.

Aynaverse

Bir diffusion modeline yansılma mantığını saygılı bir şekilde öğretmek, açıkça yapısal, anlamsal olmayan yaklaşımlar gibi Gaussian Splatting ve NeRF’ye göre daha zor olabilir. Diffusion modellerinde, bu tür bir kural yalnızca eğitim verisi, geniş bir senaryo yelpazesi boyunca çeşitli örnekler içerdiğinde güvenilir bir şekilde gömülebilir, bu da modeli orijinal veri setinin dağılımına ve kalitesine önemli ölçüde bağımlı kılar.

Geleneksel olarak, bu tür davranışlar eklemek, LoRA veya temel modelin fine-tuning işleminin kapsamındadır. Ancak, bu ideal çözümler değildir, çünkü LoRA, eğitimi sırasında bile, kendi eğitim verisine doğru eğilimlidir ve fine-tune işlemleri – pahalı olmalarının yanı sıra – ana modeli geri döndürülemez bir şekilde ana akımdan ve diğer tüm türevlerinden ayırmaya yol açabilir.

Genel olarak, diffusion modellerini iyileştirmek, eğitim verilerinin yansımaların fiziğine daha fazla dikkat etmesi gerektiği anlamına gelir. Ancak, diğer birçok alan da benzer özel ilgiye ihtiyaç duyar. Hiperscale veri setlerinde, özel curation maliyetli ve zor olabilir, bu nedenle bu şekilde her bir zayıflığı ele almak pratik değildir.

Bununla birlikte, LDM yansımaları sorununa çözümler zaman zaman ortaya çıkabilir. Hindistan’dan recent bir örnek, diffusion modellerinin bu özel challenge’da durumun state-of-the-art’ını iyileştirebilecek bir veri seti ve eğitim yöntemi sunan MirrorVerse projesidir.

Sağdaki, iki önceki yaklaşımın (merkezi iki sütun) karşısındaki MirrorVerse sonuçları. Kaynak: https://arxiv.org/pdf/2504.15397

Yukarıdaki örnekte (PDF’deki özellik görüntüsü), MirrorVerse, aynı sorunu ele alan recent önerilere göre bir iyileştirme sağlar, ancak çok uzak değildir.

Üst sağdaki görüntüde, seramik kaplar olması gerektiği yerin biraz sağında yer alır ve alttaki görüntüde, teknik olarak fincanın bir yansıması içermemelidir, ancak sağ tarafta doğal yansıtma açılarına aykırı bir şekilde hatalı bir yansıma eklenmiştir.

Bu nedenle, yeni yöntemi, state-of-the-art’ı temsil ettiği için değil, aynı zamanda diffusion modellerinin, statik ve video da dahil olmak üzere, bu konudaki olası bir challenge olabileceğini göstermek için ele alacağız.

Araştırmacılar, MirrorFusion 2.0 adlı bir diffusion tabanlı generatif model geliştirdiler. Bu model, sentetik görüntülerdeki ayna yansımalarının fotogerçekçiliğini ve geometrik doğruluğunu iyileştirmeyi amaçlamaktadır. Modelin eğitimi, araştırmacıların kendi newly-curated veri seti MirrorGen2 üzerine dayanmaktadır.

Yöntem

Araştırmacılar, Stable Diffusion ve Flux gibi modellerin, yansımaya dayalı prompları saygı göstermekte zorlandıklarını not ederler.

Makaleden: Mevcut state-of-the-art metin-görsel modelleri SD3.5 ve Flux, bir sahne içinde yansımalar oluştururken önemli zorluklarla karşılaştı.

MirrorGen2, önceki metodolojileri, rasgele nesne konumlandırma, rasgele döndürme ve nesnelerin açıkça zemine sabitlenmesi ile genişletir. Bu, yansımaların, nesnelerin ayna yüzeyine göre çeşitli pozisyonda ve yerleştirilmesinde inandırıcı kalmasını sağlamak amacını taşır.

MirrorVerse’de sentetik veri oluşturma şeması: Veri seti oluşturma pipeline’si, sahne içinde nesneleri 3D-Positioner kullanarak rasgele konumlandırarak, döndürerek ve zemine sabitleyerek önemli augmentasyonlar uyguladı.

Modelin, karmaşık uzaysal düzenlemelerle başa çıkma yeteneğini daha da güçlendirmek için, MirrorGen2 pipeline’si, nesnelerin anlamsal olarak tutarlı kombinasyonlarda eşleştirilmesini içerir. Bu, modelin örtüşmeleri ve yansıtma ortamlarındaki etkileşimleri daha iyi temsil etmesini sağlar.

Makalede denir ki:

‘Kategoriler, bir sandalyeyle bir masa gibi, izleyici perspektifine bağlı olarak anlamsal tutarlılık sağlamak için manuel olarak eşleştirilir. Renderleme sırasında, birincil nesne konumlandırıldıktan ve döndürüldükten sonra, eşleştirilmiş kategoriden bir ikincil nesne örneği alınır ve örtüşmeyi önlemek için yerleştirilir, bu da sahne içinde ayrı uzaysal bölgeler oluşturur.’

Açık nesne zemine sabitlenmesi konusunda, yazarlar, sentetik veri setinde oluşturulan nesnelerin, özellikle büyük ölçekli sentetik veri üretimi veya yüksek otomasyonlu yöntemlerle “havada asılı” gibi görünmemesi için “zemine sabitlendiğinden” emin oldular.

Veri seti yeniliği makalenin yeniliğinin merkezinde olduğu için, genellikle yaptığımızdan daha erken bu bölümde devam edeceğiz.

Veri ve Testler

SynMirrorV2

Araştırmacıların SynMirrorV2 veri seti, ayna yansımaları eğitim verilerinin çeşitliliğini ve gerçekçiliğini artırmak için tasarlandı. Veri seti, Objaverse ve Amazon Berkeley Objects (ABO) veri setlerinden 3D nesneleri içerir. Seçilen nesneler daha sonra OBJECT 3DIT ve V1 MirrorFusion projesi tarafından filtreleme işlemiyle iyileştirildi. Bu, 66.062 nesnenin yer aldığı bir havuz oluşturdu.

Yeni sistemin oluşturulmasında kullanılan Objaverse veri setinden örnekler. Kaynak: https://arxiv.org/pdf/2212.08051

Sahne oluşturma, bu nesnelerin CC-Textures ve HDRI arka planlarından PolyHaven CGI deposundan alınan tekstürlü zeminlere yerleştirilmesini içerir. Işıklandırma, nesnelerin arkasında ve üstünde 45 derecelik açıyla konumlandırılan bir alan ışığı ile standardize edildi. Nesneler, bir birim küp içinde sığacak şekilde ölçeklendirildi ve önceden hesaplanmış kesişme kullanarak görme konisi ile kamera görüş konisi kullanılarak görünürlük đảm edildi.

Rasgele döndürmeler uygulandı ve “havada asılı” gibi görünmemeleri için bir zemine sabitleme tekniği kullanıldı.

Çoklu nesne sahnelerini simüle etmek için, veri seti ayrıca anlamsal olarak tutarlı kombinasyonlara göre eşleştirilmiş nesneleri içerir. İkincil nesneler, örtüşmeyi önlemek için yerleştirilir, bu da 3.140 çoklu nesne sahnesini oluşturur ve çeşitli örtüşmeleri ve derinlik ilişkilerini yakalamayı sağlar.

Birden fazla nesne içeren (iki veya daha fazla) yazarların veri setinden render edilen görüntülerin örnekleri, altta nesne segmentasyonu ve derinlik haritası görselleştirmeleri ile birlikte.

Eğitim Süreci

Suni gerçekçilikten yeterli genellemeyi elde edemediklerini kabul eden araştırmacılar, MirrorFusion 2.0’ı eğitmek için üç aşamalı bir müfredat öğrenimi süreci geliştirdiler.

1. Aşama’da, yazarlar, hem koşullandırma hem de üretim dallarının ağırlıklarını Stable Diffusion v1.5 checkpoint’inden başlattılar ve modeli SynMirrorV2 veri setinin tek nesne eğitim bölümünde fine-tune ettiler. Reflecting Reality projesinin aksine, üretim dalını dondurmadılar. Ardından modeli 40.000 iterasyon için eğittiler.

2. Aşama’da, model, SynMirrorV2’nin çoklu nesne eğitim bölümünde 10.000 iterasyon daha fine-tune edildi. Bu, modelin örtüşmeleri ve gerçekçi sahnelerdeki daha karmaşık uzaysal düzenlemelerle başa çıkma yeteneğini öğretmeyi amaçladı.

3. Aşama’da, model, MSD veri setinden gerçek dünya verisi üzerinde 10.000 iterasyon daha fine-tune edildi. Bu, Matterport3D monocular derinlik tahmini kullanılarak oluşturulan derinlik haritaları kullanılarak gerçekleştirildi.

MSD veri setinden örnekler, gerçek dünya sahnelerinin derinlik ve segmentasyon haritalarına ayrıldığı şekilde. Kaynak: https://arxiv.org/pdf/1908.09101

Eğitim sırasında, metin prompları %20’lik bir eğitim zamanı için atlandı, bu da modelin mevcut derinlik bilgilerini optimum şekilde kullanmasını teşvik etti (yani, bir “maskeli” yaklaşım).

Eğitim, tüm aşamalar için dört NVIDIA A100 GPU’da gerçekleştirildi (VRAM özellikleri sağlanmadı, ancak her kartta 40GB veya 80GB olmalıydı). 4’ü bir GPU başına olan bir toplu iş boyutu üzerinde 1e^-5 öğrenme oranı kullanıldı ve AdamW optimizatörü kullanıldı.

Bu eğitim şeması, modelin sunulan görevlerin zorluğunu artıran bir şekilde ilerlemesini sağlar, daha basit sentetik sahnelerden daha karmaşık kompozisyonlara doğru ilerler ve gerçek dünya verilerine robust genellemeyi geliştirmeyi amaçlar.

Test

Araştırmacılar, MirrorFusion 2.0’ı, önceki state-of-the-art olan MirrorFusion ile karşılaştırdı ve MirrorBenchV2 veri setinde deneyler yaptı. Ek olarak, MSD veri seti ve Google Scanned Objects (GSO) veri setinden örnekler üzerinde nitel testler gerçekleştirdiler.

Değerlendirmede, 2.991 tek nesne görüntüsü ve 300 iki nesne sahnesi kullanıldı. Performans, Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) ve Learned Perceptual Image Patch Similarity (LPIPS) puanları ile ölçüldü. Maskeleme bölgesindeki yansımaların kalitesini değerlendirmek için kullanıldı. CLIP benzerliği, girişteki metin prompları ile uyumu değerlendirmek için kullanıldı.

Nitel testlerde, araştırmacılar, dört farklı tohum için belirli bir prompta göre görüntüler oluşturdu ve en iyi SSIM puanına sahip görüntüyü seçti. İki nicel test sonuçları aşağıdaki tablolarda gösterilir.

Sol: MirrorBenchV2 tek nesne bölümü için nicel sonuçlar. MirrorFusion 2.0, temel modeli aştı, en iyi sonuçlar kalın olarak gösterildi. Sağ: MirrorBenchV2 çoklu nesne bölümü için nicel sonuçlar. Çoğu nesne ile eğitilen MirrorFusion 2.0, çoklu nesne ile eğitilmeyen versiyondan daha iyi sonuçlar elde etti, en iyi sonuçlar kalın olarak gösterildi.

Araştırmacılar yorumlar:

‘Sonuçlar, yöntemimizin temel modeli aştığını ve çoklu nesne ile fine-tuning’in karmaşık sahnelerdeki sonuçları iyileştirdiğini gösterir.’

Sonuçların büyük çoğunluğu ve vurgulananlar, nitel testlerdir. Bu illüstrasyonların boyutları nedeniyle, yalnızca kısmen makaledeki örnekleri yeniden üretebiliriz.

MirrorBenchV2’de karşılaştırma: Temel model, doğru yansımaları ve uzaysal tutarlılığı korumada başarısız oldu, yanlış sandalye yönü ve çoklu nesnelerin bozulmuş yansımaları gösterdi, oysa (yazarlar iddia ettiğine göre) MirrorFusion 2.0, sandalyeyi ve kanepeleri doğru bir şekilde oluşturdu, doğru konum, yön ve yapı ile.

Bu subjektif sonuçlardan, araştırmacılar, temel modelin, yansımalarda nesne yönünü ve uzaysal ilişkileri doğru bir şekilde oluşturamadığını, sıklıkla yanlış döndürme ve “havada asılı” nesneler gibi hatalar ürettğini belirtirler. MirrorFusion 2.0, SynMirrorV2 üzerinde eğitildiğinde, tek nesne ve çoklu nesne sahnelerinde doğru nesne yönünü ve konumunu korur, daha gerçekçi ve tutarlı yansımalar ile sonuçlanır.

Aşağıda, GSO veri setinden bazı sonuçlar görülmektedir:

GSO veri setinde karşılaştırma: Temel model, nesne yapısını yanlış temsil etti ve eksik, bozulmuş yansımalar üretti, oysa (yazarlar iddia ettiğine göre) MirrorFusion 2.0, uzaysal bütünlüğü korur ve gerçek geometri, renk ve ayrıntı üretir, hatta dağıtılmış nesnelerde.

Burada araştırmacılar yorumlar:

‘MirrorFusion 2.0, önemli ölçüde daha gerçekçi ve doğru yansımalar üretir. Örneğin, Şekil 5 (a – yukarıda), MirrorFusion 2.0, çekmece kulplarını (yeşil ile vurgulanan) doğru bir şekilde yansıtır, oysa temel model, inanılmaz bir yansıma üretir (kırmızı ile vurgulanmıştır). ‘

‘Benzer şekilde, “Beyaz-Sarı fincan” için Şekil 5 (b), MirrorFusion 2.0, minimal hatalarla inandırıcı bir geometri sağlar, oysa temel model nesnenin geometrisini ve görünümünü doğru bir şekilde yakalayamaz.’

Son nitel test, gerçek dünya MSD veri seti (kısmi sonuçlar aşağıda gösterilmiştir):

Gerçek dünya sahnelerinden sonuçlar: MirrorFusion, MirrorFusion 2.0 ve MSD veri setinde fine-tune edilen MirrorFusion 2.0. MirrorFusion 2.0, yazarlara göre, karmaşık sahne detaylarını daha doğru bir şekilde yakalar, masa上的 karmaşık nesneleri ve üç boyutlu bir ortam中的 çoklu aynaları içerir.

Burada araştırmacılar gözlemledikleri:

Araştırmacılar, MirrorFusion 2.0’ın, MirrorBenchV2 ve GSO veri setlerinde iyi performans gösterdiğini, ancak MSD veri setindeki karmaşık gerçek dünya sahnelerinde başlangıçta zorluklar yaşadığını belirtirler. Modelin MSD’nin bir alt kümesinde fine-tune edilmesi, karmaşık ortamları ve çoklu aynaları işleme yeteneğini geliştirdi, bu da daha tutarlı ve ayrıntılı yansımalar ile sonuçlandı.

Ek olarak, bir kullanıcı çalışması yapıldı ve %84’ü MirrorFusion 2.0’ın ürettiği görüntüleri temel modelinkine tercih etti.

Kullanıcı çalışması sonuçları.

Kullanıcı çalışmasının ayrıntıları makalenin ek bölümüne bırakıldığı için, bu ayrıntılar için orijinal makaleye başvurmanızı öneririz.

Sonuç

Makaledeki bazı sonuçlar state-of-the-art’ın önemli iyileştirmeleri olsa da, bu özel pursuit’un state-of-the-art’ı o kadar kötüdür ki, incluso bir miktar çaba ile bile birleşik bir çözüm kazanabilir. Diffusion modellerinin temel mimarisi, tutarlı fiziksel yasaları öğrenme ve gösterme konusunda güvenilir bir şekilde engel oluşturur, bu nedenle problem kötü tanımlanmıştır ve açıkça bir çözüm bulunmamaktadır.

Daha fazla veri eklemek, mevcut modellerin eksikliklerini gidermek için zaten standard bir yöntemdir, ancak yukarıda belirtilen tüm dezavantajlarla birlikte gelir. Gelecek yüksek ölçekli veri setlerinin, yansımaya ilişkin veri noktalarının dağılımına ve açıklamalarına daha fazla dikkat etmesi durumunda, bu senaryoyu daha iyi işleyebilecek modeller bekleyebiliriz.

Ancak, LDM çıkışındaki diğer birçok challenge için de aynı durum geçerlidir – hangisinin, bu makalenin yazarlarının önerdiği gibi bir çözüm için gereken çaba ve para en çok hak ettiğini kim söyleyebilir?

İlk olarak 28 Nisan 2025 Pazartesi günü yayımlandı. 29 Nisan Salı: Son paragraflarda dilbilgisi düzeltmeleri yapıldı.