Memperbaiki Keterbatasan Model Difusi dalam Memahami Cermin dan Refleksi

Sejak kecerdasan buatan mulai menarik perhatian publik, bidang penelitian penglihatan komputer telah memperdalam minatnya dalam mengembangkan model AI yang mampu memahami dan mereplikasi hukum fisik; namun, tantangan mengajar sistem pembelajaran mesin untuk mensimulasikan fenomena seperti gravitasi dan dinamika cairan telah menjadi fokus penelitian selama setidaknya lima tahun terakhir.

Sejak model difusi laten (LDM) mendominasi adegan kecerdasan buatan generatif pada tahun 2022, peneliti telah semakin fokus pada kapasitas arsitektur LDM yang terbatas untuk memahami dan mereproduksi fenomena fisik. Sekarang, masalah ini telah mendapatkan prominen yang lebih besar dengan perkembangan landmark model video generatif OpenAI Sora, dan (arguably) lebih konsekuensial pelepasan model video sumber terbuka Hunyuan Video dan Wan 2.1.

Mempantulkan dengan Buruk

Sebagian besar penelitian yang bertujuan untuk meningkatkan pemahaman LDM tentang fisika telah fokus pada area seperti simulasi gait, fisika partikel, dan aspek lain dari gerak Newton. Area ini telah menarik perhatian karena ketidakakuratan dalam perilaku fisik dasar akan segera melemahkan autentisitas video yang dihasilkan AI.

Namun, sebuah benang penelitian kecil tetapi tumbuh yang fokus pada salah satu kelemahan LDM terbesar – ketidakmampuan relatif untuk menghasilkan refleksi yang akurat.

Dari makalah Januari 2025 ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, contoh ‘kegagalan refleksi’ versus pendekatan peneliti sendiri. Sumber: https://arxiv.org/pdf/2409.14677

Masalah ini juga merupakan tantangan selama era CGI dan tetap menjadi tantangan di bidang permainan video, di mana algoritma ray-tracing mensimulasikan jalur cahaya saat berinteraksi dengan permukaan. Ray-tracing menghitung bagaimana cahaya virtual memantul atau melewati objek untuk menciptakan refleksi, refraksi, dan bayangan yang realistis.

Namun, karena setiap pantulan tambahan secara signifikan meningkatkan biaya komputasi, aplikasi waktu nyata harus mempertukarkan keterlambatan dengan akurasi dengan membatasi jumlah pantulan cahaya yang diizinkan.

Representasi dari berkas cahaya virtual yang dihitung dalam skenario 3D (yaitu, CGI), menggunakan teknologi dan prinsip yang pertama kali dikembangkan pada 1960-an, dan yang mencapai puncaknya antara 1982-93 (rentang antara ‘Tron’ [1982] dan ‘Jurassic Park’ [1993]. Sumber: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

Misalnya, menggambarkan teko krom di depan cermin dapat melibatkan proses ray-tracing di mana cahaya memantul berulang kali antara permukaan reflektif, menciptakan loop hampir tak terhingga dengan sedikit manfaat praktis bagi gambar akhir. Dalam sebagian besar kasus, kedalaman refleksi dua hingga tiga pantulan sudah melebihi apa yang dapat dilihat oleh pemirsa. Satu pantulan akan menghasilkan cermin hitam, karena cahaya harus menyelesaikan setidaknya dua perjalanan untuk membentuk refleksi yang terlihat.

Setiap pantulan tambahan secara tajam meningkatkan biaya komputasi, sering kali menggandakan waktu rendering, membuat penanganan refleksi yang lebih cepat salah satu peluang terbesar untuk meningkatkan kualitas rendering yang menggunakan ray-tracing.

Secara alami, refleksi terjadi, dan penting untuk fotorealisme, dalam skenario yang jauh kurang jelas – seperti permukaan reflektif jalan kota atau medan perang setelah hujan; refleksi jalan lawan di jendela toko atau pintu kaca; atau di kacamata karakter yang digambarkan, di mana objek dan lingkungan mungkin diperlukan untuk muncul.

Refleksi kembar yang disimulasikan melalui kompositing tradisional untuk adegan ikonik di ‘The Matrix’ (1999).

Masalah Gambar

Oleh karena itu, kerangka kerja yang populer sebelum munculnya model difusi, seperti Neural Radiance Fields (NeRF), dan beberapa penantang lebih baru seperti Gaussian Splatting telah mempertahankan perjuangan mereka sendiri untuk mengaktifkan refleksi dengan cara yang alami.

Proyek REF²-NeRF (digambarkan di bawah) mengusulkan metode pemodelan NeRF untuk adegan yang berisi kasus kaca. Dalam metode ini, refraksi dan refleksi dimodelkan menggunakan elemen yang bergantung dan tidak bergantung pada perspektif pemirsa. Pendekatan ini memungkinkan peneliti untuk memperkirakan permukaan di mana refraksi terjadi, khususnya permukaan kaca, dan memungkinkan pemisahan dan pemodelan komponen cahaya langsung dan reflektif.

Contoh dari makalah Ref2Nerf. Sumber: https://arxiv.org/pdf/2311.17116

Penyelesaian refleksi NeRF lainnya selama 4-5 tahun terakhir termasuk NeRFReN, Reflecting Reality, dan proyek Planar Reflection-Aware Neural Radiance Fields Meta 2024.

Untuk GSplat, makalah seperti Mirror-3DGS, Reflective Gaussian Splatting, dan RefGaussian telah menawarkan solusi terkait masalah refleksi, sementara proyek Nero 2023 mengusulkan metode khusus untuk mengintegrasikan kualitas reflektif ke dalam representasi neural.

MirrorVerse

Mendapatkan model difusi untuk menghormati logika refleksi secara argumentatif lebih sulit daripada dengan pendekatan non-semantik yang eksplisit seperti Gaussian Splatting dan NeRF. Dalam model difusi, aturan semacam ini hanya mungkin menjadi terintegrasi dengan andal jika data pelatihan mengandung banyak contoh yang beragam di seluruh berbagai skenario, membuatnya sangat bergantung pada distribusi dan kualitas dataset asli.

Secara tradisional, menambahkan perilaku tertentu dari jenis ini adalah domain LoRA atau fine-tuning model dasar; tetapi ini bukan solusi ideal, karena LoRA cenderung miring output ke arah data pelatihan sendiri, bahkan tanpa prompting, sementara fine-tunes – selain mahal – dapat memisahkan model besar secara tidak dapat diubah dari mainstream, dan menghasilkan sejumlah alat khusus yang tidak akan pernah bekerja dengan model lain apa pun, termasuk yang asli.

Secara umum, meningkatkan model difusi memerlukan data pelatihan untuk memperhatikan lebih banyak fisika refleksi. Namun, banyak area lain juga memerlukan perhatian khusus. Dalam konteks dataset hyperskala, di mana kurasi khusus mahal dan sulit, menangani setiap kelemahan dalam cara ini tidak praktis.

Bagaimanapun, solusi untuk masalah refleksi LDM muncul dari waktu ke waktu. Upaya terbaru, dari India, adalah proyek MirrorVerse, yang menawarkan dataset dan metode pelatihan yang ditingkatkan yang mampu meningkatkan kemajuan saat ini dalam tantangan khusus ini dalam penelitian difusi.

Kanan, hasil dari MirrorVerse dibandingkan dengan dua pendekatan sebelumnya (dua kolom tengah). Sumber: https://arxiv.org/pdf/2504.15397

Seperti yang kita lihat di contoh di atas (gambar fitur di PDF makalah baru), MirrorVerse memperbaiki penawaran terbaru yang menangani masalah yang sama, tetapi jauh dari sempurna.

Di gambar kanan atas, kita lihat bahwa wadah keramik sedikit ke kanan dari tempat mereka seharusnya, dan di gambar di bawah, yang seharusnya tidak menampilkan refleksi cangkir sama sekali, refleksi yang tidak akurat telah dipaksakan ke area kanan, melawan logika sudut reflektif alami.

Oleh karena itu, kita akan melihat metode baru ini tidak hanya karena mungkin mewakili kemajuan saat ini dalam refleksi berbasis difusi, tetapi juga untuk menggambarkan sejauh mana ini mungkin menjadi masalah yang tidak dapat dipecahkan untuk model difusi laten, statis dan video, karena contoh data reflektif yang diperlukan kemungkinan besar akan terjalin dengan tindakan dan skenario tertentu.

Oleh karena itu, fungsi LDM ini mungkin terus gagal memenuhi pendekatan spesifik struktur seperti NeRF, GSplat, dan juga CGI tradisional.

Makalah baru berjudul MirrorVerse: Pushing Diffusion Models to Realistically Reflect the World, dan berasal dari tiga peneliti di Vision and AI Lab, IISc Bangalore, dan Samsung R&D Institute di Bangalore. Makalah ini memiliki halaman proyek terkait, serta dataset di Hugging Face, dengan kode sumber dirilis di GitHub.

Metode

Peneliti mencatat dari awal bahwa model seperti Stable Diffusion dan Flux memiliki kesulitan dalam menghormati prompt berbasis refleksi, menggambarkannya dengan tepat:

Dari makalah: Model text-to-image terkini, SD3.5 dan Flux, menunjukkan tantangan signifikan dalam menghasilkan refleksi yang konsisten dan akurat secara geometris ketika diminta untuk menghasilkan refleksi dalam adegan.

Peneliti telah mengembangkan MirrorFusion 2.0, model generatif berbasis difusi yang bertujuan untuk meningkatkan fotorealisme dan akurasi geometris refleksi cermin dalam citra sintetis. Pelatihan untuk model ini didasarkan pada dataset yang dikurasi oleh peneliti sendiri, yang disebut MirrorGen2, yang dirancang untuk mengatasi kelemahan generalisasi yang diamati dalam pendekatan sebelumnya.

MirrorGen2 memperluas metodologi sebelumnya dengan memperkenalkan penempatan objek acak, rotasi acak, dan penempatan objek eksplisit, dengan tujuan memastikan bahwa refleksi tetap masuk akal di seluruh berbagai pose dan penempatan objek relatif terhadap permukaan cermin.

Skema untuk generasi data sintetis di MirrorVerse: pipa pelatihan dataset mengaplikasikan augmentasi kunci dengan menempatkan, memutar, dan menempatkan objek dalam adegan menggunakan 3D-Positioner. Objek juga dipasangkan dalam kombinasi yang konsisten secara semantik untuk mensimulasikan hubungan spasial yang kompleks dan oklusi, memungkinkan dataset untuk menangkap interaksi yang lebih realistis dalam adegan multi-objek.

Untuk lebih memperkuat kemampuan model untuk menangani pengaturan spasial yang kompleks, pipa MirrorGen2 mengintegrasikan scene objek berpasangan, memungkinkan sistem untuk lebih baik merepresentasikan oklusi dan interaksi antara beberapa elemen dalam pengaturan reflektif.

Makalah ini menyatakan:

‘Kategori dipasangkan secara manual untuk memastikan kohesi semantik – misalnya, memasangkan kursi dengan meja. Selama rendering, setelah menempatkan dan memutar objek utama, objek tambahan dari kategori yang dipasangkan disampel dan diatur untuk mencegah tumpang tindih, memastikan wilayah spasial yang berbeda dalam adegan.’

Dalam hal penempatan objek eksplisit, di sini penulis memastikan bahwa objek yang dihasilkan “dijangkar” ke tanah dalam data sintetis yang dihasilkan, bukan “mengapung” secara tidak tepat, yang dapat terjadi ketika data sintetis dihasilkan dalam skala besar, atau dengan metode yang sangat otomatis.

Since dataset innovation is central to the novelty of the paper, we will proceed earlier than usual to this section of the coverage.

Data dan Pengujian

SynMirrorV2

Dataset SynMirrorV2 peneliti dirancang untuk meningkatkan keanekaragaman dan realisme data pelatihan refleksi cermin, menampilkan objek 3D yang berasal dari Objaverse dan Amazon Berkeley Objects (ABO) dataset, dengan seleksi ini kemudian diperbarui melalui OBJECT 3DIT, serta proses filtering dari proyek MirrorFusion V1, untuk menghilangkan aset berkualitas rendah. Ini menghasilkan kolam objek yang diperbarui sebesar 66.062 objek.

Contoh dari dataset Objaverse, digunakan dalam pembuatan dataset yang dikurasi untuk sistem baru. Sumber: https://arxiv.org/pdf/2212.08051

Konstruksi adegan melibatkan meletakkan objek-objek ini ke lantai bertekstur dari CC-Textures dan latar belakang HDRI dari repository CGI PolyHaven, menggunakan cermin dinding penuh atau tinggi persegi panjang. Pencahayaan distandarisasi dengan area-cahaya yang ditempatkan di atas dan di belakang objek, pada sudut 45 derajat. Objek-objek ini discala untuk muat dalam kubus unit dan ditempatkan menggunakan irisan prakomputasi dari cermin dan frustum pandangan kamera, memastikan visibilitas.

Rotasi acak diterapkan sekitar sumbu-y, dan teknik penempatan digunakan untuk mencegah ‘artefak mengapung’.

Untuk mensimulasikan adegan yang lebih kompleks, dataset ini juga mengintegrasikan beberapa objek yang diatur sesuai dengan pasangan yang konsisten secara semantik berdasarkan kategori ABO. Objek sekunder ditempatkan untuk menghindari tumpang tindih, menciptakan 3.140 adegan multi-objek yang dirancang untuk menangkap oklusi dan hubungan kedalaman yang beragam.

Contoh tampilan yang di-render dari dataset penulis yang berisi beberapa objek (lebih dari dua), dengan ilustrasi segmentasi objek dan visualisasi peta kedalaman yang terlihat di bawah.

Proses Pelatihan

Mengakui bahwa realisme sintetis saja tidak cukup untuk generalisasi yang kuat ke data dunia nyata, peneliti mengembangkan proses pembelajaran kurikulum tiga tahap untuk melatih MirrorFusion 2.0.

Di Tahap 1, penulis menginisialisasi berat dari kedua cabang kondisi dan generasi dengan checkpoint Stable Diffusion v1.5, dan fine-tune model pada split pelatihan objek tunggal dari dataset SynMirrorV2. Tidak seperti proyek Reflecting Reality yang disebutkan sebelumnya, peneliti tidak membekukan cabang generasi. Mereka kemudian melatih model selama 40.000 iterasi.

Di Tahap 2, model diperbarui dengan fine-tune selama 10.000 iterasi tambahan, pada split pelatihan multi-objek dari SynMirrorV2, untuk mengajarkan sistem menangani oklusi dan pengaturan spasial yang lebih kompleks yang ditemukan dalam adegan yang realistis.

Akhirnya, di Tahap 3, dilakukan fine-tune tambahan selama 10.000 iterasi menggunakan data dunia nyata dari dataset MSD, menggunakan peta kedalaman yang dihasilkan oleh Matterport3D estimator kedalaman monokular.

Contoh dari dataset MSD, dengan adegan dunia nyata dianalisis menjadi peta kedalaman dan segmentasi. Sumber: https://arxiv.org/pdf/1908.09101

Selama pelatihan, prompt teks dihilangkan untuk 20 persen waktu pelatihan untuk mendorong model untuk menggunakan informasi kedalaman yang tersedia secara maksimal (yaitu, pendekatan ‘tersembunyi’).

Pelatihan dilakukan pada empat NVIDIA A100 GPU untuk semua tahap (spesifikasi VRAM tidak disediakan, meskipun itu akan menjadi 40GB atau 80GB per kartu). Tingkat pembelajaran 1e^-5 digunakan pada ukuran batch 4 per GPU, di bawah AdamW optimizer.

Skema pelatihan ini secara bertahap meningkatkan kesulitan tugas yang disajikan kepada model, dimulai dengan adegan sintetis yang lebih sederhana dan maju menuju komposisi yang lebih menantang, dengan tujuan mengembangkan kemampuan transfer yang kuat ke data dunia nyata.

Pengujian

Penulis mengevaluasi MirrorFusion 2.0 melawan state-of-the-art sebelumnya, MirrorFusion, yang berfungsi sebagai baseline, dan melakukan eksperimen pada dataset MirrorBenchV2, yang mencakup adegan objek tunggal dan multi-objek.

Pengujian kualitatif tambahan dilakukan pada sampel dari dataset MSD, dan dataset Google Scanned Objects (GSO).

Evaluasi menggunakan 2.991 gambar objek tunggal dari kategori yang terlihat dan tidak terlihat, dan 300 adegan dua objek dari ABO. Kinerja diukur menggunakan Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); dan Learned Perceptual Image Patch Similarity (LPIPS) skor, untuk menilai kualitas refleksi pada daerah cermin yang ditutupi. CLIP similarity digunakan untuk menilai keselarasan teks dengan prompt input.

Di pengujian kuantitatif, penulis menghasilkan gambar menggunakan empat biji untuk prompt tertentu, dan memilih gambar yang dihasilkan dengan skor SSIM terbaik. Dua tabel hasil untuk pengujian kuantitatif ditampilkan di bawah.

Kiri, hasil kuantitatif untuk kualitas generasi refleksi objek tunggal pada split objek tunggal MirrorBenchV2. MirrorFusion 2.0 outperformed baseline, dengan hasil terbaik ditampilkan dalam tebal. Kanan, hasil kuantitatif untuk kualitas generasi refleksi multi-objek pada split multi-objek MirrorBenchV2. MirrorFusion 2.0 yang dilatih dengan objek multi outperformed versi yang dilatih tanpa mereka, dengan hasil terbaik ditampilkan dalam tebal.

Penulis mengomentari:

‘[Hasil] menunjukkan bahwa metode kami outperformed metode baseline dan fine-tuning pada objek multi meningkatkan hasil pada adegan yang kompleks.’

Sebagian besar hasil, dan yang ditekankan oleh penulis, terkait pengujian kualitatif. Karena dimensi ilustrasi ini, kita hanya dapat sebagian mereproduksi contoh makalah.

Perbandingan pada MirrorBenchV2: baseline gagal mempertahankan refleksi yang akurat dan konsistensi spasial, menunjukkan orientasi kursi yang tidak benar dan refleksi objek multi yang terdistorsi, sedangkan (penulis berpendapat) MirrorFusion 2.0 secara akurat merender kursi dan sofa, dengan posisi, orientasi, dan struktur yang akurat.

Dari hasil subjektif ini, penulis berpendapat bahwa model baseline gagal untuk secara akurat merender orientasi objek dan hubungan spasial dalam refleksi, sering menghasilkan artefak seperti rotasi yang tidak benar dan objek mengapung. MirrorFusion 2.0, yang dilatih pada SynMirrorV2, penulis berpendapat, mempertahankan orientasi objek yang benar dan posisi dalam adegan objek tunggal dan multi, menghasilkan refleksi yang lebih realistis dan kohesif.

Di bawah kita lihat hasil kualitatif pada dataset GSO yang disebutkan sebelumnya:

Perbandingan pada dataset GSO. Baseline salah menggambarkan struktur objek dan menghasilkan refleksi yang tidak lengkap dan terdistorsi, sedangkan MirrorFusion 2.0, penulis berpendapat, mempertahankan integritas spasial dan menghasilkan geometri, warna, dan detail yang akurat, bahkan pada objek yang tidak ada dalam dataset.

Di sini penulis mengomentari:

‘MirrorFusion 2.0 menghasilkan refleksi yang jauh lebih akurat dan realistis. Misalnya, pada Fig. 5 (a – atas), MirrorFusion 2.0 secara akurat merefleksikan pegangan lemari (ditandai dengan hijau), sedangkan model baseline menghasilkan refleksi yang tidak masuk akal (ditandai dengan merah).

‘Demikian pula, untuk “mug putih-kuning” pada Fig. 5 (b), MirrorFusion 2.0 menghasilkan geometri yang meyakinkan dengan artefak minimal, tidak seperti baseline, yang gagal untuk secara akurat menangkap geometri dan penampilan objek.’

Pengujian kualitatif terakhir dilakukan melawan dataset MSD dunia nyata (hasil sebagian ditampilkan di bawah):

Hasil adegan dunia nyata yang membandingkan MirrorFusion, MirrorFusion 2.0, dan MirrorFusion 2.0 yang diperbarui pada dataset MSD. MirrorFusion 2.0, penulis berpendapat, menangkap detail adegan yang kompleks dengan lebih akurat, termasuk objek yang berserakan di atas meja, dan kehadiran beberapa cermin dalam lingkungan tiga dimensi. Hanya sebagian hasil yang ditampilkan di sini, karena dimensi ilustrasi dalam makalah asli, yang kami sarankan untuk hasil lengkap dan resolusi yang lebih baik.

Di sini penulis mengamati bahwa sementara MirrorFusion 2.0 berkinerja baik pada data MirrorBenchV2 dan GSO, awalnya ia berjuang dengan adegan dunia nyata yang kompleks dalam dataset MSD. Fine-tuning model pada subset MSD meningkatkan kemampuannya untuk menangani lingkungan yang berserakan dan beberapa cermin, menghasilkan refleksi yang lebih kohesif dan terperinci pada split pengujian yang diadakan.

Tambahan, sebuah studi pengguna dilakukan, di mana 84% pengguna dilaporkan lebih memilih generasi dari MirrorFusion 2.0 daripada metode baseline.

Hasil studi pengguna.

Karena rincian studi pengguna telah ditempatkan di lampiran makalah, kami merujuk pembaca ke sana untuk spesifik studi.

Kesimpulan

Meskipun beberapa hasil yang ditampilkan dalam makalah ini merupakan perbaikan yang mengesankan dari state-of-the-art, state-of-the-art untuk pencarian khusus ini sangat buruk sehingga bahkan solusi agregat yang tidak meyakinkan dapat menang dengan sedikit usaha. Arsitektur dasar model difusi tidak kondusif untuk pembelajaran yang dapat diandalkan dan demonstrasi konsisten fisika, sehingga masalah ini tidak terstruktur dengan baik dan tampaknya tidak condong ke arah solusi yang elegan.

Lebih lanjut, menambahkan data ke model yang ada sudah merupakan metode standar untuk memperbaiki kekurangan kinerja LDM, dengan semua kelemahan yang disebutkan sebelumnya. Masuk akal untuk berasumsi bahwa jika dataset skala tinggi di masa depan lebih memperhatikan distribusi (dan anotasi) data titik refleksi, kita dapat mengharapkan bahwa model yang dihasilkan akan menangani skenario ini dengan lebih baik.

Namun, hal yang sama berlaku untuk banyak bugbear lain dalam output LDM – siapa yang bisa mengatakan mana dari mereka yang paling layak mendapatkan usaha dan biaya yang terlibat dalam solusi yang penulis makalah baru ini usulkan di sini?

Pertama dipublikasikan pada hari Senin, 28 April 2025. Hari Selasa, 29 April: membuat koreksi tata bahasa di paragraf terakhir.