Gauss Splatting ile Resim Düzenleme

Polonya ve İngiltere’deki araştırmacılar arasındaki yeni bir işbirliği, Gauss Splatting kullanarak resim düzenleme olasılığını öneriyor. Bu, seçilen resim bölümünü geçici olarak 3D uzaya yorumlayarak, kullanıcıya 3D temsilini değiştirme ve manipüle etme izni verir ve ardından dönüşümü uygular.

Kedinin başının yönünü değiştirmek için ilgili bölüm, Gauss Splatting aracılığıyla 3D uzaya taşınır ve ardından kullanıcı tarafından manipüle edilir. Değişiklik daha sonra uygulanır. Süreç, Adobe yazılımındaki çeşitli modal tekniklerine benzer. Kaynak: https://github.com/waczjoan/MiraGe/

Gauss Splat elemanı geçici olarak üçgenlerin bir.mesh’i tarafından temsil edilir ve anlık olarak ‘CGI durumuna’ girer, bu nedenle işlemin içine entegre edilen bir fizik motoru doğal hareketi yorumlayabilir, ya statik bir nesnenin durumunu değiştirmek için ya da bir animasyon üretmek için.

Yeni MiraGe sistemi içindeki bir fizik motoru, animasyonlar veya resimdeki statik değişiklikler için fiziksel hareketin doğal yorumlarını gerçekleştirebilir.

Sürecin içinde geeniratif AI yoktur, yani Latent Diffusion Modelleri (LDM’ler) dahil değildir, Adobe’nin Firefly sistemi gibi, bu sistem Adobe Stock’a (eski adıyla Fotolia) eğitimli.

Sistem – MiraGe olarak adlandırılır – seçimleri 3D uzaya yorumlar ve bir ayna görüntüsü oluşturarak geometriyi çıkarır ve 3D koordinatlarını bir Splat içinde gömülebilir, daha sonra resimi bir mesh’e dönüştürür.

Oynatmak için tıklayın. MiraGe sistemi tarafından değiştirilen veya fizik tabanlı deformasyona tabi tutulan unsurların daha fazla örneği.

Yazarlar, MiraGe sistemini önceki yaklaşımlarla karşılaştırdı ve hedef görevde state-of-the-art performans elde ettiğini buldu.

zBrush modelleme sisteminin kullanıcıları, bu süreci tanıyacaktır, çünkü zBrush, temel mesh’i korurken 3D modeli esasen ‘düzleştirmeye ve 2D ayrıntı eklemeye izin verir – MiraGe yönteminin tersi, Firefly veya diğer Photoshop tarzı modal manipülasyonlara benzer.

Parametreli Gauss Splats, MiraGe’ye 2D resimdeki seçilen alanların yüksek kaliteli yeniden yapılarını oluşturma ve geçici olarak 3D seçime yumuşak gövde fiziklerini uygulama izni verir.

Makalede denir ki:

‘[Biz] insan yorumunu simüle ederek 2D resimleri kodlayan bir modeli tanıtıyoruz. Özellikle, modelimiz bir 2D resmini bir fotoğraf veya bir kağıt parçası olarak insan gibi görür, onu 3D uzay中的 bir nesne olarak ele alır.

‘Bu yaklaşım, insan algılarının nüanslarını yakalayarak karmaşık dönüşümleri ermögileyen sezgisel ve esnek resim düzenleme sağlar.’

Yeni makale MiraGe: Gauss Splatting kullanarak Düzenlenebilir 2D Resimler olarak adlandırılır ve Jagiellonian Üniversitesi ve Cambridge Üniversitesi’nden dört yazar tarafından gelir. Sistem için tam kod GitHub’da yayınlandı.

Araştırmacıların bu zorluğu nasıl ele aldığını görelim.

Yöntem

MiraGe yaklaşımı, Gauss Mesh Splatting (GaMeS) parametrelemesini kullanır, bu teknik yeni makalenin yazarları arasında yer alan bir grup tarafından geliştirilmiştir. GaMeS, Gauss Splats’ın geleneksel CGI mesh’leri olarak yorumlanmasını ve standart savaşma ve değişiklik tekniklerine tabi olmasını sağlar.

MiraGe, ‘düz’ Gaussları 2D uzayda yorumlar ve GaMeS’i kullanarak içeriği GSplat etkin 3D uzaya ‘çekmeye’ izin verir, geçici olarak.

Her düz Gauss, üçgenlerin bir ‘çorba’sı olarak temsil edilir, bu da resmin yorumlanmasına izin verir. Kaynak: https://arxiv.org/pdf/2410.01521

Üstteki resmin sol alt köşesinde görebileceğimiz gibi, MiraGe seçilen resim bölümünün ‘ayna’ görüntüsünü oluşturur.

Yazarlar diyor ki:

‘[Biz] iki karşıt kamerayı, Y ekseninde simetrik olarak hizalayarak ve birbirlerine doğru yönlendirerek kullanıyoruz. İlk kamera orijinal resmi yeniden oluştururken, ikinci kamera ayna yansımalarını modellemektedir. Fotoğraf, böylece 3D uzaysal bağlam中的 bir şeffaf kağıt parçası olarak kavramlaştırılır. Yansıma, resmin yatay olarak çevrilmesi ile etkili bir şekilde temsil edilebilir.

‘Bu ayna-kamera kurulumu, görsel öğelerin doğru bir şekilde yakalanmasını sağlayan güçlü bir çözüm sunar.’

Makale, MiraGe’nin dış fizik motorlarını kullanabileceğini belirtir, Örneğin Blender’de veya Taichi_Elements’de bulunanlar.

Veri ve Testler

MiraGe için yapılan testlerde resim kalitesi değerlendirmeleri için Sinyal-Gürültü Oranı (SNR) ve MS-SIM metrikleri kullanıldı.

Kullanılan veri setleri Kodak Lossless True Color Image Suite ve DIV2K doğrulama seti. Bu veri setlerinin çözünürlükleri, Gaussian Image ile karşılaştırma için en yakın önceki çalışmayla uyumlu.

Deneyler, bir NVIDIA GEFORCE RTX 4070 dizüstü bilgisayarda ve bir NVIDIA RTX 2080’de yapıldı.

MiraGe, seçilen önceki çerçevelere karşı state-of-the-art sonuçlar sunar, yeni makaledeki sonuçlara göre.

Bu sonuçlardan, yazarlar diyor ki:

‘Gördüğümüz gibi, önerimiz her iki veri setinde önceki çözümleri aşmaktadır. Her iki metrik tarafından ölçülen kalite, tüm önceki yaklaşımlara kıyasla önemli bir iyileşme gösterir.’

Sonuç

MiraGe’nin 2D Gauss Splatting’i uyarlaması, resim değişiklikleri için difüzyon modellerinin belirsizliklerine ve keyfiyetine karşı çok ilginç bir alternatif olabilecek bir girişimin başlangıcı gibi görünüyor.

Resimlerde küçük değişiklikler yapabilen birçok difüzyon modeli olmasına rağmen, LDM’ler, genellikle metin tabanlı bir kullanıcı isteğinin semantik ve souvent ‘hayal gücüne’ dayalı yaklaşımı ile sınırlıdır.

Bu nedenle, bir resmin bir bölümünü geçici olarak 3D uzaya çekmek, manipüle etmek ve sadece kaynak resmini referans olarak kullanarak orijinal resme geri koymak, Gauss Splatting’in gelecekte uygun olabileceği bir görev gibi görünüyor.

* Makalede bazı karışıklıklar vardır, ‘Amorphous-Mirage’ yönteminin en etkili ve yetenekli method olduğunu cita eder, ancak ‘tear’ veya rift artefaktlarına eğilimini de tartışır, ‘Graphite-Mirage’ yönteminin daha esnek olduğunu savunur. Görünüyor ki Amorphous-Mirage en iyi ayrıntıları elde eder ve Graphite-Mirage en iyi esnekliği sağlar. Her iki yöntem de makalede sunulmuştur, çeşitli güçleri ve zayıflıkları ile, yazarların tercihi, eğer varsa, şu anda açık değildir.

İlk olarak 3 Ekim 2024 Perşembe günü yayınlandı.