Edycja obrazów z wykorzystaniem Gaussian Splatting

Nowa współpraca między badaczami z Polski i Wielkiej Brytanii proponuje perspektywę wykorzystania Gaussian Splatting do edycji obrazów, poprzez tymczasowe interpretowanie wybranego fragmentu obrazu w przestrzeni 3D, umożliwiając użytkownikowi modyfikację i manipulację 3D reprezentacją obrazu, a następnie aplikowanie transformacji.

Aby zmienić orientację głowy kota, odpowiedni fragment jest przenoszony do przestrzeni 3D za pomocą Gaussian Splatting, a następnie manipulowany przez użytkownika. Modyfikacja jest następnie aplikowana. Proces jest analogiczny do różnych technik modalnych w oprogramowaniu Adobe, które blokują interfejs aż do zakończenia bieżącego złożonego procesu. Źródło: https://github.com/waczjoan/MiraGe/

Ponieważ element Gaussian Splat jest tymczasowo reprezentowany przez siatkę trójkątów, a chwilowo wchodzi w stan “CGI”, silnik fizyczny zintegrowany z procesem może interpretować naturalny ruch, albo w celu zmiany stanu statycznego obiektu, albo w celu wygenerowania animacji.

Silnik fizyczny zintegrowany z nowym systemem MiraGe może wykonywać naturalne interpretacje ruchu fizycznego, albo w celu animacji, albo w celu modyfikacji statycznych obrazu.

W procesie nie jest zaangażowany żaden generatywny AI, co oznacza, że nie są używane Latent Diffusion Models (LDMs), w przeciwieństwie do systemu Firefly firmy Adobe, który jest szkolony na Adobe Stock (dawniej Fotolia).

System – nazwany MiraGe – interpretuje wybory w przestrzeni 3D i wnioskuje geometrię, tworząc obraz lustrzany wyboru, a następnie przybliżając współrzędne 3D, które mogą być uwzględnione w Splat, który następnie interpretuje obraz w siatkę.

Kliknij, aby odtworzyć. Dalsze przykłady elementów, które zostały zmienione ręcznie przez użytkownika systemu MiraGe lub poddane deformacji opartej na fizyce.

Autorzy porównali system MiraGe z poprzednimi podejściami i stwierdzili, że osiąga on najlepsze wyniki w zadaniu docelowym.

Użytkownicy systemu modelowania zBrush będą znali ten proces, ponieważ zBrush pozwala użytkownikowi na praktycznie ‘spłaszczyć’ model 3D i dodać szczegóły 2D, zachowując podstawową siatkę, a następnie interpretując nowe szczegóły w niej – ‘zamrożenie’, które jest przeciwieństwem metody MiraGe, która działa bardziej jak Firefly lub inne techniki manipulacji modalnych, takie jak zniekształcenie lub grube interpretacje 3D.

Parametryzowane Gaussian Splats pozwalają MiraGe na tworzenie wysokiej jakości rekonstrukcji wybranych obszarów 2D obrazu i aplikowanie fizyki ciał miękkich do tymczasowo 3D wyboru.

Artykuł stwierdza:

‘[My] wprowadzamy model, który koduje obrazy 2D, symulując ludzką interpretację. Konkretnie, nasz model postrzega obraz 2D, jak człowiek postrzega fotografię lub arkusz papieru, traktując go jako płaski obiekt w przestrzeni 3D.

‘To podejście pozwala na intuicyjną i elastyczną edycję obrazu, ujmując nuansy percepcji ludzkiej, jednocześnie umożliwiając złożone transformacje.’

Nowy artykuł nowy artykuł nosi tytuł MiraGe: Edytowalne obrazy 2D z wykorzystaniem Gaussian Splatting i pochodzi od czterech autorów z Uniwersytetu Jagiellońskiego w Krakowie i Uniwersytetu w Cambridge. Pełny kod systemu został opublikowany na GitHub.

Zobaczmy, jak badacze podejęli wyzwanie.

Metoda

Podejście MiraGe wykorzystuje Gaussian Mesh Splatting (GaMeS) parametryzację, technikę opracowaną przez grupę, w której skład wchodzą dwaj autorzy nowego artykułu. GaMeS pozwala Gaussian Splatom być interpretowanym jako tradycyjne siatki CGI, a następnie poddawanym standardowemu zakresowi technik zniekształcania i modyfikacji, które społeczność CGI rozwinęła przez ostatnie kilka dekad.

MiraGe interpretuje ‘płaskie’ Gaussowskie, w przestrzeni 2D, i wykorzystuje GaMeS do ‘przeniesienia’ zawartości do przestrzeni 3D, tymczasowo.

Każdy płaski Gaussowski jest reprezentowany jako trzy punkty w chmurze trójkątów, nazywanej ‘zupą trójkątów’, otwierając się na manipulację. Źródło: https://arxiv.org/pdf/2410.01521

Widzimy w lewym dolnym rogu powyższego obrazu, że MiraGe tworzy ‘lustrzane’ obrazy fragmentu obrazu do interpretacji.

Autorzy stwierdzają:

‘[My] zastosowaliśmy nowe podejście, wykorzystując dwie przeciwstawne kamery umieszczone wzdłuż osi Y, symetrycznie wyrównane wokół pochodzenia i skierowane ku sobie. Pierwsza kamera jest odpowiedzialna za odtworzenie oryginalnego obrazu, podczas gdy druga modeluje odbicie lustrzane.

‘Fotografia jest więc postrzegana jako przezroczysty arkusz papieru, osadzony w kontekście przestrzennym 3D. Odbicie może być skutecznie reprezentowane przez poziome odwrócenie [obrazu].

‘To ustawienie kamery lustrzanej poprawia wierność generowanych odbić, zapewniając solidne rozwiązanie dla dokładnego uchwycenia elementów wizualnych.’

Artykuł zauważa, że MiraGe może korzystać z zewnętrznych silników fizycznych, takich jak te dostępne w Blenderze, lub w Taichi_Elements.

Dane i testy

Do oceny jakości obrazu w testach przeprowadzonych dla MiraGe, wykorzystano stosunek sygnału do szumu (SNR) i MS-SIM metryki.

Zestawy danych wykorzystane to Kodak Lossless True Color Image Suite i DIV2K walidacyjny zestaw. Rozdzielczości tych zestawów danych odpowiadały porównaniu z najbliższą poprzednią pracą, Gaussian Image. Inne rywalizujące ramy, które zostały przetestowane, to SIREN, WIRE, NVIDIA’s Instant Neural Graphics Primitives (I-NGP) i NeuRBF.

Eksperymenty odbywały się na laptopie NVIDIA GEFORCE RTX 4070 i na NVIDIA RTX 2080.

MiraGe oferuje najlepsze wyniki w porównaniu z wybranymi poprzednimi ramami, zgodnie z wynikami przedstawionymi w nowym artykule.

Z tych wyników autorzy stwierdzają:

‘Widzimy, że nasza propozycja przewyższa poprzednie rozwiązania w obu zestawach danych. Jakość mierzona obiema metrykami pokazuje znaczną poprawę w porównaniu z wszystkimi poprzednimi podejściami.’

Wnioski

Adaptacja MiraGe 2D Gaussian Splatting jest wyraźnie nowym i niepewnym podejściem do tego, co może okazać się bardzo interesującą alternatywą dla kaprysów i wyobrażeń używania modeli dyfuzyjnych do modyfikacji obrazu (tj. za pomocą Firefly i innych API-opartych modeli dyfuzyjnych, oraz za pomocą otwartych architektur, takich jak Stable Diffusion i Flux).

Chociaż istnieje wiele modeli dyfuzyjnych, które mogą wprowadzać niewielkie zmiany w obrazach, LDM są ograniczone przez ich semantyczne i często ‘nadmiernie wyobrażone’ podejście do żądania użytkownika dotyczącego modyfikacji.

Dlatego też możliwość tymczasowego przeniesienia części obrazu do przestrzeni 3D, manipulacji nim i ponownego umieszczenia go w obrazie, przy użyciu tylko oryginalnego obrazu jako odniesienia, wydaje się zadaniem, do którego Gaussian Splatting może być dobrze dostosowany w przyszłości.

* Istnieje pewne zamieszanie w artykule, w tym, że cytowany jest ‘Amorphous-Mirage’ jako najbardziej skuteczna i zdolna metoda, pomimo tendencji do wytwarzania niepożądanych Gaussowskich (artefaktów), podczas gdy argumentuje się, że ‘Graphite-Mirage’ jest bardziej elastyczny. Wydaje się, że Amorphous-Mirage osiąga najlepsze szczegóły, a Graphite-Mirage najlepszą elastyczność. Ponieważ obie metody są przedstawione w artykule, z ich różnymi zaletami i wadami, preferencja autorów, jeśli taka istnieje, nie jest jasna w tym momencie.

Pierwotnie opublikowano w czwartek, 3 października 2024