Edycja obiektów z użyciem AI z Google’s Imagic i Runway’s ‘Erase and Replace’

W tym tygodniu dwa nowe, lecz różniące się od siebie algorytmy graficzne napędzane przez sztuczną inteligencję oferują nowe sposoby dla użytkowników końcowych, aby dokonywać drobnych i skutecznych zmian w obiektach na zdjęciach.

Pierwszym z nich jest Imagic, opracowany przez Google Research we współpracy z Instytutem Technologii w Izraelu i Instytutem Naukowym Weizmann. Imagic oferuje edycję warunkowaną tekstem, drobne edycje obiektów za pomocą dostrajania modeli dyfuzji.

Zmien to, co chcesz, i pozostaw resztę – Imagic obiecuje drobne edycje tylko tych części, które chcesz zmienić. Źródło: https://arxiv.org/pdf/2210.09276.pdf

Osoby, które próbowały zmienić tylko jeden element w re-renderze Stable Diffusion, wiedzą zbyt dobrze, że dla każdej udanej edycji system zmieni pięć rzeczy, które lubiły takimi, jakimi były. Jest to wada, która obecnie powoduje, że wielu z najbardziej utalentowanych entuzjastów SD stale przechodzi między Stable Diffusion a Photoshop, aby naprawić tego rodzaju “szkody uboczne”. Z tego punktu widzenia osiągnięcia Imagic wydają się godne uwagi.

Na czas pisania Imagic nie ma nawet promocyjnego filmu, a biorąc pod uwagę ostrożne podejście Google do wydania nieograniczonych narzędzi do syntezy obrazu, nie jest pewne, w jakim stopniu, jeśli w ogóle, będziemy mieli okazję przetestować system.

Drugą ofertą jest Erase and Replace Runway ML, nowa funkcja w sekcji “AI Magic Tools” ich wyłącznie internetowej kolekcji narzędzi wizualnych opartych na uczeniu maszynowym.

Funkcja Erase and Replace Runway ML, już widziana w podglądzie systemu edycji wideo na podstawie tekstu. Źródło: https://www.youtube.com/watch?v=41Qb58ZPO60

Zacznijmy od wersji Runway.

Erase and Replace

Podobnie jak Imagic, Erase and Replace zajmuje się wyłącznie zdjęciami, chociaż Runway zapowiedział tę samą funkcjonalność w rozwiązaniu do edycji wideo na podstawie tekstu, które jeszcze nie zostało wydane:

Chociaż każdy może przetestować nowe Erase and Replace na zdjęciach, wersja wideo nie jest jeszcze dostępna publicznie. Źródło: https://twitter.com/runwayml/status/1568220303808991232

Chociaż Runway ML nie wydał szczegółów na temat technologii za Erase and Replace, szybkość, z jaką można zastąpić roślinę doniczkową rozsądnym bustem Ronalda Reagana, sugeruje, że model dyfuzji, taki jak Stable Diffusion (lub, znacznie mniej prawdopodobne, wykorzystanie DALL-E 2), jest silnikiem, który ponownie tworzy obiekt Twojego wyboru w Erase and Replace.

Zastąpienie rośliny doniczkowej bustem The Gippera nie jest tak szybkie, ale jest dość szybkie. Źródło: https://app.runwayml.com/

System ma pewne ograniczenia, podobne do tych w DALL-E 2 – obrazy lub tekst, które wyzwalają filtry Erase and Replace, spowodują wyświetlenie ostrzeżenia o możliwym zawieszeniu konta w przypadku dalszych naruszeń – praktycznie jest to kopia polityki OpenAI dotyczącej DALL-E 2.

Wiele wyników nie ma typowych szorstkich krawędzi Stable Diffusion. Runway ML są inwestorami i partnerami badawczymi w SD, i możliwe, że mają wytrenowany model, który jest lepszy niż otwarty model 1.4, z którym obecnie walczą inni (ponieważ wiele grup rozwojowych, zarówno hobbystycznych, jak i profesjonalnych, trenuje lub dostraja modele Stable Diffusion).

Zastąpienie domowego stołu ‘stołem z lodu’ w Erase and Replace Runway ML.

Podobnie jak w przypadku Imagic (patrz poniżej), Erase and Replace jest “zorientowany na obiekty” – nie można po prostu usunąć “pustej” części obrazu i wypełnić ją wynikiem Twojego tekstu; w tym przypadku system po prostu śledzi najbliższy widoczny obiekt wzdłuż linii wzroku maski (taki jak ściana lub telewizor) i stosuje tam transformację.

Jak wskazuje nazwa, nie można wstrzyknąć obiektów do pustej przestrzeni w Erase and Replace. Tutaj próba przywołania najbardziej znanego z Sithów skutkuje dziwnym murallem związanym z Vaderem na telewizorze, mniej więcej w miejscu, w którym został narysowany obszar ‘zastąpienia’.

Trudno powiedzieć, czy Erase and Replace unika używania chronionych prawem autorskim obrazów (które nadal są w dużej mierze ograniczone, choć z różnym powodzeniem, w DALL-E 2), czy model używany w silniku renderującym jest po prostu nie zoptymalizowany do tego rodzaju rzeczy.

Lekko niebezpieczny ‘Mural Nicole Kidman’ wskazuje, że (prawdopodobnie) model dyfuzji używany tutaj nie ma systematycznego odrzucania renderowania realistycznych twarzy lub treści wulgarnych, podczas gdy wyniki prób wywołania chronionych prac są różne – od niejasnych (‘xenomorph’) do absurdalnych (‘Żelazny Tron’). W prawym dolnym rogu – zdjęcie źródłowe.

Bardzo byłoby interesujące dowiedzieć się, jakie metody Erase and Replace używa do izolowania obiektów, które może zastąpić. Prawdopodobnie obraz jest przetwarzany przez pewną wersję CLIP, a dyskretne elementy są indywidualizowane przez rozpoznawanie obiektów i późniejszą segmentację semantyczną. Żadna z tych operacji nie działa nawet zbliżenie tak dobrze w zwykłej instalacji Stable Diffusion.

Ale nic nie jest idealne – czasami system wydaje się kasować i nie zastępować, nawet wtedy, gdy (jak widzieliśmy na powyższym obrazie), podstawowy mechanizm renderujący zdecydowanie wie, co oznacza podany tekst. W tym przypadku okazuje się, że niemożliwe jest przekształcenie stołu kawowego w xenomorfa – zamiast tego stół po prostu znika.

Straszniejsza wersja ‘Gdzie jest Wally’, kiedy Erase and Replace nie udaje się wyprodukować obcego.

Erase and Replace wydaje się być skutecznym systemem substytucji obiektów, z doskonałym wypełnianiem. Nie może jednak edytować istniejących postrzeganych obiektów, ale tylko je zastępować. Aby rzeczywiście zmienić istniejącą zawartość obrazu bez uszkodzenia materiału otoczenia, jest to znacznie trudniejsze zadanie, związane z długotrwałymi badaniami w dziedzinie widzenia komputerowego w kierunku rozłączania w różnych przestrzeniach ukrytych popularnych ram.

Imagic

To zadanie jest rozwiązane przez Imagic. Nowy artykuł oferuje wiele przykładów edycji, które pomyślnie modyfikują poszczególne aspekty zdjęcia, pozostawiając resztę obrazu nietkniętą.

W Imagic zmienione obrazy nie cierpią na charakterystyczne rozciąganie, zniekształcenie i ‘occlusion guessing’ charakterystyczne dla kukiełek deepfake, które wykorzystują ograniczone informacje pochodzące z jednego obrazu.

System wykorzystuje trzystopniowy proces – optymalizację osadzania tekstu; dostrajanie modelu; oraz, w końcu, generowanie zmienionego obrazu.

Imagic koduje docelowy tekst, aby pobrać początkowe osadzanie tekstu, a następnie optymalizuje wynik, aby uzyskać obraz wejściowy. Następnie model generatywny jest dostrajany do obrazu źródłowego, dodając szereg parametrów, zanim zostanie poddany żądanej interpolacji.

Nie jest zaskakujące, że ramy są oparte na architekturze text-to-video Google Imagen, chociaż badacze stwierdzają, że zasady systemu są szeroko stosowane do modeli dyfuzji latentnych.

Imagen wykorzystuje trójwarstwową architekturę, a nie siedmiowarstwową tablicę używaną w najnowszej wersji text-to-video oprogramowania. Trzy odrębne moduły składają się z modelu generatywnego dyfuzji działającego z rozdzielczością 64x64px; modelu super-rozdzielczości, który powiększa ten wynik do 256x256px; oraz dodatkowego modelu super-rozdzielczości, który powiększa wynik aż do rozdzielczości 1024×1024.

Imagic interweniuje na najwcześniejszym etapie tego procesu, optymalizując żądane osadzanie tekstu na etapie 64px na statycznym współczynniku uczenia 0,0001.

Mistrzowski kurs rozłączania: ci, którzy próbowali zmienić coś tak prostego, jak kolor obiektu renderowanego w dyfuzji, modelu GAN lub NeRF, wiedzą, jak znaczące jest to, że Imagic może wykonywać takie transformacje bez ‘rozrywania’ spójności reszty obrazu.

Dostrajanie odbywa się na modelu podstawowym Imagen, przez 1500 kroków na obraz wejściowy, warunkowany na zmienionym osadzaniu. W tym samym czasie warstwa wtórna 64px>256px jest optymalizowana równolegle na warunkowanym obrazie. Badacze zauważają, że podobna optymalizacja dla końcowej warstwy 256px>1024px ma “mały lub żaden” wpływ na ostateczne wyniki i dlatego nie zaimplementowali jej.

Artykuł stwierdza, że proces optymalizacji trwa około ośmiu minut dla każdego obrazu na podwójnych chipach TPUV4. Ostateczne renderowanie odbywa się w rdzeniu Imagen pod schematem próbkowania DDIM.

Podobnie jak w przypadku podobnych procesów dostrajania dla DreamBooth Google, wynikające osadzania mogą dodatkowo być używane do stylizacji, a także fotorealistycznych edycji, które zawierają informacje pobrane z szerszej bazy danych, na której opiera się Imagen (ponieważ, jak pokazuje pierwsza kolumna poniżej, obrazy źródłowe nie mają niezbędnej zawartości, aby wykonać te transformacje).

Elastyczne, fotorealistyczne ruchy i edycje mogą być wywołane za pomocą Imagic, a pochodzące i rozłączone kodowanie uzyskane w tym procesie może być równie łatwo używane do stylizowanego wyjścia.

Badacze porównali Imagic do wcześniejszych prac SDEdit, podejścia opartego na GAN z 2021 roku, współpracy między Uniwersytetem Stanforda a Uniwersytetem Carnegie Mellon; oraz Text2Live, współpracy z kwietnia 2022 roku między Instytutem Naukowym Weizmann a NVIDIA.

Porównanie wizualne między Imagic, SDEdit i Text2Live.

Jasne jest, że poprzednie podejścia mają trudności, ale w dolnym rzędzie, który obejmuje wprowadzenie ogromnej zmiany pozy, dotychczasowi liderzy całkowicie zawodzą w odmianie materiału źródłowego, w porównaniu z zauważalnym sukcesem Imagic.

Wymagania dotyczące zasobów i czasu szkolenia Imagic na jeden obraz sprawiają, że jest to mało prawdopodobne, aby został on uwzględniony w lokalnej aplikacji do edycji obrazu na komputerach osobistych – i nie jest jasne, w jakim stopniu proces dostrajania może być skalowany w dół do poziomu konsumenta.

W obecnej formie Imagic jest imponującą ofertą, która jest bardziej odpowiednia dla API – środowiska, w którym Google Research, obawiając się krytyki dotyczącej ułatwiania deepfakingu, może być najbardziej komfortowe.

Pierwotnie opublikowane 18 października 2022.