Modele i platformy AI
Zero123++: Model generatywny rozprzestrzeniania z jednego obrazu do spójnych wielowidokowych

Kluczowe punktyZero123++ łączy sześć widoków w jeden obraz, aby zapewnić spójność 3D podczas…
Zobacz więcej
- Zero123++ łączy sześć widoków w jeden obraz, aby zapewnić spójność 3D podczas generowania wielu perspektyw.
- Wprowadza przeskalowane Referencyjne Uwagi (Scaled Reference Attention), aby zachować lokalną teksturę z pojedynczego obrazu wejściowego.
- Model wykorzystuje liniowy harmonogram szumu, aby poprawić globalną strukturę w porównaniu z harmonogramem skali liniowej.
W ostatnich latach generatywne modele AI szybko poprawiły wydajność, sprawność i zdolności twórcze dzięki dużym zbiorom danych oraz technikom generowania dwuwymiarowego opartym na dyfuzji. Potrafią dziś tworzyć tekst, obrazy, filmy, GIF-y i inne treści dwuwymiarowe, a w pewnym zakresie także trójwymiarowe.
W tym artykule omawiamy Zero123++, generatywny model dyfuzyjny warunkowany obrazem, który z pojedynczego widoku tworzy wiele obrazów spójnych w przestrzeni 3D. Różne schematy treningu i warunkowania pozwalają wykorzystać wcześniej wytrenowane modele i ograniczyć nakład potrzebny do dostrojenia gotowych modeli dyfuzyjnych. Przyjrzymy się architekturze, działaniu i wynikom tego rozwiązania.
Zero123 i Zero123++: wprowadzenie
Zero123++ rozwija Zero123, czyli Zero-1-to-3, który zapoczątkował otwartoźródłową konwersję pojedynczego obrazu do 3D poprzez syntezę nowych widoków w trybie zero-shot. Mimo obiecujących wyników artykuł źródłowy wskazuje na widoczne niespójności geometryczne generowanych obrazów, stanowiące przeszkodę między zestawem widoków a spójną sceną 3D.
Na Zero-1-to-3 opierają się między innymi SyncDreamer, One-2-3-45 i Consistent123, dodające warstwy poprawiające zgodność widoków. ProlificDreamer, DreamFusion i DreamGaussian stosują natomiast optymalizację, aby wydestylować reprezentację 3D z niespójnych wyników modeli. Metody te dają zadowalające rezultaty, ale mogłyby korzystać z lepszego modelu bazowego, który już sam generuje zgodne widoki. Dlatego Zero123++ rozwija Zero-1-to-3 i dostraja wielowidokowy model bazowy na podstawie Stable Diffusion.
Zero-1-to-3 generuje każdy nowy widok niezależnie. Losowy charakter próbkowania modeli dyfuzyjnych prowadzi wtedy do niespójności. Zero123++ umieszcza sześć widoków obiektu w siatce na jednym obrazie, aby poprawnie modelować ich rozkład łączny.
Zero-1-to-3 nie wykorzystuje też w pełni możliwości Stable Diffusion, co obniża efektywność i zwiększa koszty. Są ku temu dwa główne powody:
- Podczas treningu warunkowanego obrazem nie wykorzystuje skutecznie lokalnych i globalnych mechanizmów warunkowania Stable Diffusion.
- Stosuje rozdzielczość niższą niż rozdzielczość treningowa Stable Diffusion, co może pogarszać jakość generowanych obrazów.
Zero123++ wprowadza zatem techniki warunkowania pozwalające lepiej wykorzystać zasoby Stable Diffusion i zachować jakość obrazów.
Poprawa warunkowania i spójności
Głównym celem zastosowanych technik jest ponowne wykorzystanie rozwiązań z wcześniej wytrenowanego Stable Diffusion, aby poprawić warunkowanie obrazem i spójność wielu widoków.
Generowanie wielu widoków
Spójność wymaga poprawnego modelowania rozkładu łącznego obrazów. Zero-1-to-3 pomija korelacje między widokami, ponieważ oddzielnie modeluje warunkowy rozkład brzegowy każdego obrazu. Zero123++ łączy sześć obrazów w jedną siatkę, jak pokazano poniżej.

Uczenie na podstawie pozycji kamer wiąże się z niejednoznacznością orientacji obiektu. Zero-1-to-3 korzysta więc z kąta elewacji i azymutu względnego wobec obrazu wejściowego. Trzeba znać elewację tego obrazu, aby ustalić względne położenie nowych widoków. Systemy często dodają moduł jej estymacji, ale może on wprowadzać kolejne błędy do potoku.
Harmonogram szumu
Oryginalny harmonogram scaled-linear w Stable Diffusion koncentruje się na lokalnych szczegółach i obejmuje niewiele kroków o niskim stosunku sygnału do szumu, czyli SNR.

Kroki o niskim SNR występują na początku odszumiania, gdy kształtuje się globalna struktura o niskiej częstotliwości. Ograniczanie ich liczby podczas treningu lub wnioskowania zwiększa zwykle zmienność struktury. Choć jest to odpowiednie przy tworzeniu pojedynczego obrazu, utrudnia zachowanie globalnej zgodności różnych widoków. Autorzy Zero123++ dostroili model LoRA oparty na Stable Diffusion 2 z predykcją v do prostego zadania testowego.

Przy harmonogramie scaled-linear LoRA nie dopasowuje się w pełni do zadania i jedynie nieco rozjaśnia obraz. Przy harmonogramie liniowym skutecznie tworzy pusty obraz niezależnie od promptu. Pokazuje to wpływ harmonogramu szumu na zdolność modelu do dostosowania się do nowych wymagań globalnych.
Skalowana uwaga referencyjna dla warunków lokalnych
Zero-1-to-3 dołącza obraz wejściowy lub warunkujący do zaszumionego wejścia w wymiarze cech. Powoduje to jednak błędną przestrzenną odpowiedniość pikseli między obrazem docelowym a wejściowym.
Zero123++ stosuje skalowaną uwagę referencyjną: odszumiający UNet przetwarza dodatkowy obraz odniesienia, po czym macierze wartości i kluczy mechanizmu self-attention z tego obrazu zostają dołączone do odpowiednich warstw uwagi podczas odszumiania wejścia.

Reference Attention potrafi bez dostrajania kierować model ku obrazom o podobnych teksturach i treści semantycznej jak obraz odniesienia. Dostrojenie z przeskalowaniem reprezentacji latentnej daje lepsze wyniki.

Warunkowanie globalne: FlexDiffuse
W oryginalnym Stable Diffusion źródłem globalnego warunkowania są embeddingi tekstu. CLIP pełni rolę kodera tekstu, a cross-attention łączy embeddingi z reprezentacjami latentnymi modelu. Zgodność przestrzeni obrazowej i tekstowej CLIP pozwala wykorzystać obraz do warunkowania globalnego.
Zero123++ proponuje uczony wariant mechanizmu liniowego prowadzenia, który wprowadza globalne warunkowanie obrazem przy minimalnym dostrajaniu. Bez tego warunkowania widoczne obszary odpowiadające wejściu mają zadowalającą jakość, ale obszary niewidoczne wyraźnie się pogarszają. Model nie potrafi bowiem odtworzyć globalnej semantyki obiektu.

Architektura modelu
Podstawą Zero123++ jest Stable Diffusion 2v. Model trenuje się na Objaverse renderowanym z losowym oświetleniem HDRI. Etapowy harmonogram zaczerpnięty ze Stable Diffusion Image Variations ogranicza wymagane dostrajanie i pozwala zachować jak najwięcej wcześniejszej wiedzy Stable Diffusion.
W pierwszym etapie dostrajane są macierze KV warstw cross-attention oraz warstwy self-attention. Stosuje się optymalizator AdamW, 1000 kroków rozgrzewki i kosinusowy harmonogram współczynnika uczenia o maksimum 7×10−5. Drugi etap wykorzystuje bardzo zachowawczy stały współczynnik uczenia, 2000 kroków rozgrzewki oraz Min-SNR zwiększające efektywność treningu.
Zero123++: wyniki i porównanie wydajności
Ocena jakościowa
Model porównano z SyncDreamer i Zero-1-to-3-XL na czterech różnych wejściach: elektrycznym kocie-zabawce z Objaverse, którego tył jest szczególnie niejednoznaczny; gaśnicy; obrazie psa siedzącego na rakiecie wygenerowanym przez SDXL; oraz ilustracji anime. Elewację oszacowano metodą One-2-3-4-5, a tło usunięto za pomocą SAM. Zero123++ tworzy spójne obrazy wysokiej jakości i dobrze uogólnia na ilustracje 2D oraz obrazy AI spoza domeny treningowej.


Analiza ilościowa
Zero123++, Zero-1-to-3 i Zero-1-to-3-XL porównano na części walidacyjnej Objaverse za pomocą Learned Perceptual Image Patch Similarity (LPIPS). Obrazy referencyjne oraz sześć wygenerowanych widoków ułożono w siatki i obliczono wynik LPIPS. W tym zbiorze walidacyjnym Zero123++ uzyskał najlepszy rezultat.

Ocena generowania wielu widoków z tekstu
Najpierw SDXL tworzy obraz na podstawie promptu tekstowego, a następnie Zero123++ generuje z niego widoki. W przeciwieństwie do Zero-1-to-3, które nie gwarantuje ich spójności, potok tekst→obraz→wiele widoków w Zero123++ daje spójne, realistyczne i szczegółowe obrazy.

Zero123++ Depth ControlNet
Oprócz modelu bazowego udostępniono Depth ControlNet Zero123++, wariant kontrolowany głębią oparty na architekturze ControlNet. Znormalizowane liniowe obrazy głębi renderuje się w powiązaniu z obrazami RGB, a ControlNet uczy się sterować geometrią Zero123++ na podstawie informacji o głębi.

Podsumowanie
Zero123++ jest modelem dyfuzyjnym warunkowanym pojedynczym obrazem, generującym wiele widoków spójnych w 3D. Schematy treningu i warunkowania wykorzystują wcześniejsze modele i zmniejszają nakład dostrajania. Omówione usprawnienia pozwalają osiągać wyniki porównywalne z najlepszymi porównywanymi rozwiązaniami, a nawet je przewyższać.
Nadal istnieją jednak możliwości rozwoju:
- Dwuetapowy model dopracowujący: mógłby pomóc spełnić globalne wymagania spójności, z którymi Zero123++ nadal ma trudności.
- Dalsze zwiększanie skali: mogłoby podnieść jakość generowanych obrazów.












