Hannah (Linan) Zhou, członkini zespołu założycielskiego i dyrektorka ds. produktu w Meshy – cykl wywiadów

Hannah (Linan) Zhou, członkini zespołu założycielskiego i dyrektorka ds. produktu w Meshy, odpowiada za rozwój produktów i koncentruje się na tworzeniu oraz skalowaniu narzędzi opartych na generatywnej sztucznej inteligencji do tworzenia treści 3D. W Meshy współtworzy strategię produktową firmy, obejmującą rozwiązania dla klientów indywidualnych i biznesowych, w tym generowanie obiektów 3D, agentów AI, interfejsy API dla deweloperów oraz przepływy pracy, które umożliwiają włączenie generatywnego 3D do profesjonalnych procesów twórczych. Zhou opisywała swoją pracę jako skupioną na tworzeniu i skalowaniu platformy Meshy do generowania treści 3D z wykorzystaniem sztucznej inteligencji. Szczególny nacisk kładzie na udostępnianie tej technologii twórcom, a zarazem rozwijanie zabezpieczeń, narzędzi do współpracy, analiz i infrastruktury potrzebnych klientom biznesowym. Jej wykształcenie obejmuje studia magisterskie na Brandeis University, poświęcone uczeniu maszynowemu, analityce danych, językom Python i R oraz analizie biznesowej.

Meshy to platforma do tworzenia treści 3D wspomagana przez sztuczną inteligencję, która ma znacznie przyspieszać i ułatwiać tworzenie zasobów 3D gotowych do wykorzystania w produkcji. Umożliwia przekształcanie opisów tekstowych, fotografii, szkiców i grafik koncepcyjnych w modele 3D, a ponadto oferuje teksturowanie i animowanie z użyciem AI, automatyczne rigowanie, interfejsy API dla deweloperów oraz konwersacyjne tworzenie obiektów 3D za pośrednictwem 3D Agent. Technologia Meshy znajduje zastosowanie w branży gier, druku 3D, rzeczywistości rozszerzonej i wirtualnej, projektowaniu produktów, edukacji oraz innych sektorach kreatywnych. Meshy podaje, że z platformy zarejestrowało się ponad 12 milionów użytkowników, którzy utworzyli przeszło 100 milionów modeli. Z jej narzędzi korzystają zespoły z czołowych firm technologicznych, gamingowych, projektowych i produkcyjnych.

Karierę zawodową rozpoczęła Pani w audycie i finansach, a następnie dokonała dużej zmiany zawodowej, przechodząc do branży technologicznej i dołączając do zespołu założycielskiego Meshy jako dyrektorka ds. produktu. Co początkowo zainteresowało Panią generatywnym 3D i jak analityczne wykształcenie wpływa na to, w jaki sposób ocenia Pani, czy nowa funkcja jest naprawdę przydatna, a nie tylko efektowna wizualnie?

Pierwszą część kariery spędziłam w audycie i finansach. Nauczyło mnie to patrzeć na firmę z kilku perspektyw jednocześnie, bo żadna pojedyncza liczba nie mówi, czy firma jest w dobrej kondycji. Tak właśnie oceniam dziś produkty. Imponująca prezentacja produktu to zaliczony jeden test. Zanim coś zbudujemy, chcę, żeby rozwiązanie przeszło kilka testów: czy tworzy realną wartość dla użytkownika, jak duży jest rynek na tę wartość, ile kosztuje nas jej dostarczenie i czy stoi za tym solidny model biznesowy. Wiele efektownych wizualnie funkcji nie przechodzi jednego z tych testów. Te, które warto rozwijać, zazwyczaj zdają je wszystkie.

Do świata 3D przyciągnęło mnie proste przekonanie: każdy może tworzyć w 3D. Dzieci budują z klocków i lepią z gliny na długo przed tym, zanim ktokolwiek je tego nauczy. Ludzi powstrzymują nie brak umiejętności, lecz narzędzia. Tradycyjne tworzenie w 3D wymaga lat nauki obsługi oprogramowania, którego większość osób nigdy nawet nie uruchomiła. Chciałam stworzyć produkt, który usuwa tę barierę, tak aby zarówno siedmiolatek, jak i siedemdziesięcioletnia babcia mogli tworzyć w 3D bez takiego przygotowania.

Ultra 4K koncentruje się konkretnie na rozdzielczości geometrii 4K, a nie na rozdzielczości tekstur. Dlaczego zwiększanie rzeczywistej ilości detali fizycznych generowanej powierzchni stało się tak ważnym obszarem rozwoju generatywnego 3D, zwłaszcza że twórcom może nie być od razu łatwo zrozumieć tę różnicę?

Geometria i tekstura pełnią różne funkcje. Geometria określa rzeczywistą powierzchnię zasobu, a tekstura opisuje jego wygląd. Tekstura może sugerować łuski, ściegi lub grawerunek, ale rzeczywista geometria zmienia sylwetkę, naturalnie reaguje na światło, rzuca cienie i pozostaje częścią siatki w procesach rzeźbienia, renderowania oraz druku 3D.

W ciągu ostatnich kilku lat branża poczyniła znaczne postępy w odwzorowywaniu ogólnej struktury i dopasowaniu elementów. Te problemy nie zostały jeszcze rozwiązane, ale wraz z poprawą podstawowej jakości twórcy naturalnie zaczynają przyglądać się szczegółom. Pytanie nie dotyczy już wyłącznie tego, czy model ma odpowiedni ogólny kształt, lecz także tego, czy geometria rzeczywiście zawiera detale nadające mu charakter — grawerunek na zbroi, łuski na stworzeniu czy ściegi na pasku.

Ma to znaczenie dla twórców, ponieważ każdy brakujący detal oznacza później dodatkową ręczną pracę. Ultra 4K ma podnieść jakość punktu wyjścia, tak aby artyści mogli poświęcać mniej czasu na odtwarzanie podstawowej struktury powierzchni, a więcej na dopracowywanie zasobu zgodnie z własnymi celami twórczymi.

Meshy podkreśla, że poważne błędy strukturalne, takie jak zniekształcone sylwetki czy dodatkowe kończyny, występują coraz rzadziej, przez co jednym z trudniejszych nierozwiązanych problemów pozostaje odwzorowanie drobnych detali geometrycznych. Jakie wyzwania techniczne sprawiają, że cechy takie jak łuski, fałdy, grawerunki i rzeźbione powierzchnie są szczególnie trudne do wygenerowania przez modele?

Drobne detale geometryczne są trudne do wygenerowania, ponieważ występują w znacznie mniejszej skali niż cały obiekt. Model może rozpoznawać sylwetkę smoka, a mimo to nie odwzorować struktury każdej łuski. Może też odtworzyć fragment zbroi, jednocześnie wygładzając wyryte na niej linie.

Generowanie obiektów 3D na podstawie obrazu 2D wiąże się również z nieodłączną niejednoznacznością. Kolorowy wzór może oznaczać farbę, teksturę, cień albo fizyczne wypukłości. Model musi ustalić, które sygnały wizualne powinny znaleźć odzwierciedlenie w rzeczywistej geometrii, a następnie spójnie odtworzyć te struktury na całej powierzchni.

Na koniec szczegóły muszą przetrwać cały proces. Generowanie w wysokiej rozdzielczości, ekstrakcja siatki i jej upraszczanie muszą zachowywać istotne cechy, nie zamieniając ich w szum ani nie zwiększając niepotrzebnie liczby wielokątów. Wyzwaniem jest uzyskanie szczegółów, które będą spójne i przydatne twórcom, a nie tylko zwiększą zróżnicowanie powierzchni.

Jakie zmiany wprowadzono pod maską, by umożliwić działanie Ultra 4K, i czy najważniejsze usprawnienia dotyczyły podstawowego modelu, danych treningowych, technik rekonstrukcji, procesu wnioskowania czy sposobu, w jaki Meshy reprezentuje geometrię 3D?

Ultra 4K powstało dzięki usprawnieniom w całym procesie przetwarzania geometrii, a nie jednej odizolowanej zmianie. Zwiększyliśmy rozdzielczość reprezentacji geometrii i bazowej architektury generowania Meshy z 2048³ do 4096³, a następnie połączyliśmy to z precyzyjną ekstrakcją siatki i jej upraszczaniem, tak aby dodatkowa rozdzielczość przekładała się na istotną strukturę powierzchni, a nie tylko większą liczbę wielokątów.

W tej skali model działa w przestrzeni obejmującej miliardy wokseli. Nieuproszczona siatka Ultra 4K może zawierać do 80 milionów trójkątów, dlatego etapy ekstrakcji i upraszczania mają kluczowe znaczenie dla zachowania drobnych szczegółów przy jednoczesnym uzyskaniu zasobu, z którym twórcy mogą pracować.

Ultra 4K obsługuje obecnie generowanie z jednego ujęcia, natomiast Ultra 2K jest dostępne zarówno w procesach pracy z jednym ujęciem, jak i z wieloma ujęciami. Obsługa wielu ujęć w Ultra 4K zostanie dodana, gdy rozwiązanie osiągnie ten sam poziom jakości.

Meshy wykorzystuje wielorozdzielcze renderowanie map normalnych, aby mierzyć, jaka część struktury geometrycznej zostaje zachowana w różnych skalach, bez polegania na teksturach. Dlaczego wybraliście tę metodę oceny i co pozwala ona dostrzec, co może umknąć przy tradycyjnych porównaniach wizualnych lub testach geometrii?

Gdy twierdzenie dotyczy konkretnie geometrii, potrzebujemy metody oceny, która pozwala wyizolować samą powierzchnię. Tekstury, materiały, oświetlenie i obróbka końcowa mogą sprawić, że stosunkowo płaska powierzchnia będzie wyglądać na bardzo szczegółową, a sama liczba wielokątów nie mówi nam, czy odwzorowują one istotną strukturę.

W naszym teście Detail Richness każdy model jest renderowany z wielu kierunków obserwacji, w ustalonych rozdzielczościach obrazu, a następnie mierzymy, jaka część widocznej powierzchni wykazuje zmiany orientacji w obrębie piksela. Przy niższych rozdzielczościach renderowania wskaźnik rejestruje ogólniejszą strukturę; przy wyższych staje się wrażliwy na drobniejsze cechy, takie jak grzbiety, szwy, łuski i ryty.

Korzystamy również z danych wejściowych o bogatej strukturze, ale prostych teksturach, co zmniejsza niejednoznaczność między wyglądem namalowanym a fizyczną formą. Dzięki temu możemy odpowiedzieć na konkretne pytanie: jaka część istotnej struktury geometrycznej została zachowana w różnych skalach? Metoda nie mierzy zgodności z obrazem, topologii, gładkości, jakości tekstur ani możliwości edycji, dlatego przedstawiamy ją jako jeden z elementów szerszych ram oceny, a nie całościową miarę jakości zasobu.

Testy przeprowadzone podczas premiery wykazały, że Ultra 4K generowało więcej szczegółów geometrycznych niż inne testowane wiodące systemy, a Meshy starannie odróżnia szczegółowość geometrii od zgodności z obrazem, topologii, gładkości, jakości tekstur i możliwości edycji. Jak branża powinna podchodzić do oceny treści 3D generowanych przez AI, skoro żaden pojedynczy test nie odzwierciedla całościowej jakości zasobu?

Uważamy, że treści 3D generowane przez AI należy oceniać pod kątem poszczególnych wymiarów i w kontekście docelowego procesu pracy. Znaczenie mają szczegółowość geometrii, zgodność z obrazem, topologia, gładkość powierzchni, jakość tekstur, możliwość edycji i szybkość generowania, ale ich waga zależy od zadania. Model wyjściowy do rzeźbienia cyfrowego, element otoczenia do gry działającej w czasie rzeczywistym i model przeznaczony do druku 3D nie są oceniane według tej samej definicji „najlepszego”.

Oznacza to, że testy powinny jasno określać, co mierzą. W przypadku twierdzeń dotyczących geometrii niezbędne są renderingi bez tekstur lub w stylu glinianego modelu oraz dokładna inspekcja; przy ocenie zgodności z obrazem należy sprawdzać, czy formy i elementy odpowiadają materiałowi referencyjnemu; natomiast przy ocenie gotowości do produkcji trzeba również testować topologię, rigowanie, edycję i ograniczenia wydajnościowe.

Uważamy również, że ocena powinna być przejrzysta, odtwarzalna i opatrzona datą. Modele szybko się zmieniają, dlatego test jest obrazem stanu na dany moment, a nie stałym rankingiem. Długofalowym celem branży powinien być zestaw otwartych, wielowymiarowych metod oceny, które twórcy i niezależni badacze będą mogli odtwarzać i stosować zgodnie z własnymi procesami pracy.

Ultra 4K wydaje się przeznaczone przede wszystkim do rzeźbienia cyfrowego, rekwizytów filmowych, figurek kolekcjonerskich, szczegółowych postaci i zasobów pierwszoplanowych. Na ile zasoby generowane przez AI są już gotowe do bezpośredniego wykorzystania w profesjonalnych procesach pracy w Blenderze, ZBrushu, Mayi lub Unreal Engine, bez konieczności znacznych ręcznych poprawek?

Zasoby generowane przez AI są już przydatne w profesjonalnych narzędziach, ale to, na ile nadają się do „bezpośredniego wykorzystania”, zależy od zasobu i procesu pracy.

Przy opracowywaniu koncepcji, tworzeniu materiałów referencyjnych i pracy nad niektórymi nieruchomymi elementami lub elementami tła modele generowane przez AI mogą skrócić drogę od pomysłu do edytowalnego modelu 3D stanowiącego punkt wyjścia. Artyści mogą zaimportować je do Blendera, ZBrusha, Mayi lub Unreal Engine i znacznie wcześniej zacząć oceniać formę, kompozycję i szczegóły, niż gdyby rozpoczynali pracę od pustej sceny.

W przypadku kluczowych elementów, postaci z przygotowanym szkieletem oraz innych wymagających zadań produkcyjnych nadal często potrzebne są dodatkowe przygotowania. Topologię może być trzeba dostosować do deformacji lub ograniczeń związanych z działaniem w czasie rzeczywistym; materiały i tekstury mogą wymagać zmian odpowiednich dla danego procesu pracy; ostateczny kierunek artystyczny pozostaje zaś decyzją twórczą artysty. Zakres niezbędnych poprawek znacząco różni się w zależności od zasobu i jego przeznaczenia.

Ultra 4K usprawnia jeden istotny element tego przekazania: jakość geometrycznej podstawy. Jeśli siatka zawiera już fałdy, grawerunki, łuski i inne detale, artyści mogą poświęcić mniej czasu na odtwarzanie struktury powierzchni, a więcej na dopracowanie zasobu z myślą o jego docelowym zastosowaniu. Uważamy to za istotny krok w stronę gotowości do produkcji — nie za odsunięcie artystów od procesu, lecz za zapewnienie im lepszej podstawy do pracy.

Meshy oferuje teraz tryby Standard, Ultra 2K i Ultra 4K, zamiast domyślnie zakładać maksymalną rozdzielczość. Jak postrzegasz kompromis między szybkością generowania, kosztami obliczeń, wiernością geometryczną a poziomem jakości rzeczywiście wymaganym przez konkretne zadanie kreatywne?

Te trzy tryby przeznaczone są do różnych etapów pracy i zastosowań, a nie do prostego uszeregowania od najlepszego do najgorszego.

Standard stawia na szybkość i możliwość szybkiego wprowadzania kolejnych zmian. Sprawdza się na wczesnym etapie poszukiwań, przy testowaniu kompozycji i w przypadku zasobów, które pozostaną niewielkie na ekranie. Ultra 2K zapewnia równowagę między wiernością a elastycznością; umożliwia generowanie zarówno z jednego widoku, jak i z wielu widoków. Ultra 4K jest przeznaczony do zastosowań, w których kluczowe znaczenie dla zasobu mają drobne detale geometryczne — na przykład przy tworzeniu modeli referencyjnych do rzeźbienia, figurek kolekcjonerskich, rekwizytów pokazywanych w zbliżeniu lub szczegółowych postaci.

Właściwy wybór zależy od przeznaczenia zasobu. Rekwizyt będący tłem w grze mobilnej i figurka kolekcjonerska nie wymagają tej samej rozdzielczości ani budżetu wielokątów. Wyższa rozdzielczość wymaga większej mocy obliczeniowej, dlatego warto pytać nie: „Który tryb oferuje maksymalną jakość?”, lecz: „Który tryb przyniesie widoczną korzyść w tym zadaniu?”

Praktyczny sposób pracy polega na eksplorowaniu tematu i kompozycji w trybie Standard lub Ultra 2K, a następnie użyciu Ultra 4K do wygenerowania najlepszego kandydata, jeśli drobne detale geometryczne mają znaczenie dla efektu końcowego. Dzięki temu iteracje przebiegają szybko, a generowanie z najwyższą wiernością wykorzystuje się tam, gdzie twórcy rzeczywiście dostrzegą różnicę i z niej skorzystają.

Ultra 4K działa w rozdzielczości geometrycznej 4096³, a surowe siatki mogą mieć przed uproszczeniem nawet 80 milionów trójkątów. Taka skala jest cenna, gdy wymaga jej dany zasób, ale naszą zasadą przy tworzeniu produktu jest zapewnienie twórcom odpowiedniej jakości i kontroli na każdym etapie — a nie domyślne wykorzystywanie maksymalnej mocy obliczeniowej.

W miarę wzrostu szczegółowości geometrii, czy topologia i możliwość edycji stają się kolejnymi poważnymi wąskimi gardłami? Jakich prac potrzeba jeszcze, by profesjonalni artyści mogli równie łatwo modyfikować, rigować, animować i optymalizować bardzo szczegółowe modele generowane przez AI, jak zasoby tworzone tradycyjnymi metodami?

Tak, topologia i możliwość edycji należą do najbardziej konkretnych wyzwań, z którymi trzeba się zmierzyć w najbliższej przyszłości. Profesjonalny rigging wymaga przebiegu krawędzi zgodnego z anatomią i układem stawów, gęstości wielokątów zapewniającej przewidywalne deformacje oraz siatek spełniających wymagania docelowego silnika lub renderera. Siatki generowane przez AI mogą zawierać bogate detale powierzchni, ale na razie nie tworzą konsekwentnie geometrii zgodnej ze standardami produkcyjnymi. W wielu procesach animacji artyści nadal muszą najpierw przeprowadzić retopologię, zanim na dobre rozpoczną rigging.

Ten sam problem dotyczy edycji. Gęsta siatka wygenerowana przez model może świetnie sprawdzać się pod względem wierności wizualnej lub podczas rzeźbienia, ale nie zawsze ma strukturę ułatwiającą takie czynności jak zaznaczanie regularnych pętli krawędzi, dodawanie kontrolowanych cięć, zmienianie proporcji czy przygotowanie do deformacji. Większa kontrola semantyczna i proceduralna — możliwość zmiany decyzji projektowej zamiast ręcznego przerabiania powierzchni — znacznie zwiększyłaby elastyczność generowanych zasobów.

Ponieważ topologia stanowi podstawę riggingu, skinningu, blend shape’ów i symulacji fizycznych, postępy w tej dziedzinie mogą usprawnić cały proces produkcyjny. Istnieją dwie uzupełniające się drogi: modele generujące mogą nauczyć się tworzyć geometrię lepiej dostosowaną do wymagań produkcji, a automatyczne przetwarzanie końcowe może przekształcać szczegółowe siatki w topologię dopasowaną do konkretnego zadania. Najlepsze rozwiązanie może łączyć oba podejścia, zachowując pożądane przez twórców detale wizualne i jednocześnie dostosowując siatkę do używanego przez nich procesu pracy.

Wybiegając myślą poza Ultra 4K, jaki Twoim zdaniem będzie kolejny ważny przełom w generatywnym 3D: jeszcze większa wierność geometryczna, lepsza topologia, spójne sceny z wieloma obiektami, zasoby gotowe do animacji, lepsze rozumienie właściwości fizycznych czy w końcu modele zdolne generować kompletne, interaktywne światy 3D?

Wierność geometryczna będzie nadal rosnąć, ale nie sądzę, by to właśnie ona stanowiła kolejny przełom. Będą nim zasoby, które sprawdzają się w rzeczywistym użyciu bez konieczności ręcznych poprawek. Dla użytkownika drukarki 3D oznacza to model, który można pokroić w slicerze i wydrukować, uzyskując za pierwszym razem oczekiwany kształt. Dla zespołu tworzącego grę oznacza to czystą topologię, sensowny podział na części i prawidłowe mapy UV, dzięki którym zasób będzie można zrigować bez wcześniejszej retopologii. Obecnie generowane zasoby stanowią doskonały punkt wyjścia. Przełom nastąpi wtedy, gdy przestaną nim być.

Potem największą zmianą będzie, moim zdaniem, nie kolejna możliwość modelu, lecz to, kto wykonuje pracę. Dziś między modelem a rezultatem wciąż stoi człowiek: wybiera narzędzie, poprawia siatkę i sprawdza, czy model da się wydrukować albo czy zmieści się w budżecie silnika. Kolejnym krokiem jest agent, który wykona zadanie od początku do końca. Opisujesz, czego chcesz i do czego ma to służyć, a system planuje kolejne działania, uruchamia narzędzia, sprawdza, czy wynik odpowiada temu celowi, i zwraca się do ciebie tylko w sprawie decyzji kreatywnych, które należą do ciebie. Interaktywne światy są naturalnym kolejnym etapem, ale będą tworzone z zasobów, które najpierw muszą stać się niezawodne. Naszą misją jest urzeczywistniać każdy pomysł w 3D, a rzeczywistość oznacza coś, co można wydrukować, wykorzystać w grze lub opublikować.

Dziękujemy za świetny wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Meshy.