Hannah (Linan) Zhou, zakládající členka a vedoucí produktu ve společnosti Meshy – rozhovor

Hannah (Linan) Zhou, zakládající členka a vedoucí produktu ve společnosti Meshy, se zaměřuje na vývoj a rozšiřování nástrojů generativní AI pro tvorbu 3D obsahu. V Meshy pomáhá utvářet produktovou strategii společnosti pro spotřebitelské i podnikové aplikace, včetně generování 3D obsahu, agentů AI, rozhraní API pro vývojáře a pracovních postupů navržených tak, aby integrovaly generativní 3D technologie do profesionálních tvůrčích procesů. Zhou svou práci popisuje jako zaměřenou na budování a rozšiřování platformy Meshy pro generativní 3D AI, zejména na zpřístupnění této technologie tvůrcům a současný rozvoj zabezpečení, spolupráce, analytiky a infrastruktury, které potřebují podnikoví zákazníci. V rámci svého vzdělání absolvovala postgraduální studium na Brandeis University se zaměřením na strojové učení, datovou analytiku, jazyky Python a R a business intelligence.

Meshy je platforma pro tvorbu 3D obsahu využívající AI, která má výrazně urychlit a zpřístupnit vytváření 3D objektů připravených k produkčnímu nasazení. Platforma dokáže převádět textové popisy, fotografie, náčrty a konceptuální umění na 3D modely a nabízí také texturování pomocí AI, animaci, automatické rigování, rozhraní API pro vývojáře a konverzační tvorbu 3D obsahu prostřednictvím svého 3D Agenta. Její technologie se využívá v herním průmyslu, 3D tisku, rozšířené a virtuální realitě, produktovém designu, vzdělávání i dalších kreativních odvětvích. Meshy uvádí, že má více než 12 milionů registrovaných uživatelů a že v ní bylo vytvořeno přes 100 milionů modelů; její nástroje využívají týmy významných technologických, herních, designérských a výrobních společností.

Vaše kariéra začala v oblasti auditu a financí, než jste se rozhodla pro zásadní přechod do technologického odvětví a stala se zakládající členkou a vedoucí produktu ve společnosti Meshy. Co vás zpočátku přivedlo ke generativní tvorbě 3D obsahu a jak vaše analytické zázemí ovlivnilo způsob, jakým posuzujete, zda je nová funkce skutečně užitečná, a ne pouze vizuálně působivá?

První část své kariéry jsem strávila v auditu a financích. Naučilo mě to dívat se na podnikání současně z několika úhlů, protože žádné jednotlivé číslo vám neřekne, zda je firma zdravá. Stejně dnes hodnotím produkt. Působivé demo prošlo jedním testem. Než něco vytvoříme, chci, aby to obstálo v několika dalších: přináší to uživateli skutečnou hodnotu, jak velký je trh pro tuto hodnotu, kolik nás stojí její poskytování a stojí za tím zdravý obchodní model? Mnoho vizuálně působivých funkcí v některém z těchto testů neobstojí. Ty, které stojí za to vytvořit, obvykle uspějí ve všech.

K 3D mě přivedlo jednoduché přesvědčení: tvořit ve 3D může každý. Děti stavějí z kostek a modelují z hlíny dávno předtím, než je to někdo učí. Lidi neomezuje nedostatek schopností, ale nástroje. Tradiční tvorba 3D obsahu vyžaduje roky školení v softwaru, který většina lidí nikdy ani neotevřela. Chtěla jsem vytvořit produkt, který tuto překážku odstraní, aby v něm mohlo tvořit ve 3D sedmileté dítě i sedmdesátiletá babička, aniž by k tomu potřebovali jakékoli školení.

Ultra 4K se zaměřuje konkrétně na rozlišení geometrie 4K, nikoli na rozlišení textur. Pro tvůrce, kteří tomuto rozdílu nemusí hned rozumět, proč se zvyšování skutečné fyzické detailnosti generovaného povrchu stalo tak důležitou hranicí pokroku v oblasti 3D obsahu generovaného pomocí AI?

Geometrie a textura plní odlišné funkce. Geometrie určuje skutečný povrch objektu, zatímco textura popisuje jeho vizuální vzhled. Textura může naznačovat šupiny, švy nebo rytinu, skutečná geometrie však mění siluetu, přirozeně reaguje na světlo, vrhá stíny a zůstává součástí sítě při sochařských, renderovacích i 3D tiskových pracovních postupech.

V posledních několika letech dosáhlo odvětví výrazného pokroku v oblasti celkové struktury a zarovnání. Tyto problémy ještě nejsou vyřešené, ale s tím, jak se zlepšuje základní úroveň, tvůrci přirozeně obracejí pozornost k detailům. Otázkou už není jen to, zda má model správný celkový tvar, ale také zda jsou v geometrii skutečně přítomné detaily, které mu dodávají charakter – rytina na brnění, šupiny na tvorovi nebo švy na řemínku.

Pro tvůrce je to důležité, protože každý chybějící detail znamená další ruční práci v navazujících fázích. Ultra 4K má zlepšit kvalitu výchozího bodu, aby umělci mohli méně času věnovat obnovování základní struktury povrchu a více času dolaďování objektu podle vlastních tvůrčích záměrů.

Meshy uvádí, že závažné strukturální nedostatky, jako jsou deformované siluety nebo nadbytečné končetiny, se objevují méně často, a jemnější geometrické detaily tak patří k jedněm z nejobtížnějších dosud nevyřešených problémů. Jaké technické překážky ztěžují generativním modelům vytváření prvků, jako jsou šupiny, záhyby, rytiny a vyřezávané povrchy?

Jemné geometrické prvky se obtížně vytvářejí, protože jsou mnohem menší než celý objekt. Model může správně chápat siluetu draka, a přesto nezachytit strukturu jednotlivých šupin, nebo vytvořit kus brnění, ale přitom zahladit jeho ryté linie.

Při vytváření 3D objektu z 2D obrázku je navíc nevyhnutelná určitá nejednoznačnost. Barevný vzor může představovat barvu, texturu, stín nebo vystouplý fyzický prvek. Model musí rozhodnout, které vizuální signály se mají převést na skutečnou geometrii, a poté tyto struktury konzistentně rekonstruovat po celém povrchu.

A konečně, detaily musí zůstat zachované v celém procesu. Generování ve vysokém rozlišení, převod na síť a její zjednodušování musí zachovat významné prvky, aniž by je proměnily v šum nebo vedly ke zbytečně vysokému počtu polygonů. Výzvou je vytvořit detaily, které jsou soudržné a užitečné pro tvůrce, nejen přidat další variace na povrchu.

Jaké změny v zákulisí umožnily Ultra 4K a týkaly se největší pokroky základního modelu, trénovacích dat, rekonstrukčních technik, inferenční pipeline, nebo způsobu, jakým Meshy reprezentuje 3D geometrii?

Ultra 4K vzniklo díky vylepšením napříč celou geometrickou pipeline, nikoli díky jediné izolované změně. Škálovali jsme geometrickou reprezentaci Meshy a základní generativní model z rozlišení 2048³ na 4096³ a následně jsme tento posun spojili s přesným převodem na síť a jejím zjednodušováním, aby se vyšší rozlišení promítlo do smysluplné struktury povrchu, nikoli jen do vyššího počtu polygonů.

V tomto měřítku model pracuje v prostoru obsahujícím miliardy voxelů. Nezpracovaná síť Ultra 4K může před zjednodušením obsahovat až 80 milionů trojúhelníků, takže fáze převodu na síť a jejího zjednodušování jsou zásadní pro zachování jemných detailů a zároveň vytvoření modelu, se kterým mohou tvůrci pracovat.

Ultra 4K nyní podporuje generování z jediného pohledu, zatímco Ultra 2K je k dispozici pro pracovní postupy s jedním i více pohledy. Podpora více pohledů pro Ultra 4K bude následovat, jakmile dosáhne stejné úrovně kvality.

Meshy používá vykreslování normál ve více rozlišeních, aby změřilo, kolik geometrické struktury se zachová v různých měřítkách, aniž by se spoléhalo na textury. Proč jste zvolili tuto metodu vyhodnocování a co odhalí, co může běžným vizuálním srovnáním nebo geometrickým benchmarkům uniknout?

Pokud se tvrzení týká konkrétně geometrie, potřebujeme metodu vyhodnocování, která posuzuje samotný povrch. Textury, materiály, osvětlení a následné zpracování mohou způsobit, že relativně plochý povrch působí velmi detailně, zatímco samotný počet polygonů neříká, zda tyto polygony tvoří smysluplnou strukturu.

V našem benchmarku Detail Richness vykreslujeme každý model z několika směrů pohledu při pevně stanovených rozlišeních obrazovky a měříme, jaká část viditelného povrchu obsahuje změny orientace v rámci jednoho pixelu. Při nižším rozlišení vykreslení metrika zachycuje širší strukturu; při vyšším rozlišení je citlivá na jemnější prvky, jako jsou hřebeny, stehy, šupiny a rytiny.

Používáme také vstupní data s bohatými strukturálními detaily, ale jednoduchými texturami, což omezuje nejednoznačnost mezi malovaným vzhledem a fyzickou podobou. Díky tomu můžeme cíleně odpovědět na jednu otázku: kolik smysluplné geometrické struktury se zachovalo v různých měřítkách? Tato metrika neměří zarovnání, topologii, hladkost, kvalitu textur ani možnost úprav, proto ji prezentujeme jako jednu část širšího rámce vyhodnocování, nikoli jako úplné měřítko kvality modelu.

Testování při uvedení na trh ukázalo, že Ultra 4K vytvářelo více geometrických detailů než ostatní testované přední systémy, přičemž Meshy pečlivě rozlišuje mezi geometrickými detaily, zarovnáním, topologií, hladkostí, kvalitou textur a možností úprav. Jak by měl obor přistupovat k vyhodnocování 3D modelů generovaných umělou inteligencí, když žádný jednotlivý benchmark nedokáže zachytit celkovou kvalitu modelu?

Myslíme si, že 3D modely generované umělou inteligencí by se měly vyhodnocovat z hlediska jednotlivých vlastností a v kontextu zamýšleného pracovního postupu. Záleží na geometrických detailech, zarovnání s obrazovou předlohou, topologii, hladkosti povrchu, kvalitě textur, možnosti úprav i rychlosti generování, jejich důležitost se však mění podle úkolu. Výchozí bod pro digitální sochařství, herní rekvizita pro použití v reálném čase a model určený k 3D tisku nemají stejnou definici toho, co je „nejlepší“.

To znamená, že benchmarky musí jasně uvádět, co měří. Při posuzování geometrie jsou nezbytné vykreslené modely bez textur nebo ve vzhledu jílu a kontrola zblízka; u zarovnání s obrazovou předlohou by se vyhodnocení mělo zaměřit na to, zda tvary a části odpovídají předloze; a při posuzování připravenosti pro produkci je třeba testovat také topologii, rigging, úpravy a výkonnostní omezení.

Domníváme se také, že vyhodnocování má být transparentní, reprodukovatelné a opatřené časovým údajem. Modely se rychle vyvíjejí, takže benchmark představuje momentální snímek, nikoli trvalé pořadí. Dlouhodobým cílem oboru by měla být sada otevřených, vícerozměrných metod vyhodnocování, které mohou tvůrci a nezávislí výzkumníci reprodukovat a používat podle svých vlastních pracovních postupů.

Zdá se, že Ultra 4K je zaměřeno především na digitální sochařství, filmové rekvizity, sběratelské figurky, detailní postavy a hlavní assety. Jak blízko jsou dnes modely generované umělou inteligencí tomu, aby je bylo možné bez rozsáhlých ručních úprav přímo začlenit do profesionálních pracovních postupů v Blenderu, ZBrushi, Maye nebo Unreal Enginu?

Modely generované umělou inteligencí jsou užitečné i v profesionálních nástrojích, ale to, nakolik jsou připravené k přímému použití, závisí na konkrétním modelu a pracovním postupu.

Při hledání konceptů, tvorbě návrhových předloh a u některých statických modelů nebo modelů do pozadí mohou generované modely zkrátit cestu od nápadu k upravitelnému výchozímu 3D modelu. Umělci je mohou importovat do Blenderu, ZBrushe, Mayi nebo Unreal Enginu a začít vyhodnocovat tvar, kompozici a detaily mnohem dříve, než kdyby začínali v prázdné scéně.

U hlavních modelů, rigovaných postav a dalších náročných produkčních projektů je stále běžná další příprava. Topologii může být potřeba přizpůsobit deformacím nebo výkonnostním limitům v reálném čase; materiály a textury mohou vyžadovat úpravy podle konkrétního pracovního postupu; konečné výtvarné řešení pak zůstává tvůrčím rozhodnutím umělce. Rozsah potřebných úprav se výrazně liší podle modelu a jeho zamýšleného použití.

Ultra 4K zlepšuje jednu důležitou část předání: kvalitu geometrického základu. Pokud už síť obsahuje záhyby, rytiny, šupiny a další prvky, mohou umělci věnovat méně času obnově struktury povrchu a více času dolaďování modelu pro jeho zamýšlené použití. Vnímáme to jako významný pokrok směrem k připravenosti pro produkci — nejde o vyřazení umělců z procesu, ale o lepší základ pro jejich práci.

Meshy nyní nabízí režimy Standard, Ultra 2K a Ultra 4K, místo aby nejvyšší rozlišení považovalo za výchozí volbu. Jak podle vás vyvažovat rychlost generování, výpočetní náklady, věrnost geometrie a skutečnou úroveň kvality, kterou konkrétní tvůrčí úkol vyžaduje?

Tyto tři režimy jsou navrženy pro různé fáze práce a různá cílová použití, nikoli jako jednoduchá škála od dobrého přes lepší po nejlepší.

Režim Standard klade důraz na rychlost a iteraci. Hodí se pro počáteční průzkum, testování kompozice a modely, které zůstanou na obrazovce malé. Ultra 2K nabízí rovnováhu mezi věrností a flexibilitou a podporuje generování z jednoho i více pohledů. Ultra 4K je určen pro případy, kdy je pro model zásadní geometrická struktura v malém měřítku — například u předloh pro sochařské zpracování, sběratelských figurek, rekvizit zobrazovaných zblízka nebo detailních postav.

Správná volba závisí na tom, k čemu bude model určen. Pozadová rekvizita pro mobilní hru a sběratelská figurka nevyužijí stejné rozlišení ani stejný polygonový rozpočet. Vyšší rozlišení vyžaduje více výpočetního výkonu, takže užitečná otázka nezní „Který režim má nejvyšší rozlišení?“, ale „Který režim tomuto úkolu přinese viditelný přínos?“

Praktický pracovní postup spočívá v tom, že nejprve prozkoumáte téma a kompozici v režimu Standard nebo Ultra 2K a potom použijete Ultra 4K pro nejslibnější variantu, pokud jsou pro konečný výsledek důležité jemné geometrické detaily. Iterace tak zůstává rychlá a generování s nejvyšší věrností se využije tam, kde tvůrci rozdíl skutečně uvidí a využijí.

Ultra 4K pracuje s geometrickým rozlišením 4096³ a nezjednodušené sítě mohou dosahovat až 80 milionů trojúhelníků. Takový rozsah je přínosný, pokud si ho model žádá, naším produktovým principem je však poskytnout tvůrcům odpovídající úroveň kvality a kontroly v každé fázi — nikoli nastavit maximální výpočetní výkon jako výchozí volbu.

Jak se geometrie stává stále detailnější, stávají se topologie a možnost úprav dalšími zásadními úzkými místy? Co je ještě potřeba udělat, aby profesionální umělci mohli vysoce detailní modely generované umělou inteligencí upravovat, rigovat, animovat a optimalizovat stejně snadno jako modely vytvořené tradičními postupy?

Ano, topologie a možnost úprav patří k nejkonkrétnějším blízkým výzvám. Profesionální rigování vyžaduje vedení hran, které kopíruje anatomii a klouby, hustotu polygonů umožňující předvídatelnou deformaci a sítě splňující omezení cílového enginu nebo renderovacího programu. Sítě generované umělou inteligencí mohou obsahovat bohaté povrchové detaily, ale zatím nedokážou tyto produkční standardy dodržovat konzistentně. U mnoha animačních postupů musí umělci před samotným rigováním stále provést retopologii.

Stejný problém se týká i úprav. Hustá generovaná síť může být skvělá pro věrné zobrazení nebo sochařské zpracování, ale její struktura nemusí vždy umožňovat operace, jako je výběr čistých smyček hran, přidávání přesně vedených řezů, změna proporcí nebo příprava na deformaci. Větší sémantická a procedurální kontrola — tedy možnost změnit návrhové rozhodnutí místo ručního přepracovávání povrchu — by generované modely výrazně zpružnila.

Protože topologie předchází rigování, skinningu, blend shapům a fyzikálním simulacím, mohl by pokrok v této oblasti zlepšit celý produkční proces. Existují dvě vzájemně se doplňující cesty: modely pro generování se mohou naučit vytvářet geometrii lépe přizpůsobenou produkčním požadavkům a automatizované následné zpracování může převádět detailní sítě na topologii určenou pro konkrétní úkol. Nejužitečnější řešení možná spojí obě cesty a zachová vizuální detaily, které tvůrci chtějí, a zároveň síť přizpůsobí pracovnímu postupu, který skutečně používají.

Když pomineme Ultra 4K, co podle vás představuje další zásadní mezník v generativním 3D: ještě vyšší geometrickou věrnost, lepší topologii, konzistentní scény s více objekty, modely připravené pro animaci, lepší fyzikální porozumění, nebo nakonec modely schopné generovat celé interaktivní 3D světy?

Geometrická věrnost se bude dál zlepšovat, ale nemyslím si, že právě to je další zásadní mezník. Tím jsou modely, které obstojí při skutečném použití, aniž by je musel člověk opravovat. Pro uživatele 3D tisku to znamená model, který lze připravit ve sliceru, vytisknout a který hned napoprvé získá požadovaný tvar. Pro herní tým to znamená čistou topologii, smysluplně rozdělené části a správné UV mapy, aby bylo možné model rigovat bez nutnosti retopologie. Dnes jsou generované modely skvělým výchozím bodem. Zásadní mezník nastane, až výchozím bodem přestanou být.

Poté si myslím, že největší změnou nebude další schopnost modelu, ale to, kdo bude práci vykonávat. Dnes mezi modelem a výsledkem stále stojí člověk: vybírá nástroj, opravuje síť a kontroluje, zda půjde model vytisknout nebo zda vyhoví rozpočtu enginu. Dalším krokem je agent, který zvládne celý úkol od začátku do konce. Popíšete, co chcete a k čemu to má sloužit, a systém naplánuje jednotlivé kroky, spustí nástroje, zkontroluje vlastní výstup podle stanoveného cíle a vrátí se k vám už jen kvůli kreativním rozhodnutím, která náleží vám. Interaktivní světy jsou přirozeným pokračováním, budou se však vytvářet z assetů, které se nejprve musí stát spolehlivými. Naším posláním je proměnit každý nápad ve 3D realitu a realita znamená něco, co člověk může vytisknout, použít ve hře nebo nasadit.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více, mohou navštívit Meshy.