Hannah (Linan) Zhou, grunnleggende medlem og produktsjef i Meshy – intervjuserie

Hannah (Linan) Zhou, grunnleggende medlem og produktsjef i Meshy, er en produktleder med fokus på å utvikle og skalere generative KI-verktøy for 3D-innhold. I Meshy bidrar hun til å utforme selskapets produktstrategi for både forbruker- og bedriftsrettede løsninger, blant annet 3D-generering, KI-agenter, utvikler-API-er og arbeidsflyter som er utviklet for å integrere generativ 3D i profesjonelle kreative prosesser. Zhou har beskrevet arbeidet sitt som konsentrert om å utvikle og skalere Meshys plattform for generativ 3D-KI, med særlig vekt på å gjøre teknologien tilgjengelig for kreative brukere, samtidig som hun utvikler sikkerhets-, samarbeids-, analyse- og infrastrukturløsningene bedriftskundene trenger. Bakgrunnen hennes omfatter studier på høyere nivå ved Brandeis University med fokus på maskinlæring, dataanalyse, Python, R og virksomhetsinnsikt.

Meshy er en KI-drevet plattform for 3D-innholdsproduksjon som skal gjøre det betydelig raskere og enklere å lage produksjonsklare 3D-ressurser. Plattformen kan gjøre tekstbeskrivelser, fotografier, skisser og konseptkunst om til 3D-modeller, og tilbyr også KI-basert teksturering, animasjon, automatisk rigging, utvikler-API-er og samtalebasert 3D-produksjon gjennom 3D Agent. Teknologien brukes innen spill, 3D-printing, utvidet og virtuell virkelighet, produktdesign, utdanning og andre kreative bransjer. Meshy oppgir at plattformen har mer enn 12 millioner registrerte brukere, og at det er laget over 100 millioner modeller. Verktøyene brukes av team hos store teknologi-, spill-, design- og produksjonsselskaper.

Karrieren din begynte innen revisjon og finans før du tok et stort sprang inn i teknologibransjen og ble et av grunnleggerne og produktsjef i Meshy. Hva var det som først tiltrakk deg ved generativ 3D, og hvordan har den analytiske bakgrunnen din påvirket måten du vurderer om en ny funksjon faktisk er nyttig, og ikke bare ser imponerende ut?

Jeg tilbrakte den første delen av karrieren min innen revisjon og finans, og det lærte meg å se en virksomhet fra flere vinkler samtidig, fordi ikke ett enkelt tall kan fortelle deg om den er sunn. Slik vurderer jeg produkter i dag. En imponerende demonstrasjon har bestått én prøve. Før vi bygger noe, vil jeg at det skal bestå flere: Skaper det reell verdi for brukeren? Hvor stort er markedet for denne verdien? Hva koster det oss å levere den, og finnes det en sunn forretningsmodell bak? Mange visuelt slående funksjoner stryker på én av disse prøvene. De som er verdt å bygge, består som regel alle.

Det som tiltrakk meg ved 3D, er en enkel overbevisning: Alle kan skape i 3D. Barn bygger ting av klosser og leire lenge før noen lærer dem hvordan. Det som hindrer folk, er ikke evnene deres, men verktøyene. Tradisjonell 3D-produksjon krever årevis med opplæring i programvare de fleste aldri har åpnet. Jeg ønsket å lage et produkt som fjerner denne terskelen, slik at både en sjuåring og en sytti år gammel bestemor kan lage noe i 3D uten slik opplæring.

Ultra 4K handler spesifikt om geometrioppløsning i 4K, ikke teksturopløsning. For skapere som kanskje ikke umiddelbart forstår forskjellen: Hvorfor har det blitt så viktig for KI-generert 3D å øke de faktiske fysiske detaljene på en generert overflate?

Geometri og tekstur gjør forskjellige jobber. Geometrien definerer selve overflaten på en ressurs, mens teksturen beskriver hvordan den ser ut. En tekstur kan gi inntrykk av skjell, sømmer eller en gravering, men ekte geometri endrer silhuetten, reagerer naturlig på lys, kaster skygger og forblir en del av nettet i arbeidsflyter for skulptering, rendering og 3D-printing.

De siste årene har bransjen gjort store fremskritt når det gjelder overordnet struktur og justering. Disse utfordringene er ikke løst, men etter hvert som grunnnivået blir bedre, ser skapere naturlig nok nærmere etter. Spørsmålet er ikke lenger bare om modellen har riktig form sett under ett, men om detaljene som gir den særpreg – graveringen på rustningen, skjellene på et fabeldyr eller sømmene på en rem – faktisk finnes i geometrien.

Dette er viktig for skapere fordi hver manglende detalj fører til manuelt arbeid senere i prosessen. Ultra 4K er utviklet for å heve kvaliteten på utgangspunktet, slik at kunstnere kan bruke mindre tid på å bygge opp grunnleggende overflatestruktur på nytt og mer tid på å videreutvikle ressursen ut fra sine egne kreative mål.

Meshy mener at store strukturelle feil, som ødelagte silhuetter eller ekstra lemmer, har blitt mindre vanlige, slik at finere geometriske detaljer er blant de vanskeligste gjenværende utfordringene. Hvilke tekniske utfordringer gjør trekk som skjell, folder, graveringer og utskårne overflater spesielt vanskelige for generative modeller?

Fine geometriske detaljer er vanskelige fordi de er mye mindre enn objektet som helhet. En modell kan forstå silhuetten til en drage, men likevel overse strukturen i hvert enkelt skjell, eller gjengi et rustningsstykke, men glatte bort de graverte linjene.

Det er også en iboende tvetydighet ved å generere 3D fra et 2D-bilde. Et fargemønster kan forestille maling, tekstur, en skygge eller en fysisk forhøyning. Modellen må avgjøre hvilke visuelle signaler som skal bli til faktisk geometri, og deretter rekonstruere strukturene på en konsekvent måte over hele overflaten.

Til slutt må detaljene bevares gjennom hele prosessen. Generering i høy oppløsning, meshuttrekking og forenkling må ta vare på meningsfulle trekk uten å gjøre dem om til støy eller føre til unødvendig høy polygonmengde. Utfordringen er å skape detaljer som er sammenhengende og nyttige for dem som lager innhold, ikke bare mer variasjon på overflaten.

Hva ble endret under panseret for å gjøre Ultra 4K mulig, og var de største fremskrittene knyttet til den underliggende modellen, treningsdataene, rekonstruksjonsteknikkene, inferenspipelinen eller måten Meshy representerer 3D-geometri på?

Ultra 4K ble mulig gjennom forbedringer i hele geometripipelinen, ikke én enkeltstående endring. Vi skalerte Meshys geometrirepresentasjon og genereringsgrunnmodell fra 2048³ til 4096³, og kombinerte dette med meshuttrekking og forenkling med høy presisjon. Slik blir den økte oppløsningen til meningsfull overflatestruktur, i stedet for bare et høyere antall polygoner.

I denne skalaen arbeider modellen i et rom som inneholder milliarder av voxler. En rå Ultra 4K-mesh kan inneholde opptil 80 millioner trekanter før forenkling, så uttrekkings- og forenklingsfasene er avgjørende for å bevare fine detaljer og samtidig lage et objekt som skapere kan arbeide med.

Ultra 4K støtter foreløpig generering fra én visning, mens Ultra 2K er tilgjengelig for arbeidsflyter med både én og flere visninger. Støtte for flere visninger i Ultra 4K kommer når løsningen oppfyller det samme kvalitetsnivået.

Meshy bruker normalgjengivelse i flere oppløsninger for å måle hvor mye geometrisk struktur som bevares på ulike skalaer, uten å basere seg på teksturer. Hvorfor valgte dere denne evalueringsmetoden, og hva avdekker den som tradisjonelle visuelle sammenligninger eller geometriske referansetester kan gå glipp av?

Når påstanden spesifikt gjelder geometri, trenger vi en evalueringsmetode som isolerer selve overflaten. Teksturer, materialer, lyssetting og etterbehandling kan få en relativt flat overflate til å se svært detaljert ut, mens antallet polygoner alene ikke forteller oss om polygonene utgjør en meningsfull struktur.

Referansetesten vår for detaljrikdom gjengir hver modell fra flere synsvinkler ved faste skjermoppløsninger og måler hvor mye av den synlige overflaten som har retningsendringer innenfor én piksel. Ved lavere gjengivelsesoppløsninger fanger målingen opp større strukturer; ved høyere oppløsninger blir den følsom for finere detaljer som rygger, sømmer, skjell og graveringer.

Vi bruker også inndata med rike strukturelle detaljer, men enkle teksturer. Det reduserer tvetydigheten mellom malt utseende og fysisk form. Dermed får vi et avgrenset svar på ett spørsmål: Hvor mye meningsfull geometrisk struktur er bevart på ulike skalaer? Metoden måler ikke samsvar, topologi, jevnhet, teksturkvalitet eller redigerbarhet, så vi presenterer den som én del av et bredere evalueringsrammeverk, ikke som et fullstendig mål på objektkvalitet.

I lanseringstestene deres fant dere at Ultra 4K ga flere geometriske detaljer enn andre ledende systemer som ble testet, samtidig som Meshy skiller tydelig mellom geometriske detaljer og samsvar, topologi, jevnhet, teksturkvalitet og redigerbarhet. Hvordan bør bransjen vurdere 3D-innhold som er generert med KI, når ingen enkelt referansetest fanger opp den samlede kvaliteten på et objekt?

Vi mener at 3D-innhold generert med KI bør evalueres dimensjon for dimensjon og ut fra den tiltenkte arbeidsflyten. Geometriske detaljer, samsvar med bildet, topologi, overflatens jevnhet, teksturkvalitet, redigerbarhet og genereringshastighet er alt viktig, men betydningen av hvert punkt varierer med oppgaven. Et utgangspunkt for digital skulpturering, et spillobjekt for sanntidsbruk og en modell som kan 3D-printes, har ikke samme definisjon av «best».

Det betyr at referansetester bør være tydelige på hva de måler. Når det gjelder påstander om geometri, er det viktig å bruke gjengivelser uten teksturer eller med leireutseende, og å undersøke modellen på nært hold. Ved vurdering av samsvar med et bilde bør man se på om formene og delene stemmer overens med referansen. For å vurdere om noe er klart for produksjon, må man også teste topologi, rigging, redigering og ytelsesbegrensninger.

Vi mener også at evaluering bør være transparent, reproduserbar og datert. Modeller utvikler seg raskt, så en referansetest er et øyeblikksbilde, ikke en permanent rangering. Bransjens langsiktige mål bør være et sett med åpne evalueringsmetoder som dekker flere dimensjoner, og som skapere og uavhengige forskere kan gjenskape og bruke i tråd med sine egne arbeidsflyter.

Ultra 4K ser særlig ut til å være rettet mot digital skulpturering, filmatiske rekvisitter, samlefigurer, detaljerte figurer og hovedobjekter. Hvor nær er KI-genererte objekter nå ved å kunne tas rett inn i profesjonelle arbeidsflyter i Blender, ZBrush, Maya eller Unreal Engine uten omfattende manuelt etterarbeid?

KI-genererte objekter er allerede nyttige i profesjonelle verktøy, men hvor nær de er å kunne brukes direkte, avhenger av objektet og arbeidsflyten.

Til konseptutforsking, designreferanser og enkelte statiske objekter eller bakgrunnsobjekter kan genererte modeller korte ned veien fra idé til et redigerbart 3D-utgangspunkt. Kunstnere kan hente dem inn i Blender, ZBrush, Maya eller Unreal Engine og begynne å vurdere form, komposisjon og detaljer langt tidligere enn om de startet med en tom scene.

For sentrale produksjonsressurser, riggede karakterer og annet krevende produksjonsarbeid er det fortsatt vanlig med ytterligere forberedelser. Topologien må kanskje tilpasses deformasjon eller begrensninger for sanntidsbruk; materialer og teksturer kan trenge justeringer som er tilpasset arbeidsflyten; og den endelige kunstneriske utformingen er fortsatt en kreativ beslutning som tas av kunstneren. Hvor mye opprydding som trengs, varierer betydelig mellom ulike ressurser og bruksområder.

Ultra 4K forbedrer en viktig del av denne overleveringen: kvaliteten på det geometriske utgangspunktet. Når folder, graveringer, skjell og andre detaljer allerede finnes i nettet, kan kunstnerne bruke mindre tid på å bygge opp overflatestrukturen på nytt og mer tid på å finpusse ressursen for den tiltenkte bruken. Vi ser på dette som et betydelig fremskritt mot produksjonsklarhet – ikke som at kunstnerne fjernes fra prosessen, men som et bedre grunnlag for arbeidet deres.

Meshy tilbyr nå Standard, Ultra 2K og Ultra 4K i stedet for å behandle maksimal oppløsning som standard. Hvordan vurderer du avveiningen mellom genereringshastighet, beregningskostnader, geometrisk nøyaktighet og det kvalitetsnivået en bestemt kreativ oppgave faktisk krever?

De tre modusene er laget for ulike stadier og bruksområder, ikke som en enkel rangering fra god til bedre til best.

Standard legger vekt på hastighet og rask iterasjon. Den passer til tidlig utforsking, komposisjonstester og ressurser som skal vises smått på skjermen. Ultra 2K balanserer nøyaktighet og fleksibilitet, og støtter både generering fra én visning og fra flere visninger. Ultra 4K er beregnet på tilfeller der geometriske detaljer i liten skala er sentrale for ressursen – for eksempel referanser for skulpturering, samlefigurer, rekvisitter som vises i nærbilde eller detaljerte karakterer.

Riktig valg avhenger av hvor ressursen skal brukes. En bakgrunnsrekvisitt i et mobilspill og en samlefigur har ikke nytte av samme oppløsning eller polygonbudsjett. Høyere oppløsning krever mer databehandling, så det nyttige spørsmålet er ikke «Hvilken modus har høyest oppløsning?», men «Hvilken modus gir synlig merverdi for denne oppgaven?»

En praktisk arbeidsflyt er å utforske motivet og komposisjonen med Standard eller Ultra 2K, og deretter bruke Ultra 4K på det beste alternativet når fine geometriske detaljer er viktige for sluttresultatet. Slik går iterasjonen raskt, samtidig som generering med høyest nøyaktighet brukes der skaperne faktisk vil se og dra nytte av forskjellen.

Ultra 4K opererer med en geometrisk oppløsning på 4096³, og rånett kan nå opptil 80 millioner trekanter før forenkling. Denne skalaen er verdifull når ressursen krever det, men produktprinsippet vårt er å gi skaperne riktig kvalitetsnivå og kontroll for hvert trinn – ikke å gjøre maksimal beregningskraft til standard.

Etter hvert som geometrien blir stadig mer detaljert, blir topologi og redigerbarhet da de neste store flaskehalsene? Hvilket arbeid gjenstår før svært detaljerte KI-genererte modeller blir like enkle for profesjonelle kunstnere å endre, rigge, animere og optimalisere som ressurser som er laget på tradisjonelt vis?

Ja, topologi og redigerbarhet er blant de mest konkrete utfordringene på kort sikt. Profesjonell rigging avhenger av en kantflyt som følger anatomi og ledd, en polygonfordeling som deformeres forutsigbart, og nett som oppfyller kravene til målspillmotoren eller gjengiveren. KI-genererte nett kan ha rike overflatedetaljer, men de følger ennå ikke slike produksjonsstandarder på en konsekvent måte. I mange arbeidsflyter for animasjon må kunstnerne fortsatt utføre en retopologisering før riggingen for alvor kan begynne.

Det samme problemet påvirker redigering. Et tett generert nett kan være svært godt egnet for visuell nøyaktighet eller skulpturering, men strukturen er ikke alltid tilrettelagt for oppgaver som å velge sammenhengende kantløkker, legge til kontrollerte kutt, endre proporsjoner eller forberede deformasjon. Mer semantisk og prosedyrestyrt kontroll – der man endrer en designbeslutning i stedet for å bearbeide overflaten manuelt – ville gjort genererte ressurser betydelig mer fleksible.

Ettersom topologien ligger i forkant av rigging, skinning, blend shapes og fysikksimulering, kan fremskritt på dette området forbedre hele produksjonsløpet. Det finnes to utfyllende tilnærminger: Genereringsmodeller kan lære å lage geometri som i større grad tar hensyn til produksjonsbehov, og automatisert etterbehandling kan omforme detaljerte nett til topologi som er tilpasset bestemte oppgaver. Den mest nyttige løsningen kan være en kombinasjon av begge, slik at de visuelle detaljene skaperne ønsker, bevares samtidig som nettet tilpasses arbeidsflyten de faktisk bruker.

Med blikket videre enn Ultra 4K, hva tror du blir den neste store milepælen for generativ 3D: enda høyere geometrisk nøyaktighet, bedre topologi, konsistente scener med flere objekter, animasjonsklare ressurser, bedre fysisk forståelse eller etter hvert modeller som kan generere komplette interaktive 3D-verdener?

Den geometriske nøyaktigheten vil fortsette å bli bedre, men jeg tror ikke det er den neste milepælen. Den neste milepælen er ressurser som fungerer i reell bruk uten at et menneske må reparere dem. For en bruker som skal 3D-printe, betyr det en modell som kan skives opp, skrives ut og får den ønskede formen på første forsøk. For et spillteam betyr det ren topologi, fornuftig inndeling i deler og riktige UV-er, slik at ressursen kan rigges uten en runde med retopologisering. I dag er genererte ressurser utmerkede utgangspunkter. Milepælen nås når de slutter å være utgangspunkter.

Etter det tror jeg den største endringen ikke handler om enda en egenskap ved modellen, men om hvem som gjør jobben. I dag står det fortsatt et menneske mellom modellen og resultatet: velger verktøyet, reparerer nettet og sjekker om det kan skrives ut eller passer innenfor spillmotorens budsjett. Neste steg er en agent som tar seg av hele jobben fra start til slutt. Du beskriver hva du ønsker, og hva det skal brukes til, og systemet planlegger trinnene, kjører verktøyene og kontrollerer sitt eget resultat opp mot målet. Det kommer bare tilbake til deg for de kreative avgjørelsene som er dine å ta. Interaktive verdener er en naturlig videreutvikling, men de vil bli bygget av ressurser som først må bli pålitelige. Oppdraget vårt er å gjøre enhver idé til en 3D-virkelighet, og virkelighet betyr noe en person kan skrive ut, spille med eller lansere.

Takk for et flott intervju; lesere som ønsker å lære mer, kan besøke Meshy.