Hannah (Linan) Zhou, stiftende medlem og produktchef hos Meshy – interviewserie

Hannah (Linan) Zhou, stiftende medlem og produktchef hos Meshy, er produktleder med fokus på at udvikle og skalere generative AI-værktøjer til produktion af 3D-indhold. Hos Meshy er hun med til at forme virksomhedens produktstrategi på tværs af løsninger til forbrugere og virksomheder, herunder 3D-generering, AI-agenter, udvikler-API’er og arbejdsgange, der skal integrere generativ 3D i professionelle kreative processer. Zhou har beskrevet sit arbejde som centreret om at udvikle og skalere Meshys platform for generativ 3D-AI med særligt fokus på at gøre teknologien tilgængelig for kreative brugere og samtidig udvikle de sikkerheds-, samarbejds-, analyse- og infrastrukturmuligheder, som erhvervskunder har brug for. Hendes baggrund omfatter videregående studier ved Brandeis University med fokus på maskinlæring, dataanalyse, Python, R og business intelligence.

Meshy er en AI-drevet platform til produktion af 3D-indhold, der er udviklet til at gøre det markant hurtigere og mere tilgængeligt at skabe produktionsklare 3D-aktiver. Platformen kan omdanne tekstbeskrivelser, fotografier, skitser og konceptkunst til 3D-modeller og tilbyder desuden AI-teksturering, animation, automatisk rigging, udvikler-API’er og samtalebaseret 3D-skabelse via sin 3D Agent. Teknologien bruges inden for spil, 3D-print, augmented og virtual reality, produktdesign, uddannelse og andre kreative brancher. Meshy oplyser, at platformen har mere end 12 millioner registrerede brugere, og at der er skabt over 100 millioner modeller med den. Værktøjerne bruges af teams hos store virksomheder inden for teknologi, spil, design og produktion.

Din karriere begyndte inden for revision og finans, før du foretog et markant skifte til teknologibranchen og blev stiftende medlem og produktchef hos Meshy. Hvad vakte oprindeligt din interesse for generativ 3D, og hvordan har din analytiske baggrund påvirket den måde, du vurderer, om en ny funktion reelt er nyttig og ikke blot visuelt imponerende?

Jeg tilbragte den første del af min karriere inden for revision og finans, og det lærte mig at se på en virksomhed fra flere vinkler på én gang, fordi intet enkelt tal fortæller, om den er sund. Sådan vurderer jeg et produkt i dag. En imponerende demo har bestået én prøve. Før vi bygger noget, vil jeg have, at det består flere: Skaber det reel værdi for brugeren? Hvor stort er markedet for den værdi? Hvad koster det os at levere den, og ligger der en sund forretning bag? Mange visuelt iøjnefaldende funktioner dumper en af prøverne. De funktioner, der er værd at bygge, består som regel dem alle.

Det, der tiltrak mig ved 3D, er en enkel overbevisning: Alle kan skabe i 3D. Børn bygger ting af klodser og modellervoks, længe før nogen lærer dem det. Det, der holder folk tilbage, er ikke evnerne, men værktøjerne. Traditionel 3D-skabelse kræver årelang oplæring i software, som de fleste aldrig har åbnet. Jeg ville bygge et produkt, der fjerner den barriere, så både et barn på syv år og en bedstemor på halvfjerds kan skabe noget i 3D uden al den oplæring.

Ultra 4K fokuserer specifikt på geometrisk opløsning i 4K frem for teksturopløsning. Hvorfor er det blevet så vigtigt et nyt udviklingsområde inden for AI-genereret 3D at øge den faktiske fysiske detaljegrad på en genereret overflade, især for kreative brugere, der måske ikke umiddelbart forstår forskellen?

Geometri og tekstur har forskellige funktioner. Geometrien definerer et aktivs faktiske overflade, mens teksturen beskriver dets visuelle udseende. En tekstur kan antyde skæl, syninger eller en indgravering, men ægte geometri ændrer silhuetten, reagerer naturligt på lys, kaster skygger og forbliver en del af mesh’et i arbejdsgange med skulpturering, rendering og 3D-print.

I løbet af de seneste år har branchen gjort store fremskridt med hensyn til overordnet struktur og justering. De udfordringer er ikke løst, men i takt med at grundniveauet forbedres, ser kreative brugere naturligt nærmere efter. Spørgsmålet er ikke længere kun, om modellen har den rigtige overordnede form, men også om de detaljer, der giver den karakter – indgraveringen på rustningen, skællene på et væsen eller syningerne på en rem – faktisk findes i geometrien.

Det er vigtigt for kreative brugere, fordi hver manglende detalje betyder manuelt arbejde senere i processen. Ultra 4K er udviklet til at hæve kvaliteten af udgangspunktet, så kunstnere kan bruge mindre tid på at genopbygge grundlæggende overfladestruktur og mere tid på at forfine aktivet efter deres egne kreative mål.

Meshy fremhæver, at alvorlige strukturelle fejl som ødelagte silhuetter eller ekstra lemmer er blevet mindre almindelige, så finere geometriske detaljer er et af de vanskeligere problemer, der stadig er tilbage. Hvilke tekniske udfordringer gør det særligt svært for generative modeller at gengive detaljer som skæl, folder, indgraveringer og udskårne overflader?

Fine geometriske detaljer er svære, fordi de er på en meget mindre skala end selve objektet. En model kan godt forstå en drages silhuet, men stadig overse strukturen i hvert enkelt skæl, eller gengive et stykke rustning, mens den udglatter de indgraverede linjer.

Der er også en iboende tvetydighed ved at generere 3D ud fra et 2D-billede. Et farvet mønster kan forestille maling, tekstur, en skygge eller en fysisk forhøjning. Modellen skal afgøre, hvilke visuelle signaler der skal blive til egentlig geometri, og derefter rekonstruere strukturerne ensartet hen over overfladen.

Endelig skal detaljerne bevares gennem hele processen. Generering i høj opløsning, udtrækning af mesh og forenkling skal bevare meningsfulde detaljer uden at gøre dem til støj eller skabe en unødvendigt høj polygon tæthed. Udfordringen er at skabe detaljer, der hænger sammen og er nyttige for skaberne, ikke blot mere variation på overfladen.

Hvilke ændringer under motorhjelmen gjorde Ultra 4K muligt, og hang de største fremskridt sammen med den underliggende model, træningsdataene, rekonstruktionsteknikkerne, inferenspipelinen eller den måde, Meshy repræsenterer 3D-geometri på?

Ultra 4K blev muligt takket være forbedringer på tværs af geometripipelinen snarere end én enkelt, isoleret ændring. Vi skalerede Meshys geometrirepræsentation og genereringsgrundmodel fra 2048³ til 4096³ og kombinerede det derefter med præcist mesh-udtræk og forenkling, så den ekstra opløsning bliver til meningsfuld overfladestruktur i stedet for blot et højere antal polygoner.

I den skala arbejder modellen i et rum med milliarder af voxler. Et råt Ultra 4K-mesh kan indeholde op til 80 millioner trekanter før forenkling, så udtræknings- og forenklingsfaserne er afgørende for at bevare fine detaljer og samtidig skabe et aktiv, som skaberne kan arbejde med.

Ultra 4K understøtter i øjeblikket generering ud fra én visning, mens Ultra 2K er tilgængelig til arbejdsgange med både én og flere visninger. Understøttelse af flere visninger i Ultra 4K kommer, når løsningen lever op til samme kvalitetskrav.

Meshy bruger rendering af normaler i flere opløsninger til at måle, hvor meget geometrisk struktur der bevares på forskellige skalaer, uden at være afhængig af teksturer. Hvorfor valgte I denne evalueringsmetode, og hvad viser den, som traditionelle visuelle sammenligninger eller geometriske benchmarks kan overse?

Når påstanden specifikt handler om geometri, har vi brug for en evalueringsmetode, der isolerer selve overfladen. Teksturer, materialer, belysning og efterbehandling kan få en forholdsvis flad overflade til at se meget detaljeret ud, mens antallet af polygoner alene ikke fortæller os, om polygonerne indeholder meningsfuld struktur.

Vores Detail Richness-benchmark renderer hver model fra flere synsvinkler ved faste skærmopløsninger og måler, hvor stor en del af den synlige overflade der indeholder ændringer i orientering inden for en pixel. Ved lavere renderopløsninger indfanger målingen de overordnede strukturer; ved højere opløsninger bliver den følsom over for finere detaljer som furer, syninger, skæl og indgraveringer.

Vi bruger også input med mange strukturelle detaljer, men enkle teksturer, hvilket mindsker tvetydigheden mellem et malet udseende og den fysiske form. Det giver os et præcist svar på ét spørgsmål: Hvor meget meningsfuld geometrisk struktur er bevaret på forskellige skalaer? Metoden måler ikke justering, topologi, glathed, teksturkvalitet eller redigerbarhed, så vi præsenterer den som én del af en bredere evalueringsramme, ikke som et fuldstændigt mål for aktivkvalitet.

Jeres test før lanceringen viste, at Ultra 4K skabte flere geometriske detaljer end andre førende systemer, der blev testet, samtidig med at Meshy skelner omhyggeligt mellem geometriske detaljer, justering, topologi, glathed, teksturkvalitet og redigerbarhed. Hvordan bør branchen forholde sig til evaluering af AI-genereret 3D, når intet enkelt benchmark indfanger aktivets samlede kvalitet?

Vi mener, at AI-genereret 3D bør evalueres dimension for dimension og i sammenhæng med den tilsigtede arbejdsgang. Geometriske detaljer, billedjustering, topologi, overfladens glathed, teksturkvalitet, redigerbarhed og genereringshastighed er alt sammen vigtigt, men betydningen varierer efter opgaven. Et udgangspunkt for digital skulpturering, en rekvisit til et realtidsspil og en model, der kan 3D-printes, har ikke samme definition af, hvad der er »bedst«.

Det betyder, at benchmarks tydeligt bør angive, hvad de måler. Når det gælder påstande om geometri, er uteksturerede gengivelser eller lergengivelser samt nærmere inspektion afgørende. Ved evaluering af billedjustering bør fokus være på, om former og dele stemmer overens med referencen. Når det gælder produktionsparathed, skal topologi, rigging, redigering og ydelsesbegrænsninger også afprøves.

Vi mener også, at evaluering bør være gennemsigtig, reproducerbar og tidsstemplet. Modeller udvikler sig hurtigt, så et benchmark er et øjebliksbillede snarere end en permanent rangliste. Branchens langsigtede mål bør være et sæt åbne, flerdimensionelle evalueringsmetoder, som skabere og uafhængige forskere kan reproducere og bruge i overensstemmelse med deres egne arbejdsgange.

Ultra 4K ser især ud til at være rettet mod digital skulpturering, filmrekvisitter, samlerfigurer, detaljerede karakterer og centrale aktiver. Hvor tæt er AI-genererede aktiver på at kunne indgå direkte i professionelle arbejdsgange i Blender, ZBrush, Maya eller Unreal Engine uden omfattende manuel oprydning?

AI-genererede aktiver er allerede nyttige i professionelle værktøjer, men hvor tæt de er på at kunne bruges direkte, afhænger af aktivet og arbejdsgangen.

Til udforskning af koncepter, designreferencer og visse statiske aktiver eller baggrundsaktiver kan genererede modeller forkorte vejen fra idé til et redigerbart 3D-udgangspunkt. Kunstnere kan hente dem ind i Blender, ZBrush, Maya eller Unreal Engine og begynde at vurdere form, komposition og detaljer langt tidligere, end hvis de startede med en tom scene.

Til hero-assets, riggede karakterer og andre krævende produktionsopgaver er det stadig almindeligt med yderligere klargøring. Topologien skal muligvis tilpasses, så den egner sig til deformation eller overholder realtidsbudgetter; materialer og teksturer kan kræve tilpasninger til den specifikke arbejdsgang; og den endelige art direction er fortsat en kreativ beslutning, som kunstneren træffer. Omfanget af det nødvendige efterarbejde varierer betydeligt fra asset til asset og afhænger af, hvad det skal bruges til.

Ultra 4K forbedrer en vigtig del af denne overlevering: kvaliteten af det geometriske udgangspunkt. Når folder, graveringer, skæl og andre detaljer allerede er til stede i meshet, kan kunstnere bruge mindre tid på at genskabe overfladestrukturen og mere tid på at finpudse assettet til dets tilsigtede brug. Vi ser det som et væsentligt fremskridt hen imod produktionsklarhed – ikke som en fjernelse af kunstnerne fra processen, men som et bedre fundament for deres arbejde.

Meshy tilbyder nu Standard, Ultra 2K og Ultra 4K i stedet for at gøre den højeste opløsning til standardindstillingen. Hvordan vurderer I afvejningen mellem genereringshastighed, beregningsomkostninger, geometrisk detaljegrad og det kvalitetsniveau, som en bestemt kreativ opgave faktisk kræver?

De tre tilstande er udviklet til forskellige stadier og anvendelser, ikke som en enkel rangordning fra god til bedre til bedst.

Standard lægger vægt på hastighed og hurtig iteration. Den egner sig til tidlig udforskning, kompositionstests og assets, der forbliver små på skærmen. Ultra 2K giver en balance mellem detaljegrad og fleksibilitet og omfatter både generering ud fra én visning og flere visninger. Ultra 4K er beregnet til situationer, hvor geometriske detaljer i lille skala er centrale for assettet – for eksempel skulpturreferencer, samlerfigurer, rekvisitter, der vises tæt på, eller detaljerede karakterer.

Det rette valg afhænger af, hvad assettet skal bruges til. En baggrundsrekvisit i et mobilspil og en samlerfigur har ikke gavn af den samme opløsning eller det samme polygonbudget. En højere opløsning kræver flere beregninger, så det relevante spørgsmål er ikke: »Hvilken tilstand er den højeste?« men: »Hvilken tilstand giver denne opgave en synlig merværdi?«

En praktisk arbejdsgang er at udforske motivet og kompositionen med Standard eller Ultra 2K og derefter bruge Ultra 4K på den stærkeste kandidat, når fine geometriske detaljer er vigtige for det endelige resultat. Så kan man arbejde hurtigt iterativt og samtidig koncentrere genereringen med den højeste detaljegrad dér, hvor skaberne faktisk vil kunne se og bruge forskellen.

Ultra 4K arbejder med en geometrisk opløsning på 4096³, og rå meshmodeller kan nå op på 80 millioner trekanter før forenkling. Den detaljegrad er værdifuld, når assettet kræver det, men vores produktprincip er at give skaberne det rette kvalitets- og kontrolniveau til hvert trin – ikke at gøre maksimal beregningskraft til standardindstillingen.

Efterhånden som geometrien bliver stadig mere detaljeret, bliver topologi og redigerbarhed så de næste store flaskehalse? Hvilket arbejde mangler der, før professionelle kunstnere lige så let kan ændre, rigge, animere og optimere meget detaljerede AI-genererede modeller som assets, der er skabt på traditionel vis?

Ja, topologi og redigerbarhed er blandt de mest konkrete udfordringer på kort sigt. Professionel rigging kræver et kantforløb, der følger anatomi og led, en polygonfordeling, der deformeres forudsigeligt, og meshes, der overholder kravene fra den pågældende motor eller renderer. AI-genererede meshes kan indeholde mange overfladedetaljer, men de følger endnu ikke konsekvent disse produktionsmæssige standarder. I mange animationsarbejdsgange er kunstnere stadig nødt til at retopologisere meshet, før de for alvor kan begynde at rigge det.

Det samme problem gør sig gældende ved redigering. Et tæt, genereret mesh kan være fremragende til visuel detaljegrad eller skulpturering, men det er ikke altid struktureret, så det er let at udføre operationer som at vælge rene kantloops, tilføje kontrollerede snit, ændre proportioner eller klargøre meshet til deformation. Mere semantisk og proceduremæssig kontrol – hvor man ændrer en designbeslutning i stedet for manuelt at bearbejde overfladen igen – ville gøre genererede assets langt mere fleksible.

Da topologien ligger forud for rigging, skinning, blend shapes og fysiksimulering, kan fremskridt på dette område forbedre hele produktionsforløbet. Der er to komplementære veje frem: Genereringsmodeller kan lære at skabe geometri, der i højere grad tager højde for produktionskrav, og automatisk efterbehandling kan omdanne detaljerede meshes til opgavespecifik topologi. Den mest nyttige løsning kan være en kombination af begge dele, så de visuelle detaljer, som skaberne ønsker, bevares, samtidig med at meshet tilpasses den arbejdsgang, de faktisk bruger.

Hvis vi ser ud over Ultra 4K, hvad mener du så bliver den næste store tærskel for generativ 3D: endnu højere geometrisk detaljegrad, bedre topologi, konsistente scener med flere objekter, assets, der er klar til animation, bedre fysisk forståelse eller i sidste ende modeller, der kan skabe komplette interaktive 3D-verdener?

Den geometriske detaljegrad vil fortsat blive bedre, men jeg tror ikke, det er den næste tærskel. Den næste tærskel er assets, der kan bruges i praksis uden at skulle repareres af et menneske. For en bruger, der 3D-printer, betyder det en model, der kan skæres i lag, printes og får den ønskede form i første forsøg. For et spilteam betyder det ren topologi, veltilrettelagte dele og ordentlige UV-koordinater, så assettet kan rigges uden først at skulle retopologiseres. I dag er genererede assets fremragende udgangspunkter. Tærsklen nås, når de ikke længere blot er udgangspunkter.

Derefter tror jeg, at den største forandring ikke handler om endnu en funktion i modellen, men om, hvem der udfører arbejdet. I dag står der stadig et menneske mellem modellen og resultatet: Personen vælger værktøjet, retter nettet og undersøger, om det kan printes eller holde sig inden for spilmotorens budget. Det næste skridt er en agent, der tager sig af opgaven fra start til slut. Du beskriver, hvad du ønsker, og hvad resultatet skal bruges til, og systemet planlægger trinnene, bruger værktøjerne og kontrollerer selv resultatet i forhold til målet. Det henvender sig kun til dig, når der skal træffes kreative beslutninger, som er dine at træffe. Interaktive verdener er en naturlig videreudvikling, men de vil blive skabt af aktiver, der først skal være pålidelige. Vores mission er at gøre enhver idé til en 3D-virkelighed, og virkelighed betyder noget, man kan printe, spille med eller sende ud.

Tak for det gode interview. Læsere, der gerne vil vide mere, kan besøge Meshy.