Hannah (Linan) Zhou, grundande medlem och produktchef på Meshy – intervjuserie

Hannah (Linan) Zhou, grundande medlem och produktchef på Meshy, är produktledare med fokus på att utveckla och skala upp generativa AI-verktyg för skapande av 3D-innehåll. På Meshy bidrar hon till att forma företagets produktstrategi för både konsument- och företagslösningar, däribland 3D-generering, AI-agenter, utvecklar-API:er och arbetsflöden som är utformade för att integrera generativ 3D i professionella kreativa processer. Zhou har beskrivit sitt arbete som inriktat på att utveckla och skala upp Meshys plattform för generativ 3D-AI, med särskilt fokus på att göra tekniken tillgänglig för kreatörer och samtidigt utveckla de säkerhets-, samarbets-, analys- och infrastrukturfunktioner som företagskunder behöver. Hon har bedrivit forskarstudier vid Brandeis University med inriktning på maskininlärning, dataanalys, Python, R och business intelligence.

Meshy är en AI-driven plattform för skapande av 3D-innehåll, utformad för att göra det betydligt snabbare och mer lättillgängligt att skapa produktionsklara 3D-tillgångar. Plattformen kan omvandla textbeskrivningar, fotografier, skisser och konceptkonst till 3D-modeller och erbjuder även AI-baserad texturering, animering, automatisk riggning, utvecklar-API:er och konversationsbaserat 3D-skapande via sin 3D Agent. Tekniken används inom spel, 3D-utskrift, förstärkt och virtuell verklighet, produktdesign, utbildning och andra kreativa branscher. Meshy uppger att plattformen har över 12 miljoner registrerade användare och att mer än 100 miljoner modeller har skapats. Verktygen används av team på stora företag inom teknik, spel, design och tillverkning.

Din karriär började inom revision och finans, innan du gjorde ett stort karriärskifte till teknikbranschen och blev en av Meshys grundande medlemmar och produktchef. Vad väckte först ditt intresse för generativ 3D, och hur har din analytiska bakgrund påverkat hur du bedömer om en ny funktion verkligen är användbar och inte bara ser imponerande ut?

Jag tillbringade den första delen av min karriär inom revision och finans, och där lärde jag mig att betrakta ett företag ur flera perspektiv samtidigt, eftersom ingen enskild siffra visar om det mår bra. Det är så jag bedömer produkter i dag. En imponerande demo har klarat ett test. Innan vi bygger något vill jag att det ska klara flera: skapar det verkligt värde för användaren, hur stor är marknaden för det värdet, vad kostar det oss att leverera och finns det en sund affärsmodell bakom? Många visuellt slående funktioner klarar inte något av de här testen. De funktioner som är värda att bygga brukar klara dem alla.

Det som lockade mig till 3D är en enkel övertygelse: alla kan skapa i 3D. Barn bygger saker av klossar och lera långt innan någon lär dem hur. Det som hindrar människor är inte deras förmåga, utan verktygen. Traditionellt 3D-skapande kräver flera års utbildning i programvara som de flesta aldrig ens har öppnat. Jag ville skapa en produkt som undanröjer det hindret, så att både en sjuåring och en sjuttioårig mormor kan skapa något i 3D utan all den utbildningen.

Ultra 4K fokuserar specifikt på geometrisk upplösning i 4K, inte på texturupplösning. Varför har det blivit så viktigt för AI-genererad 3D att öka den faktiska detaljrikedomen i en yta, särskilt för kreatörer som kanske inte genast förstår skillnaden?

Geometri och textur fyller olika funktioner. Geometrin definierar en tillgångs faktiska yta, medan texturen beskriver hur den ser ut. En textur kan ge intryck av fjäll, sömmar eller en gravyr, men riktig geometri förändrar silhuetten, reagerar naturligt på ljus, kastar skuggor och finns kvar som en del av nätet i arbetsflöden för skulptering, rendering och 3D-utskrift.

Under de senaste åren har branschen gjort stora framsteg när det gäller grundstruktur och anpassning. De utmaningarna är inte lösta, men i takt med att grundnivån förbättras börjar kreatörer naturligt granska detaljerna närmare. Frågan är inte längre bara om modellen har rätt övergripande form, utan också om de detaljer som ger den karaktär – graveringen på en rustning, fjällen på en varelse eller sömmarna på en rem – faktiskt finns med i geometrin.

Det spelar roll för kreatörer, eftersom varje detalj som saknas leder till manuellt arbete längre fram i processen. Ultra 4K är utformat för att höja kvaliteten på utgångspunkten, så att konstnärer kan lägga mindre tid på att återskapa grundläggande ytstruktur och mer tid på att förfina tillgången utifrån sina egna kreativa mål.

Meshy menar att stora strukturella problem, som trasiga silhuetter eller extra armar och ben, har blivit mindre vanliga. Därför är finare geometriska detaljer ett av de svårare återstående problemen. Vilka tekniska utmaningar gör det särskilt svårt för generativa modeller att skapa detaljer som fjäll, veck, gravyrer och snidade ytor?

Fina geometriska detaljer är svåra eftersom de är mycket mindre än objektet som helhet. En modell kan förstå en drakes silhuett men ändå missa strukturen hos varje enskilt fjäll, eller återskapa en rustning men samtidigt jämna ut de graverade linjerna.

Det finns också en inneboende tvetydighet i att skapa 3D från en 2D-bild. Ett färgmönster kan föreställa färg, textur, en skugga eller en fysisk upphöjning. Modellen måste avgöra vilka visuella signaler som ska bli faktisk geometri och sedan återskapa strukturerna konsekvent över hela ytan.

Till sist måste detaljrikedomen bevaras genom hela processen. Generering i hög upplösning, meshutvinning och förenkling måste bevara betydelsefulla egenskaper utan att de förvandlas till brus eller leder till onödigt många polygoner. Utmaningen är att skapa detaljer som är sammanhängande och användbara för kreatörer, inte bara mer variation på ytan.

Vilka förändringar under huven gjorde Ultra 4K möjligt, och handlade de största framstegen om den underliggande modellen, träningsdata, rekonstruktionstekniker, inferenspipeline eller Meshys sätt att representera 3D-geometri?

Ultra 4K blev möjligt tack vare förbättringar i hela geometripipelinen, snarare än en enskild isolerad förändring. Vi skalade upp Meshys geometrirepresentation och genereringsmodell från 2048³ till 4096³ och kombinerade det sedan med meshutvinning och förenkling med hög precision, så att den högre upplösningen ger meningsfull ytstruktur i stället för bara fler polygoner.

I den skalan arbetar modellen i ett utrymme som innehåller miljarder voxlar. En rå Ultra 4K-mesh kan innehålla upp till 80 miljoner trianglar före förenkling, så stegen för utvinning och förenkling är avgörande för att bevara fina detaljer och samtidigt skapa en tillgång som kreatörer kan arbeta med.

Ultra 4K stöder för närvarande generering från en enda vy, medan Ultra 2K är tillgängligt för arbetsflöden med både en och flera vyer. Stöd för flera vyer i Ultra 4K kommer när lösningen uppfyller samma kvalitetskrav.

Meshy använder normalrendering i flera upplösningar för att mäta hur mycket geometrisk struktur som bevaras i olika skalor utan att förlita sig på texturer. Varför valde ni den här utvärderingsmetoden, och vad visar den som konventionella visuella jämförelser eller geometrimått kan missa?

När påståendet specifikt gäller geometri behöver vi en utvärderingsmetod som isolerar själva ytan. Texturer, material, ljussättning och efterbearbetning kan få en relativt plan yta att se mycket detaljerad ut, medan antalet polygoner i sig inte säger om polygonerna bildar meningsfull struktur.

Vårt riktmärke Detail Richness renderar varje modell från flera betraktningsvinklar vid fasta skärmupplösningar och mäter hur stor del av den synliga ytan som uppvisar orienteringsförändringar inom en pixel. Vid lägre renderingsupplösningar fångar måttet upp den övergripande strukturen; vid högre upplösningar blir det känsligt för finare detaljer som åsar, sömmar, fjäll och gravyrer.

Vi använder också underlag med rik strukturell detalj men enkla texturer, vilket minskar tvetydigheten mellan målat utseende och fysisk form. Det ger oss ett tydligt svar på en fråga: hur mycket meningsfull geometrisk struktur har bevarats i olika skalor? Metoden mäter inte överensstämmelse, topologi, jämnhet, texturkvalitet eller redigerbarhet, så vi presenterar den som en del av ett bredare utvärderingsramverk, inte som ett fullständigt mått på en tillgångs kvalitet.

Era tester inför lanseringen visade att Ultra 4K skapade fler geometriska detaljer än andra ledande system som testades, samtidigt som Meshy är noga med att skilja geometrisk detaljrikedom från överensstämmelse, topologi, jämnhet, texturkvalitet och redigerbarhet. Hur bör branschen tänka kring utvärdering av AI-genererad 3D när inget enskilt riktmärke fångar en tillgångs samlade kvalitet?

Vi anser att AI-genererad 3D bör utvärderas utifrån varje enskild dimension och i förhållande till det avsedda arbetsflödet. Geometrisk detaljrikedom, överensstämmelse med bilden, topologi, ytjämnhet, texturkvalitet, redigerbarhet och genereringshastighet spelar alla roll, men deras betydelse varierar med uppgiften. En utgångspunkt för digital skulptering, ett spelobjekt för realtidsgrafik och en 3D-utskriftsbar modell har inte samma definition av ”bäst”.

Det innebär att riktmärken tydligt bör ange vad de mäter. När det gäller påståenden om geometri är det viktigt med otrådade renderingar eller lerliknande renderingar och närgranskning; vid utvärdering av överensstämmelse med en bild bör fokus ligga på om former och delar stämmer med referensen; och för att bedöma om något är produktionsklart behöver även topologi, riggning, redigering och prestandabegränsningar testas.

Vi anser också att utvärderingen bör vara transparent, reproducerbar och försedd med tidsstämpel. Modeller utvecklas snabbt, så ett riktmärke är en ögonblicksbild snarare än en permanent rangordning. Branschens långsiktiga mål bör vara en uppsättning öppna utvärderingsmetoder med flera dimensioner som kreatörer och oberoende forskare kan reproducera och använda utifrån sina egna arbetsflöden.

Ultra 4K verkar särskilt inriktat på digital skulptering, rekvisita för filmproduktion, samlarfigurer, detaljerade karaktärer och huvudobjekt. Hur nära är AI-genererade tillgångar att kunna användas direkt i professionella arbetsflöden i Blender, ZBrush, Maya eller Unreal Engine utan omfattande manuell efterbearbetning?

AI-genererade tillgångar är redan användbara i professionella verktyg, men hur nära de är att kunna ”användas direkt” beror på tillgången och arbetsflödet.

För konceptutforskning, designreferenser och vissa statiska objekt eller bakgrundsobjekt kan genererade modeller förkorta vägen från idé till en redigerbar 3D-utgångspunkt. Konstnärer kan importera dem till Blender, ZBrush, Maya eller Unreal Engine och börja utvärdera form, komposition och detaljer mycket tidigare än om de hade börjat med en tom scen.

För huvudtillgångar, riggade karaktärer och annat produktionsarbete med höga krav är det fortfarande vanligt med ytterligare förberedelser. Topologin kan behöva anpassas för deformation eller realtidsbudgetar, material och texturer kan behöva justeras för det specifika arbetsflödet, och den slutliga konstnärliga utformningen är fortfarande ett kreativt beslut för konstnären. Hur mycket efterarbete som krävs varierar kraftigt beroende på tillgång och användningsområde.

Ultra 4K förbättrar en viktig del av överlämningen: kvaliteten på den geometriska utgångspunkten. När veck, gravyrer, fjäll och andra detaljer redan finns i meshen kan konstnärer lägga mindre tid på att återskapa ytstrukturen och mer tid på att förfina tillgången för dess avsedda användning. Vi ser det som ett betydande steg mot produktionsberedskap – inte som att konstnärer tas bort från processen, utan som en bättre grund för deras arbete.

Meshy erbjuder nu Standard, Ultra 2K och Ultra 4K i stället för att ha maximal upplösning som standard. Hur ser du på avvägningen mellan genereringshastighet, beräkningskostnad, geometrisk återgivning och den kvalitetsnivå som en viss kreativ uppgift faktiskt kräver?

De tre lägena är utformade för olika stadier och användningsområden, inte som en enkel skala från bra till bättre till bäst.

Standard prioriterar hastighet och snabb iteration. Det passar för tidig utforskning, kompositionstester och tillgångar som kommer att visas i liten storlek på skärmen. Ultra 2K erbjuder en balans mellan återgivning och flexibilitet, med stöd för både generering från en enda vy och från flera vyer. Ultra 4K är avsett för fall där geometriska detaljer i liten skala är centrala för tillgången – till exempel skulpturunderlag, samlarfigurer, rekvisita för närbilder eller detaljerade karaktärer.

Rätt val beror på var tillgången ska användas. En bakgrundsdetalj i ett mobilspel och en samlarfigur har inte nytta av samma upplösning eller polygonbudget. Högre upplösning kräver mer beräkningskraft, så den relevanta frågan är inte ”Vilket läge är det högsta?” utan ”Vilket läge tillför ett synligt värde för den här uppgiften?”

Ett praktiskt arbetsflöde är att utforska motivet och kompositionen med Standard eller Ultra 2K och sedan använda Ultra 4K för den starkaste kandidaten när fina geometriska detaljer är viktiga för slutresultatet. På så sätt går iterationerna snabbt, samtidigt som generering med högsta återgivning reserveras för de fall där kreatörerna faktiskt kommer att se och ha nytta av skillnaden.

Ultra 4K arbetar med en geometrisk upplösning på 4096³, och råa meshmodeller kan innehålla upp till 80 miljoner trianglar före förenkling. Den detaljnivån är värdefull när tillgången kräver det, men vår produktprincip är att ge kreatörer rätt kvalitetsnivå och kontroll för varje steg – inte att ha maximal beräkningskraft som standard.

När geometrin blir allt mer detaljerad, blir då topologi och redigerbarhet de nästa stora flaskhalsarna? Vad återstår innan professionella konstnärer kan ändra, rigga, animera och optimera AI-genererade modeller med hög detaljrikedom lika enkelt som traditionellt skapade tillgångar?

Ja, topologi och redigerbarhet hör till de mest konkreta utmaningarna på kort sikt. Professionell riggning förutsätter ett kantflöde som följer anatomi och leder, en polygontäthet som deformeras förutsägbart och meshmodeller som uppfyller kraven från målmotorn eller renderaren. AI-genererade meshmodeller kan innehålla rikligt med ytetaljer, men de följer ännu inte konsekvent dessa produktionsstandarder. I många animationsarbetsflöden behöver konstnärer fortfarande retopologisera modellerna innan riggningen kan börja på allvar.

Samma problem påverkar redigeringen. En tät, genererad mesh kan fungera utmärkt för visuell återgivning eller skulptering, men den är inte alltid strukturerad för arbetsmoment som att markera tydliga kantloopar, lägga till kontrollerade snitt, ändra proportioner eller förbereda modellen för deformation. Mer semantisk och procedurbaserad kontroll – att ändra ett designbeslut i stället för att bearbeta ytan manuellt – skulle göra genererade tillgångar betydligt mer flexibla.

Eftersom topologin ligger till grund för riggning, skinning, blend shapes och fysiksimulering kan framsteg på det här området förbättra hela produktionskedjan. Det finns två kompletterande vägar framåt: genereringsmodeller kan lära sig att skapa geometri som är bättre anpassad för produktion, och automatisk efterbearbetning kan omvandla detaljrika meshmodeller till topologi som är anpassad för specifika uppgifter. Den bästa lösningen kan vara att kombinera båda och bevara de visuella detaljer som kreatörerna vill ha, samtidigt som meshen anpassas till det arbetsflöde de faktiskt använder.

Om vi blickar bortom Ultra 4K, vad tror du blir nästa stora tröskel för generativ 3D: ännu högre geometrisk återgivning, bättre topologi, konsekventa scener med flera objekt, animationsklara tillgångar, bättre fysisk förståelse eller så småningom modeller som kan skapa kompletta interaktiva 3D-världar?

Den geometriska återgivningen kommer att fortsätta förbättras, men jag tror inte att det är nästa tröskel. Nästa tröskel är tillgångar som fungerar i praktiken utan att en människa behöver reparera dem. För den som 3D-printar innebär det en modell som går att skiva och skriva ut och som får den önskade formen redan vid första försöket. För ett spelteam innebär det ren topologi, ändamålsenliga delar och korrekta UV-koordinater, så att tillgången kan riggas utan en omgång retopologisering. I dag är genererade tillgångar utmärkta utgångspunkter. Tröskeln är nådd när de inte längre bara är utgångspunkter.

Efter det tror jag att den största förändringen inte handlar om ytterligare en modellfunktion, utan om vem som utför arbetet. I dag står fortfarande en människa mellan modellen och resultatet: väljer verktyg, åtgärdar nätet och kontrollerar om det går att skriva ut eller ryms inom spelmotorns budget. Nästa steg är en agent som tar sig an uppgiften från början till slut. Du beskriver vad du vill ha och vad det ska användas till, så planerar systemet stegen, kör verktygen och kontrollerar sitt eget resultat mot målet. Det återkommer till dig bara när det gäller kreativa beslut som du själv behöver fatta. Interaktiva världar är den naturliga fortsättningen, men de kommer att byggas av tillgångar som först måste bli tillförlitliga. Vårt uppdrag är att förverkliga varje idé i 3D, och verklighet innebär något som en person kan skriva ut, spela eller leverera.

Tack för en fantastisk intervju! Läsare som vill veta mer kan besöka Meshy.