Hannah (Linan) Zhou, oprichtend lid en hoofd product bij Meshy – interviewreeks

Hannah (Linan) Zhou, oprichtend lid en hoofd product bij Meshy, is een productleider die zich richt op het ontwikkelen en opschalen van generatieve AI-tools voor het maken van 3D-content. Bij Meshy helpt ze de productstrategie van het bedrijf vorm te geven voor zowel consumenten- als zakelijke toepassingen, waaronder 3D-generatie, AI-agents, API’s voor ontwikkelaars en workflows om generatieve 3D te integreren in professionele creatieve processen. Zhou heeft haar werk omschreven als gericht op het ontwikkelen en opschalen van Meshy’s platform voor generatieve 3D-AI, met bijzondere aandacht voor het toegankelijk maken van de technologie voor makers en voor de ontwikkeling van de beveiligings-, samenwerkings-, analyse- en infrastructuurmogelijkheden die zakelijke klanten nodig hebben. Haar achtergrond omvat een vervolgopleiding aan Brandeis University, gericht op machine learning, data-analyse, Python, R en business intelligence.

Meshy is een AI-platform voor het maken van 3D-content, ontworpen om het creëren van productieklare 3D-assets aanzienlijk sneller en toegankelijker te maken. Het platform kan tekstbeschrijvingen, foto’s, schetsen en concept art omzetten in 3D-modellen en biedt daarnaast AI-texturering, animatie, automatisch riggen, API’s voor ontwikkelaars en het maken van 3D-content via gesprekken met de 3D Agent. De technologie wordt gebruikt in de game-industrie, 3D-printing, augmented en virtual reality, productontwerp, onderwijs en andere creatieve sectoren. Meshy meldt meer dan 12 miljoen geregistreerde gebruikers en ruim 100 miljoen gemaakte modellen. De tools worden gebruikt door teams bij grote technologie-, game-, ontwerp- en productiebedrijven.

Je loopbaan begon in de accountancy en de financiële sector, voordat je een grote overstap naar de technologiesector maakte en oprichtend lid en hoofd product bij Meshy werd. Wat trok je aanvankelijk aan in generatieve 3D, en hoe heeft je analytische achtergrond je manier beïnvloed om te beoordelen of een nieuwe mogelijkheid echt nuttig is en niet alleen visueel indrukwekkend?

Het eerste deel van mijn loopbaan werkte ik in de accountancy en de financiële sector. Daar leerde ik een bedrijf vanuit meerdere invalshoeken tegelijk te bekijken, omdat geen enkel cijfer op zichzelf vertelt of het bedrijf gezond is. Zo beoordeel ik tegenwoordig ook producten. Een indrukwekkende demo heeft één test doorstaan. Voordat we iets bouwen, wil ik dat het meerdere tests doorstaat: levert het de gebruiker echte waarde op, hoe groot is de markt voor die waarde, wat kost het ons om die te bieden en zit er een solide bedrijfsmodel achter? Veel visueel indrukwekkende functies doorstaan een van die tests niet. De functies die de moeite waard zijn om te bouwen, doorstaan ze doorgaans allemaal.

Wat me aantrok in 3D is een eenvoudige overtuiging: iedereen kan in 3D creëren. Kinderen bouwen al dingen van blokken en klei lang voordat iemand het hun leert. Wat mensen tegenhoudt, is niet hun vermogen, maar het gereedschap. Voor traditionele 3D-creatie moet je jarenlang software leren gebruiken die de meeste mensen nog nooit hebben geopend. Ik wilde een product bouwen dat die drempel wegneemt, zodat zowel een kind van zeven als een grootmoeder van zeventig iets in 3D kan maken zonder die training te hoeven volgen.

Ultra 4K richt zich specifiek op de geometrische resolutie in 4K, niet op de textuurresolutie. Waarom is het vergroten van de daadwerkelijke fysieke details van een gegenereerd oppervlak zo’n belangrijk nieuw terrein voor AI-gegenereerde 3D, juist voor makers die het verschil misschien niet meteen begrijpen?

Geometrie en textuur vervullen verschillende functies. Geometrie bepaalt het daadwerkelijke oppervlak van een asset; textuur beschrijft hoe dat oppervlak eruitziet. Een textuur kan schubben, stiksel of een gravure suggereren, maar echte geometrie verandert het silhouet, reageert op natuurlijke wijze op licht, werpt schaduwen en blijft onderdeel van het mesh bij sculpting, rendering en 3D-printing.

De afgelopen jaren heeft de sector grote vooruitgang geboekt op het gebied van de algemene structuur en uitlijning. Die uitdagingen zijn nog niet opgelost, maar naarmate de basis verbetert, gaan makers vanzelf nauwkeuriger kijken. De vraag is niet langer alleen of het model de juiste algemene vorm heeft, maar ook of de details die het karakter geven — de gravure op een harnas, de schubben van een wezen of het stiksel op een riem — daadwerkelijk in de geometrie aanwezig zijn.

Voor makers is dat belangrijk, omdat elk ontbrekend detail later handmatig werk oplevert. Ultra 4K is bedoeld om de kwaliteit van het uitgangspunt te verhogen, zodat kunstenaars minder tijd kwijt zijn aan het opnieuw opbouwen van de basisstructuur van oppervlakken en meer tijd kunnen besteden aan het verfijnen van de asset volgens hun eigen creatieve doelen.

Meshy stelt dat grote structurele problemen, zoals gebroken silhouetten of extra ledematen, minder vaak voorkomen, waardoor fijnere geometrische details een van de lastigste overgebleven problemen vormen. Welke technische uitdagingen maken kenmerken zoals schubben, plooien, gravures en reliëfoppervlakken bijzonder moeilijk voor generatieve modellen?

Fijne geometrische kenmerken zijn lastig omdat ze op veel kleinere schaal voorkomen dan het object als geheel. Een model kan de omtrek van een draak begrijpen, maar toch de structuur van elke schub missen, of een stuk harnas weergeven maar de gegraveerde lijnen ervan gladstrijken.

Bij het genereren van 3D op basis van een 2D-afbeelding is er bovendien sprake van inherente ambiguïteit. Een gekleurd patroon kan verf, textuur, een schaduw of een fysieke richel voorstellen. Het model moet bepalen welke visuele signalen echte geometrie moeten worden en die structuren vervolgens consistent over het oppervlak reconstrueren.

Tot slot moet het detail in de hele pipeline behouden blijven. Generatie op hoge resolutie, mesh-extractie en vereenvoudiging moeten betekenisvolle kenmerken behouden, zonder dat die veranderen in ruis of onnodig veel polygonen. De uitdaging is om detail te creëren dat samenhangend en bruikbaar is voor makers, en niet alleen voor meer variatie aan het oppervlak zorgt.

Welke veranderingen onder de motorkap maakten Ultra 4K mogelijk, en hadden de belangrijkste verbeteringen betrekking op het onderliggende model, de trainingsdata, reconstructietechnieken, de inferentiepipeline of de manier waarop Meshy 3D-geometrie weergeeft?

Ultra 4K is mogelijk geworden door verbeteringen in de hele geometriepipeline, en niet door één op zichzelf staande verandering. We hebben Meshy’s geometrieweergave en generatiemodel opgeschaald van 2048³ naar 4096³ en dat vervolgens gecombineerd met uiterst nauwkeurige mesh-extractie en vereenvoudiging. Zo wordt de extra resolutie omgezet in betekenisvolle oppervlaktestructuur, in plaats van alleen in een hoger aantal polygonen.

Op die schaal werkt het model in een ruimte met miljarden voxels. Een onbewerkte Ultra 4K-mesh kan vóór vereenvoudiging tot wel 80 miljoen driehoeken bevatten. De extractie- en vereenvoudigingsfasen zijn daarom cruciaal om fijne details te behouden en tegelijk een asset te maken waarmee makers kunnen werken.

Ultra 4K ondersteunt momenteel generatie vanuit één gezichtspunt, terwijl Ultra 2K beschikbaar is voor workflows met één en meerdere gezichtspunten. Ondersteuning voor meerdere gezichtspunten in Ultra 4K volgt zodra die aan dezelfde kwaliteitsnorm voldoet.

Meshy gebruikt rendering van normalen op meerdere resoluties om te meten hoeveel geometrische structuur op verschillende schalen behouden blijft, zonder op texturen te vertrouwen. Waarom hebben jullie voor deze evaluatiemethode gekozen, en wat brengt die aan het licht dat bij conventionele visuele vergelijkingen of geometrische benchmarks mogelijk onopgemerkt blijft?

Als de claim specifiek over geometrie gaat, hebben we een evaluatiemethode nodig die het oppervlak zelf afzonderlijk beoordeelt. Texturen, materialen, belichting en nabewerking kunnen een relatief vlak oppervlak zeer gedetailleerd doen lijken, terwijl het aantal polygonen op zichzelf niet aangeeft of die polygonen betekenisvolle structuur bevatten.

In onze benchmark Detail Richness wordt elk model vanuit meerdere kijkrichtingen weergegeven bij vaste schermresoluties. Vervolgens wordt gemeten welk deel van het zichtbare oppervlak binnen één pixel veranderingen in oriëntatie vertoont. Bij lagere renderresoluties brengt de maatstaf de grotere structuren in kaart; bij hogere resoluties wordt die gevoelig voor fijnere kenmerken zoals richels, stiksels, schubben en gravures.

We gebruiken ook invoer met veel structureel detail maar eenvoudige texturen, waardoor de ambiguïteit tussen het geschilderde uiterlijk en de fysieke vorm kleiner wordt. Zo krijgen we een gericht antwoord op één vraag: hoeveel betekenisvolle geometrische structuur is op verschillende schalen behouden gebleven? De methode meet geen uitlijning, topologie, gladheid, textuurkwaliteit of bewerkbaarheid. Daarom presenteren we haar als één onderdeel van een breder evaluatiekader, en niet als een volledige maatstaf voor de kwaliteit van een asset.

Uit tests bij de lancering bleek dat Ultra 4K meer geometrisch detail opleverde dan andere toonaangevende geteste systemen. Tegelijk maakt Meshy zorgvuldig onderscheid tussen geometrisch detail en uitlijning, topologie, gladheid, textuurkwaliteit en bewerkbaarheid. Hoe zou de sector AI-gegenereerde 3D moeten evalueren als geen enkele benchmark de algehele kwaliteit van een asset meet?

Wij vinden dat AI-gegenereerde 3D op elke dimensie afzonderlijk moet worden beoordeeld, binnen de context van de beoogde workflow. Geometrisch detail, beelduitlijning, topologie, gladheid van het oppervlak, textuurkwaliteit, bewerkbaarheid en generatiesnelheid zijn allemaal van belang, maar hun belang hangt af van de taak. Een uitgangspunt voor digitaal beeldhouwen, een gameobject voor realtimegebruik en een model dat geschikt is voor 3D-printen, hebben niet dezelfde definitie van ‘beste’.

Dat betekent dat benchmarks duidelijk moeten aangeven wat ze meten. Voor claims over geometrie zijn ongetextureerde renders of kleirenders en inspectie van dichtbij essentieel. Bij beelduitlijning moet de evaluatie nagaan of vormen en onderdelen overeenkomen met de referentie. Om te beoordelen of iets klaar is voor productie, moeten ook topologie, rigging, bewerking en prestatiebeperkingen worden getest.

We vinden ook dat evaluaties transparant en reproduceerbaar moeten zijn, en van een tijdstempel moeten worden voorzien. Modellen ontwikkelen zich snel, dus een benchmark is een momentopname en geen permanente ranglijst. Het langetermijndoel van de sector zou een reeks open, multidimensionale evaluatiemethoden moeten zijn die makers en onafhankelijke onderzoekers kunnen reproduceren en volgens hun eigen workflows kunnen gebruiken.

Ultra 4K lijkt vooral bedoeld voor digitaal beeldhouwen, filmische rekwisieten, verzamelbeeldjes, gedetailleerde personages en hoofdassets. Hoe dicht zijn AI-gegenereerde assets er momenteel bij om zonder ingrijpende handmatige nabewerking rechtstreeks te worden gebruikt in professionele workflows met Blender, ZBrush, Maya of Unreal Engine?

AI-gegenereerde assets zijn al bruikbaar in professionele tools, maar hoe dicht ze bij ‘direct gebruik’ komen, hangt af van de asset en de workflow.

Voor conceptverkenning, ontwerpvoorbeelden en sommige statische of achtergrondassets kunnen gegenereerde modellen de weg van idee naar bewerkbaar 3D-startpunt verkorten. Artiesten kunnen ze importeren in Blender, ZBrush, Maya of Unreal Engine en al veel eerder de vorm, compositie en details beoordelen dan wanneer ze met een lege scène zouden beginnen.

Voor prominente assets, gerigde personages en ander veeleisend productiewerk is aanvullende voorbereiding nog altijd gebruikelijk. De topologie moet mogelijk worden aangepast aan vervorming of realtimebudgetten; materialen en texturen vereisen soms aanpassingen voor een specifieke workflow; en de uiteindelijke artistieke regie blijft een creatieve beslissing van de kunstenaar. Hoeveel nabewerking nodig is, verschilt sterk per asset en bestemming.

Ultra 4K verbetert een belangrijk onderdeel van die overdracht: de kwaliteit van het geometrische uitgangspunt. Als plooien, gravures, schubben en andere kenmerken al in de mesh aanwezig zijn, hoeven kunstenaars minder tijd te besteden aan het opnieuw opbouwen van de oppervlaktestructuur en kunnen ze meer tijd steken in het verfijnen van de asset voor het beoogde gebruik. Wij zien dit als betekenisvolle vooruitgang richting productierijpheid: kunstenaars verdwijnen niet uit het proces, maar krijgen een betere basis voor hun werk.

Meshy biedt nu Standard, Ultra 2K en Ultra 4K aan, in plaats van de maximale resolutie als standaard te hanteren. Hoe kijkt u aan tegen de afweging tussen generatiesnelheid, rekenkosten, geometrische getrouwheid en het kwaliteitsniveau dat een specifieke creatieve taak daadwerkelijk vereist?

De drie modi zijn ontworpen voor verschillende fasen en bestemmingen, niet als een eenvoudige rangorde van goed, beter en best.

Standard legt de nadruk op snelheid en iteratie. Deze modus is geschikt voor vroege verkenningen, compositietests en assets die klein in beeld blijven. Ultra 2K biedt een balans tussen getrouwheid en flexibiliteit, met zowel generatie vanuit één gezichtspunt als vanuit meerdere gezichtspunten. Ultra 4K is bedoeld voor situaties waarin geometrische details op kleine schaal essentieel zijn voor de asset, bijvoorbeeld bij beeldhouwreferenties, verzamelbeeldjes, rekwisieten in close-up of gedetailleerde personages.

De juiste keuze hangt af van de bestemming van de asset. Een achtergrondrekwisiet voor een mobiele game en een beeldje voor verzamelaars hebben niet baat bij dezelfde resolutie of hetzelfde polygonenbudget. Een hogere resolutie vereist meer rekenkracht. De nuttige vraag is dus niet: ‘Welke modus is het maximaal haalbare?’, maar: ‘Welke modus levert voor deze taak zichtbaar meerwaarde op?’

Een praktische workflow is om het onderwerp en de compositie te verkennen met Standard of Ultra 2K en vervolgens Ultra 4K te gebruiken voor de beste kandidaat, wanneer fijne geometrische details belangrijk zijn voor het eindresultaat. Zo blijft het iteratieproces snel en wordt generatie met de hoogste getrouwheid ingezet waar makers het verschil daadwerkelijk zullen zien en benutten.

Ultra 4K werkt met een geometrische resolutie van 4096³ en onbewerkte meshes kunnen vóór vereenvoudiging tot 80 miljoen driehoeken bevatten. Die schaal is waardevol wanneer de asset daarom vraagt, maar ons productprincipe is makers voor elke fase het passende kwaliteitsniveau en de juiste mate van controle te bieden, niet maximale rekenkracht als standaard in te stellen.

Worden topologie en bewerkbaarheid de volgende grote knelpunten naarmate geometrie steeds gedetailleerder wordt? Wat moet er nog gebeuren voordat professionele kunstenaars zeer gedetailleerde, door AI gegenereerde modellen net zo eenvoudig kunnen aanpassen, riggen, animeren en optimaliseren als traditioneel gemaakte assets?

Ja, topologie en bewerkbaarheid behoren tot de meest concrete uitdagingen op korte termijn. Professioneel riggen vereist een edgeflow die de anatomie en gewrichten volgt, een polygoondichtheid die voorspelbaar vervormt en meshes die voldoen aan de beperkingen van de doelengine of renderer. Door AI gegenereerde meshes kunnen veel oppervlaktedetail bevatten, maar leveren deze productiestandaarden nog niet consistent. Voor veel animatieworkflows moeten kunstenaars nog steeds eerst de topologie opnieuw opbouwen voordat ze echt met rigging aan de slag kunnen.

Hetzelfde probleem speelt bij het bewerken. Een dichte, gegenereerde mesh kan uitstekend zijn voor visuele getrouwheid of beeldhouwen, maar is niet altijd zo opgebouwd dat bewerkingen als nette edge loops selecteren, gecontroleerde sneden toevoegen, verhoudingen aanpassen of vervorming voorbereiden eenvoudig zijn. Meer semantische en procedurele controle — een ontwerpbeslissing wijzigen in plaats van het oppervlak handmatig opnieuw te bewerken — zou gegenereerde assets aanzienlijk flexibeler maken.

Omdat topologie voorafgaat aan rigging, skinning, blendshapes en fysicasimulatie, kan vooruitgang op dit gebied de volledige productiepijplijn verbeteren. Er zijn twee elkaar aanvullende mogelijkheden: generatiemodellen kunnen leren om geometrie te produceren die beter op productie is afgestemd, en geautomatiseerde nabewerking kan gedetailleerde meshes omzetten in topologie die geschikt is voor een specifieke taak. De nuttigste oplossing combineert mogelijk beide, zodat het gewenste visuele detail behouden blijft en de mesh tegelijk wordt aangepast aan de workflow die makers daadwerkelijk gebruiken.

Wat is volgens u, voorbij Ultra 4K, de volgende grote mijlpaal voor generatieve 3D: nog hogere geometrische getrouwheid, betere topologie, consistente scènes met meerdere objecten, assets die klaar zijn voor animatie, een beter begrip van de fysieke wereld of uiteindelijk modellen die complete interactieve 3D-werelden kunnen genereren?

De geometrische getrouwheid zal blijven verbeteren, maar ik denk niet dat dat de volgende mijlpaal is. De volgende mijlpaal is dat assets bruikbaar zijn in de praktijk zonder dat iemand ze hoeft te repareren. Voor iemand die 3D-print, betekent dat een model dat correct wordt gesliced en geprint en er meteen bij de eerste poging uitziet zoals bedoeld. Voor een gameteam betekent het een schone topologie, logische onderdelen en correcte UV’s, zodat de asset kan worden gerigd zonder dat de topologie eerst opnieuw moet worden opgebouwd. Tegenwoordig zijn gegenereerde assets uitstekende uitgangspunten. De mijlpaal is bereikt wanneer ze geen uitgangspunten meer zijn.

Daarna denk ik dat de grootste verandering niet in een nieuwe modelvaardigheid zit, maar in wie het werk doet. Vandaag zit er nog steeds een mens tussen het model en het resultaat: die kiest het gereedschap, herstelt de mesh en controleert of het model kan worden geprint of binnen het budget van de engine past. De volgende stap is een agent die de taak van begin tot eind uitvoert. Je beschrijft wat je wilt en waarvoor het bedoeld is, waarna het systeem de stappen plant, de tools uitvoert, zijn eigen uitvoer toetst aan dat doel en alleen bij je terugkomt voor de creatieve keuzes die aan jou zijn. Interactieve werelden zijn de logische volgende stap, maar die worden opgebouwd uit assets die eerst betrouwbaar moeten worden. Onze missie is om van elk idee een 3D-realiteit te maken, en realiteit betekent iets dat iemand kan printen, spelen of uitbrengen.

Bedankt voor het geweldige interview; lezers die meer willen weten, kunnen terecht bij Meshy.