Hannah (Linan) Zhou, Gründungsmitglied und Leiterin des Produktbereichs bei Meshy – Interviewreihe

Hannah (Linan) Zhou, Gründungsmitglied und Leiterin des Produktbereichs bei Meshy, ist eine Produktverantwortliche, die sich auf die Entwicklung und Skalierung generativer KI-Tools zur Erstellung von 3D-Inhalten konzentriert. Bei Meshy wirkt sie an der Produktstrategie des Unternehmens für Anwendungen im Endkunden- und Unternehmensbereich mit, darunter 3D-Generierung, KI-Agenten, Entwickler-APIs und Arbeitsabläufe, die generative 3D-Technologie in professionelle kreative Produktionsprozesse integrieren. Zhou hat ihre Arbeit als auf den Aufbau und die Skalierung der generativen 3D-KI-Plattform von Meshy ausgerichtet beschrieben. Ein besonderer Schwerpunkt liegt darauf, die Technologie für Kreative zugänglich zu machen und zugleich die für Unternehmenskunden erforderlichen Funktionen für Sicherheit, Zusammenarbeit und Analysen sowie die nötige Infrastruktur zu entwickeln. Zu ihrem Werdegang gehört ein weiterführendes Studium an der Brandeis University mit den Schwerpunkten maschinelles Lernen, Datenanalyse, Python, R und Business Intelligence.

Meshy ist eine KI-gestützte Plattform zur Erstellung von 3D-Inhalten, die dafür entwickelt wurde, die Erstellung produktionsreifer 3D-Assets erheblich schneller und zugänglicher zu machen. Die Plattform kann Textbeschreibungen, Fotografien, Skizzen und Konzeptzeichnungen in 3D-Modelle umwandeln und bietet außerdem KI-Texturierung, Animation, automatisches Rigging, Entwickler-APIs und dialogbasierte 3D-Erstellung über den 3D Agent. Die Technologie kommt in der Spielebranche, im 3D-Druck, in der erweiterten und virtuellen Realität, im Produktdesign, im Bildungswesen und in weiteren Kreativbranchen zum Einsatz. Meshy gibt an, mehr als 12 Millionen registrierte Nutzer und über 100 Millionen erstellte Modelle zu haben. Die Tools des Unternehmens werden von Teams großer Technologie-, Spiele-, Design- und Fertigungsunternehmen genutzt.

Ihre berufliche Laufbahn begann in der Wirtschaftsprüfung und im Finanzwesen, bevor Sie einen großen Wechsel in die Technologiebranche vollzogen und Gründungsmitglied und Leiterin des Produktbereichs bei Meshy wurden. Was hat Sie ursprünglich an generativer 3D-Technologie gereizt, und wie hat Ihr analytischer Hintergrund Ihre Einschätzung geprägt, ob eine neue Funktion wirklich nützlich ist und nicht nur optisch beeindruckt?

Den ersten Teil meiner beruflichen Laufbahn war ich in der Wirtschaftsprüfung und im Finanzwesen tätig. Dort habe ich gelernt, ein Unternehmen aus mehreren Blickwinkeln gleichzeitig zu betrachten, denn keine einzelne Kennzahl verrät, ob es gesund ist. So bewerte ich heute ein Produkt. Eine beeindruckende Demo hat einen Test bestanden. Bevor wir etwas entwickeln, soll es mehrere Tests bestehen: Schafft es einen echten Mehrwert für die Nutzer? Wie groß ist der Markt für diesen Mehrwert? Was kostet es uns, ihn bereitzustellen? Und steht dahinter ein tragfähiges Geschäftsmodell? Viele optisch beeindruckende Funktionen scheitern an einem dieser Tests. Die Funktionen, deren Entwicklung sich lohnt, bestehen in der Regel alle.

Was mich an 3D gereizt hat, ist eine einfache Überzeugung: Jeder kann in 3D kreativ sein. Kinder bauen Dinge aus Bauklötzen und Knete, lange bevor es ihnen jemand beibringt. Was die Menschen davon abhält, ist nicht mangelndes Können, sondern die verfügbaren Werkzeuge. Für die herkömmliche 3D-Erstellung braucht man jahrelange Übung mit Software, die die meisten noch nie geöffnet haben. Ich wollte ein Produkt entwickeln, das diese Hürde beseitigt, damit sowohl ein siebenjähriges Kind als auch eine siebzigjährige Großmutter ohne diese Vorkenntnisse etwas in 3D gestalten können.

Ultra 4K konzentriert sich gezielt auf die Geometrieauflösung in 4K und nicht auf die Texturauflösung. Warum ist es für Kreative, denen der Unterschied vielleicht nicht sofort klar ist, zu einer so wichtigen Herausforderung für KI-generierte 3D-Inhalte geworden, den tatsächlichen physischen Detailgrad einer erzeugten Oberfläche zu erhöhen?

Geometrie und Textur erfüllen unterschiedliche Aufgaben. Die Geometrie definiert die tatsächliche Oberfläche eines Assets; die Textur beschreibt dessen visuelles Erscheinungsbild. Eine Textur kann Schuppen, Nähte oder eine Gravur andeuten, doch echte Geometrie verändert die Silhouette, reagiert auf natürliche Weise auf Licht, wirft Schatten und bleibt beim Modellieren, Rendern und im 3D-Druck Teil des Meshes.

In den vergangenen Jahren hat die Branche große Fortschritte bei der Erfassung der Gesamtstruktur und der Ausrichtung gemacht. Diese Herausforderungen sind noch nicht bewältigt, doch mit steigender Grundqualität richten Kreative ihren Blick naturgemäß auf Details. Es geht nicht mehr nur darum, ob das Modell insgesamt die richtige Form hat, sondern auch darum, ob die Details, die ihm seinen Charakter verleihen – die Gravur auf einer Rüstung, die Schuppen eines Wesens oder die Nähte an einem Riemen –, tatsächlich in der Geometrie vorhanden sind.

Für Kreative ist das wichtig, denn jedes fehlende Detail bedeutet später zusätzliche manuelle Arbeit. Ultra 4K soll die Qualität des Ausgangspunkts verbessern, damit Künstler weniger Zeit darauf verwenden müssen, grundlegende Oberflächenstrukturen nachzubilden, und mehr Zeit haben, das Asset im Hinblick auf ihre eigenen kreativen Ziele zu verfeinern.

Meshy zufolge treten schwerwiegende strukturelle Fehler wie beschädigte Silhouetten oder zusätzliche Gliedmaßen inzwischen seltener auf. Damit bleibt der geometrische Feinschliff als eines der schwierigeren ungelösten Probleme. Welche technischen Herausforderungen machen Merkmale wie Schuppen, Falten, Gravuren und geschnitzte Oberflächen für generative Modelle besonders schwierig?

Feine geometrische Merkmale sind schwierig, weil sie sehr viel kleiner sind als das Gesamtobjekt. Ein Modell kann zwar die Silhouette eines Drachen erfassen, aber dennoch die Struktur der einzelnen Schuppen verfehlen. Oder es bildet eine Rüstung nach, glättet dabei aber ihre eingravierten Linien.

Bei der Erzeugung von 3D-Inhalten aus einem 2D-Bild besteht außerdem eine grundsätzliche Mehrdeutigkeit. Ein farbiges Muster kann Farbe, Textur, einen Schatten oder eine physische Erhebung darstellen. Das Modell muss entscheiden, welche visuellen Signale als tatsächliche Geometrie umgesetzt werden sollen, und diese Strukturen anschließend über die gesamte Oberfläche hinweg konsistent rekonstruieren.

Schließlich müssen die Details die gesamte Pipeline überstehen. Bei der hochauflösenden Generierung, der Mesh-Extraktion und der Vereinfachung müssen aussagekräftige Merkmale erhalten bleiben, ohne zu Rauschen oder einer unnötig hohen Polygonzahl zu werden. Die Herausforderung besteht darin, Details zu erzeugen, die in sich stimmig und für Kreative nützlich sind – nicht einfach nur mehr Oberflächenvariation.

Welche grundlegenden Änderungen haben Ultra 4K ermöglicht, und betrafen die wichtigsten Fortschritte das zugrunde liegende Modell, die Trainingsdaten, die Rekonstruktionstechniken, die Inferenzpipeline oder die Art und Weise, wie Meshy 3D-Geometrie darstellt?

Ultra 4K ist das Ergebnis von Verbesserungen entlang der gesamten Geometrie-Pipeline und nicht einer einzelnen isolierten Änderung. Wir haben Meshys Geometriedarstellung und Generierungs-Backbone von 2048³ auf 4096³ skaliert und dies mit einer hochpräzisen Mesh-Extraktion und -Vereinfachung kombiniert. So wird die zusätzliche Auflösung in aussagekräftige Oberflächenstrukturen umgesetzt und nicht bloß in eine höhere Polygonzahl.

In diesem Maßstab arbeitet das Modell in einem Raum mit Milliarden Voxeln. Ein unbearbeitetes Ultra-4K-Mesh kann vor der Vereinfachung bis zu 80 Millionen Dreiecke enthalten. Daher sind die Extraktions- und Vereinfachungsschritte entscheidend, um feine Details zu erhalten und zugleich ein Modell zu erzeugen, mit dem Kreative arbeiten können.

Ultra 4K unterstützt derzeit die Generierung aus einer Einzelansicht, während Ultra 2K sowohl für Einzelansichten als auch für Mehransichten verfügbar ist. Die Unterstützung von Mehransichten für Ultra 4K folgt, sobald sie denselben Qualitätsmaßstab erfüllt.

Meshy nutzt ein Normalen-Rendering mit mehreren Auflösungsstufen, um zu messen, wie viel geometrische Struktur in unterschiedlichen Maßstäben erhalten bleibt, ohne sich auf Texturen zu stützen. Warum haben Sie diese Bewertungsmethode gewählt, und was macht sie sichtbar, das bei herkömmlichen visuellen Vergleichen oder Geometrie-Benchmarks möglicherweise verborgen bleibt?

Wenn es ausdrücklich um Geometrie geht, benötigen wir eine Bewertungsmethode, die die Oberfläche selbst isoliert betrachtet. Texturen, Materialien, Beleuchtung und Nachbearbeitung können eine relativ flache Oberfläche sehr detailreich erscheinen lassen. Die Polygonzahl allein sagt dagegen nichts darüber aus, ob diese Polygone eine aussagekräftige Struktur bilden.

Für unseren Detail-Richness-Benchmark wird jedes Modell aus mehreren Blickrichtungen bei festgelegten Bildschirmauflösungen gerendert. Gemessen wird, welcher Anteil der sichtbaren Oberfläche innerhalb eines Pixels Orientierungsänderungen aufweist. Bei niedrigeren Renderauflösungen erfasst die Kennzahl eher die großflächige Struktur; bei höheren Auflösungen reagiert sie stärker auf feinere Merkmale wie Grate, Nähte, Schuppen und Gravuren.

Wir verwenden außerdem Eingaben mit vielen strukturellen Details, aber einfachen Texturen. Dadurch lässt sich die Mehrdeutigkeit zwischen gemalter Optik und physischer Form verringern. So erhalten wir eine gezielte Antwort auf die Frage, wie viel aussagekräftige geometrische Struktur in unterschiedlichen Maßstäben erhalten geblieben ist. Die Methode misst weder Ausrichtung noch Topologie, Glätte, Texturqualität oder Bearbeitbarkeit. Deshalb präsentieren wir sie als einen Teil eines umfassenderen Bewertungsrahmens und nicht als vollständiges Maß für die Qualität eines Assets.

Bei Ihren Tests zum Start zeigte Ultra 4K mehr geometrische Details als andere führende getestete Systeme. Gleichzeitig unterscheidet Meshy sorgfältig zwischen geometrischen Details und Ausrichtung, Topologie, Glätte, Texturqualität und Bearbeitbarkeit. Wie sollte die Branche die Bewertung KI-generierter 3D-Modelle angehen, wenn kein einzelner Benchmark die Gesamtqualität eines Assets erfasst?

KI-generierte 3D-Modelle sollten unserer Ansicht nach nach einzelnen Dimensionen und im Kontext des vorgesehenen Workflows bewertet werden. Geometrische Details, Bildausrichtung, Topologie, Oberflächenglätte, Texturqualität, Bearbeitbarkeit und Generierungsgeschwindigkeit sind allesamt wichtig. Ihr Stellenwert hängt jedoch von der jeweiligen Aufgabe ab. Ein Ausgangspunkt für digitales Sculpting, ein Echtzeit-Spielobjekt und ein 3D-druckbares Modell haben nicht dieselbe Definition von „optimal“.

Benchmarks sollten daher genau angeben, was sie messen. Bei Aussagen zur Geometrie sind untexturierte oder wie aus Ton modelliert wirkende Renderings sowie eine genaue Prüfung aus der Nähe unverzichtbar. Bei der Bildausrichtung sollte die Bewertung darauf abzielen, ob Formen und Teile mit der Vorlage übereinstimmen. Für die Produktionsreife müssen außerdem Topologie, Rigging, Bearbeitung und Leistungsanforderungen geprüft werden.

Wir sind außerdem der Ansicht, dass Bewertungen transparent, reproduzierbar und mit einem Zeitstempel versehen sein sollten. Modelle entwickeln sich schnell weiter, daher ist ein Benchmark eine Momentaufnahme und keine dauerhafte Rangliste. Langfristig sollte die Branche offene, mehrdimensionale Bewertungsmethoden entwickeln, die Kreative und unabhängige Forschende reproduzieren und entsprechend ihren eigenen Workflows nutzen können.

Ultra 4K scheint sich besonders an digitales Sculpting, Filmrequisiten, Sammlerfiguren, detailreiche Charaktere und zentrale Assets zu richten. Wie nah sind KI-generierte Assets daran, ohne umfangreiche manuelle Nachbearbeitung direkt in professionellen Workflows mit Blender, ZBrush, Maya oder Unreal Engine eingesetzt zu werden?

KI-generierte Assets sind in professionellen Tools bereits nützlich. Wie nah sie am „direkten Einsatz“ sind, hängt jedoch vom jeweiligen Asset und Workflow ab.

Bei der Erkundung von Konzepten, als Designreferenz und für bestimmte statische oder Hintergrund-Assets können generierte Modelle den Weg von der Idee zu einem bearbeitbaren 3D-Ausgangspunkt verkürzen. Künstler können sie in Blender, ZBrush, Maya oder Unreal Engine importieren und Form, Komposition und Details viel früher beurteilen, als wenn sie mit einer leeren Szene beginnen müssten.

Bei Hero-Assets, geriggten Figuren und anderen anspruchsvollen Produktionsaufgaben ist zusätzliche Vorbereitung nach wie vor üblich. Die Topologie muss möglicherweise an Verformungen oder Echtzeitbudgets angepasst werden; Materialien und Texturen erfordern unter Umständen workflow-spezifische Anpassungen; und die endgültige künstlerische Ausrichtung bleibt eine kreative Entscheidung der Künstler. Wie viel Nachbearbeitung nötig ist, hängt stark vom jeweiligen Asset und seinem Verwendungszweck ab.

Ultra 4K verbessert einen wichtigen Aspekt dieser Übergabe: die Qualität der geometrischen Ausgangsbasis. Sind Falten, Gravuren, Schuppen und andere Merkmale bereits im Mesh enthalten, müssen Künstler weniger Zeit darauf verwenden, die Oberflächenstruktur neu aufzubauen, und können mehr Zeit in die Verfeinerung des Assets für seinen vorgesehenen Zweck investieren. Wir sehen darin einen bedeutenden Fortschritt auf dem Weg zur Produktionsreife – nicht darin, Künstler aus dem Prozess zu entfernen, sondern ihnen eine bessere Grundlage für ihre Arbeit zu bieten.

Meshy bietet jetzt Standard, Ultra 2K und Ultra 4K an, statt die maximale Auflösung als Standardeinstellung zu behandeln. Wie beurteilen Sie den Zielkonflikt zwischen Generierungsgeschwindigkeit, Rechenkosten, geometrischer Detailtreue und dem Qualitätsniveau, das eine bestimmte kreative Aufgabe tatsächlich erfordert?

Die drei Modi sind für unterschiedliche Produktionsphasen und Verwendungszwecke konzipiert und bilden keine einfache Rangfolge von gut über besser bis am besten.

Bei Standard stehen Geschwindigkeit und schnelles Iterieren im Vordergrund. Der Modus eignet sich für erste Erkundungen, Kompositionstests und Assets, die auf dem Bildschirm klein bleiben. Ultra 2K bietet eine ausgewogene Kombination aus Detailtreue und Flexibilität, einschließlich Generierung aus einer oder mehreren Ansichten. Ultra 4K ist für Fälle gedacht, in denen feine geometrische Strukturen für das Asset entscheidend sind – zum Beispiel bei Referenzen für das Sculpting, Sammlerfiguren, Requisiten in Nahaufnahme oder detailreichen Charakteren.

Die richtige Wahl hängt davon ab, wofür das Asset vorgesehen ist. Eine Hintergrundrequisite für ein Mobile Game und eine Sammlerfigur profitieren nicht von derselben Auflösung oder demselben Polygonbudget. Eine höhere Auflösung erfordert mehr Rechenleistung. Daher lautet die entscheidende Frage nicht: „Welcher Modus bietet das Maximum?“, sondern: „Welcher Modus bringt bei dieser Aufgabe einen sichtbaren Mehrwert?“

Ein praktischer Arbeitsablauf besteht darin, Motiv und Komposition zunächst mit Standard oder Ultra 2K zu erkunden und anschließend für den aussichtsreichsten Entwurf Ultra 4K zu verwenden, wenn feine geometrische Details für das Endergebnis wichtig sind. So bleibt das Iterieren schnell, während die Generierung mit höchster Detailtreue dort eingesetzt wird, wo Kreative den Unterschied tatsächlich sehen und nutzen werden.

Ultra 4K arbeitet mit einer Geometrieauflösung von 4096³, und unbearbeitete Meshes können vor der Vereinfachung bis zu 80 Millionen Dreiecke umfassen. Diese Größenordnung ist wertvoll, wenn das Asset sie erfordert. Unser Produktprinzip ist jedoch, Kreativen für jede Phase das passende Qualitäts- und Kontrollniveau zu bieten – nicht, den maximalen Rechenaufwand zum Standard zu machen.

Werden Topologie und Editierbarkeit zu den nächsten großen Engpässen, wenn die Geometrie immer detailreicher wird? Welche Arbeit ist noch nötig, damit sich hochdetaillierte, KI-generierte Modelle für professionelle Künstler ebenso leicht bearbeiten, riggen, animieren und optimieren lassen wie traditionell erstellte Assets?

Ja, Topologie und Editierbarkeit zählen zu den greifbarsten Herausforderungen der nahen Zukunft. Professionelles Rigging hängt von einem Kantenverlauf ab, der Anatomie und Gelenken folgt, von einer Polygonverteilung, die sich vorhersehbar verformen lässt, und von Meshes, die den Anforderungen der Ziel-Engine oder des Renderers entsprechen. KI-generierte Meshes können reich an Oberflächendetails sein, erfüllen diese Produktionskonventionen aber noch nicht zuverlässig. Bei vielen Animationsabläufen müssen Künstler vor dem eigentlichen Rigging nach wie vor zunächst eine Retopologie vornehmen.

Dasselbe Problem betrifft die Bearbeitung. Ein dichtes, generiertes Mesh kann sich hervorragend für eine hohe visuelle Detailtreue oder fürs Sculpting eignen, ist aber nicht immer so aufgebaut, dass sich damit Vorgänge wie das Auswählen sauberer Kantenschleifen, das Hinzufügen kontrollierter Schnitte, das Ändern von Proportionen oder die Vorbereitung auf Verformungen gut umsetzen lassen. Mehr semantische und prozedurale Kontrolle – also eine Designentscheidung zu ändern, statt die Oberfläche manuell neu zu bearbeiten – würde generierte Assets deutlich flexibler machen.

Da die Topologie den Arbeitsschritten Rigging, Skinning, Blend Shapes und Physiksimulation vorgelagert ist, könnten Fortschritte in diesem Bereich die gesamte Produktionspipeline verbessern. Dafür gibt es zwei sich ergänzende Ansätze: Generierungsmodelle können lernen, geometrische Strukturen zu erzeugen, die stärker auf Produktionsanforderungen ausgerichtet sind, und automatisierte Nachbearbeitung kann detailreiche Meshes in eine aufgabenspezifische Topologie umwandeln. Die nützlichste Lösung könnte beide Ansätze kombinieren: Sie bewahrt die von Kreativen gewünschten visuellen Details und passt das Mesh zugleich an den tatsächlich verwendeten Arbeitsablauf an.

Welche große Hürde kommt Ihrer Meinung nach nach Ultra 4K für generative 3D-Technologie: noch höhere geometrische Detailtreue, eine bessere Topologie, konsistente Szenen mit mehreren Objekten, animationsfertige Assets, ein besseres physikalisches Verständnis oder schließlich Modelle, die vollständige interaktive 3D-Welten erzeugen können?

Die geometrische Detailtreue wird sich weiter verbessern, aber ich glaube nicht, dass darin die nächste große Hürde liegt. Entscheidend sind Assets, die sich in der Praxis nutzen lassen, ohne dass ein Mensch sie reparieren muss. Für Nutzerinnen und Nutzer des 3D-Drucks bedeutet das ein Modell, das sich beim ersten Versuch slicen und drucken lässt und die gewünschte Form erhält. Für ein Game-Team bedeutet es eine saubere Topologie, sinnvoll aufgeteilte Teile und korrekte UV-Koordinaten, sodass sich das Asset ohne vorherige Retopologie riggen lässt. Heute sind generierte Assets hervorragende Ausgangspunkte. Die entscheidende Schwelle ist erreicht, wenn sie keine bloßen Ausgangspunkte mehr sind.

Danach besteht der größte Wandel meiner Meinung nach nicht in einer weiteren Fähigkeit des Modells, sondern darin, wer die Arbeit erledigt. Heute steht noch immer ein Mensch zwischen dem Modell und dem Ergebnis: Er wählt das Werkzeug aus, korrigiert das Mesh und prüft, ob es sich drucken lässt oder in das Budget der Engine passt. Der nächste Schritt ist ein Agent, der die Aufgabe von Anfang bis Ende übernimmt. Man beschreibt, was man möchte und wofür es gedacht ist, und das System plant die einzelnen Schritte, führt die Werkzeuge aus, prüft sein Ergebnis anhand des Ziels und kommt nur dann auf einen zurück, wenn kreative Entscheidungen gefragt sind, die man selbst treffen muss. Interaktive Welten sind die natürliche Weiterentwicklung, doch sie werden aus Assets entstehen, die zunächst zuverlässig sein müssen. Unsere Mission ist es, jede Idee in eine 3D-Realität zu verwandeln. Realität bedeutet dabei etwas, das man drucken, spielen oder ausliefern kann.

Vielen Dank für das großartige Interview. Leserinnen und Leser, die mehr erfahren möchten, sollten Meshy besuchen.