Hannah (Linan) Zhou, membre fondatrice et directrice produit chez Meshy – Série d’entretiens

Hannah (Linan) Zhou, membre fondatrice et directrice produit chez Meshy, dirige le développement et le déploiement d’outils d’IA générative pour la création de contenus 3D. Chez Meshy, elle contribue à définir la stratégie produit de l’entreprise pour les applications grand public et professionnelles, notamment la génération 3D, les agents d’IA, les API destinées aux développeurs et les flux de travail conçus pour intégrer la 3D générative aux processus de création professionnels. Zhou explique que son travail consiste à développer et à déployer la plateforme d’IA générative 3D de Meshy, en mettant particulièrement l’accent sur l’accessibilité de cette technologie pour les créateurs, tout en développant les capacités de sécurité, de collaboration et d’analyse, ainsi que l’infrastructure dont les entreprises ont besoin. Elle a suivi des études supérieures à Brandeis University, axées sur l’apprentissage automatique, l’analyse de données, Python, R et l’informatique décisionnelle.

Meshy est une plateforme de création de contenus 3D reposant sur l’IA, conçue pour accélérer considérablement la création de ressources 3D prêtes pour la production et la rendre plus accessible. Elle peut transformer des descriptions textuelles, des photographies, des croquis et des concept arts en modèles 3D. Elle propose également la texturation par IA, l’animation, le rigging automatique, des API destinées aux développeurs et la création conversationnelle en 3D grâce à son agent 3D. Sa technologie est utilisée dans les jeux vidéo, l’impression 3D, la réalité augmentée et virtuelle, la conception de produits, l’éducation et d’autres industries créatives. Meshy indique compter plus de 12 millions d’utilisateurs inscrits et avoir permis de créer plus de 100 millions de modèles. Ses outils sont utilisés par des équipes de grandes entreprises des secteurs des technologies, des jeux vidéo, du design et de la fabrication.

Vous avez commencé votre carrière dans l’audit et la finance, avant de faire un grand virage vers la technologie et de devenir membre fondatrice et directrice produit chez Meshy. Qu’est-ce qui vous a d’abord attirée vers la 3D générative, et en quoi votre expérience analytique a-t-elle influencé votre manière d’évaluer si une nouvelle fonctionnalité est réellement utile, plutôt que simplement impressionnante sur le plan visuel ?

J’ai commencé ma carrière dans l’audit et la finance. Cette expérience m’a appris à examiner une entreprise sous plusieurs angles à la fois, car aucun chiffre ne suffit à lui seul pour savoir si elle se porte bien. C’est ainsi que j’évalue un produit aujourd’hui. Une démonstration impressionnante a passé un premier test. Avant de développer quoi que ce soit, je veux que le projet en passe plusieurs : apporte-t-il une réelle valeur à l’utilisateur ? Quelle est la taille du marché pour cette valeur ? Combien nous coûte sa mise en œuvre ? Et repose-t-il sur un modèle économique solide ? Beaucoup de fonctionnalités visuellement saisissantes échouent à l’un de ces tests. Celles qui méritent d’être développées ont tendance à les réussir tous.

Ce qui m’a attirée vers la 3D, c’est une conviction simple : tout le monde peut créer en 3D. Les enfants construisent des choses avec des blocs et de l’argile bien avant qu’on le leur apprenne. Ce qui freine les gens, ce n’est pas leur aptitude, mais les outils. La création 3D traditionnelle exige des années de formation sur des logiciels que la plupart des gens n’ont jamais ouverts. Je voulais créer un produit qui élimine cet obstacle, afin qu’un enfant de sept ans comme une grand-mère de soixante-dix ans puissent réaliser quelque chose en 3D sans avoir suivi la moindre formation.

Ultra 4K porte spécifiquement sur la résolution géométrique 4K, et non sur la résolution des textures. Pour les créateurs qui ne saisissent pas forcément cette différence au premier abord, pourquoi l’amélioration du niveau de détail physique réel d’une surface générée est-elle devenue un enjeu si important pour la 3D générée par l’IA ?

La géométrie et la texture remplissent des fonctions différentes. La géométrie définit la surface réelle d’une ressource ; la texture en décrit l’apparence visuelle. Une texture peut suggérer des écailles, des coutures ou une gravure, mais la géométrie réelle modifie la silhouette, réagit naturellement à la lumière, projette des ombres et reste intégrée au maillage dans les processus de sculpture, de rendu et d’impression 3D.

Au cours des dernières années, le secteur a beaucoup progressé sur la structure générale et l’alignement. Ces difficultés ne sont pas résolues, mais, à mesure que le niveau de base s’améliore, les créateurs regardent naturellement de plus près. Il ne s’agit plus seulement de savoir si le modèle a la bonne forme générale, mais aussi si les détails qui lui donnent son caractère — la gravure d’une armure, les écailles d’une créature ou les coutures d’une sangle — sont réellement présents dans la géométrie.

Pour les créateurs, c’est important, car chaque détail manquant devient une tâche manuelle à effectuer en aval. Ultra 4K vise à améliorer la qualité du point de départ, afin que les artistes passent moins de temps à reconstruire la structure de base de la surface et davantage à peaufiner la ressource en fonction de leurs objectifs créatifs.

Meshy estime que les problèmes structurels majeurs, comme les silhouettes déformées ou les membres supplémentaires, sont devenus moins fréquents. Le niveau de détail géométrique fin reste donc l’un des problèmes les plus difficiles à résoudre. Quelles difficultés techniques rendent particulièrement complexes, pour les modèles génératifs, la reproduction de caractéristiques telles que les écailles, les plis, les gravures et les surfaces sculptées ?

Les détails géométriques fins sont difficiles à reproduire, car ils se situent à une échelle bien plus petite que l’objet dans son ensemble. Un modèle peut comprendre la silhouette d’un dragon tout en passant à côté de la structure de chaque écaille, ou reproduire une pièce d’armure en lissant ses lignes gravées.

La génération d’un objet 3D à partir d’une image 2D comporte également une ambiguïté inhérente. Un motif coloré peut représenter de la peinture, une texture, une ombre ou une arête physique. Le modèle doit déterminer quels signaux visuels doivent devenir de la géométrie réelle, puis reconstruire ces structures de manière cohérente sur toute la surface.

Enfin, les détails doivent être préservés tout au long de la chaîne de traitement. La génération haute résolution, l’extraction du maillage et sa simplification doivent préserver les caractéristiques importantes sans les transformer en bruit ni entraîner une densité de polygones inutile. Le défi consiste à produire des détails cohérents et utiles aux créateurs, et pas simplement à multiplier les variations de surface.

Qu’est-ce qui a changé en coulisses pour rendre Ultra 4K possible, et les avancées les plus importantes concernaient-elles le modèle sous-jacent, les données d’entraînement, les techniques de reconstruction, la chaîne d’inférence ou la manière dont Meshy représente la géométrie 3D ?

Ultra 4K est le fruit d’améliorations apportées à l’ensemble de la chaîne de traitement de la géométrie, plutôt que d’un changement isolé. Nous avons fait passer la représentation géométrique et le modèle génératif de base de Meshy de 2048³ à 4096³, puis associé cette évolution à une extraction du maillage et à une simplification de haute précision, afin que la résolution supplémentaire se traduise par une structure de surface pertinente, et pas seulement par un nombre de polygones plus élevé.

À cette échelle, le modèle fonctionne dans un espace contenant des milliards de voxels. Avant simplification, un maillage Ultra 4K brut peut contenir jusqu’à 80 millions de triangles. Les étapes d’extraction et de simplification sont donc essentielles pour préserver les détails les plus fins tout en produisant un élément que les créateurs peuvent exploiter.

Ultra 4K prend actuellement en charge la génération à partir d’une seule vue, tandis qu’Ultra 2K est disponible pour les processus de travail à vue unique et à vues multiples. La prise en charge des vues multiples pour Ultra 4K sera ajoutée lorsque cette version atteindra le même niveau de qualité.

Meshy utilise un rendu des normales à plusieurs résolutions pour mesurer la quantité de structure géométrique préservée à différentes échelles, sans s’appuyer sur les textures. Pourquoi avoir choisi cette méthode d’évaluation, et que permet-elle de révéler que des comparaisons visuelles classiques ou des mesures géométriques de référence peuvent ne pas déceler ?

Lorsqu’il s’agit précisément d’évaluer la géométrie, il nous faut une méthode qui isole la surface elle-même. Les textures, les matériaux, l’éclairage et le post-traitement peuvent donner à une surface relativement plane une apparence très détaillée, tandis que le nombre de polygones, à lui seul, ne permet pas de savoir si ceux-ci forment une structure pertinente.

Notre indicateur Detail Richness effectue le rendu de chaque modèle depuis plusieurs directions à des résolutions d’écran fixes, puis mesure la part de la surface visible qui présente des variations d’orientation à l’intérieur d’un pixel. À basse résolution de rendu, l’indicateur saisit les grandes structures ; à haute résolution, il devient sensible à des détails plus fins comme les arêtes, les coutures, les écailles et les gravures.

Nous utilisons également des entrées présentant une structure très détaillée, mais des textures simples, ce qui réduit l’ambiguïté entre l’apparence peinte et la forme physique. Cela nous apporte une réponse ciblée à une question : quelle quantité de structure géométrique pertinente a été préservée à différentes échelles ? Cette méthode ne mesure ni l’alignement, ni la topologie, ni la régularité de la surface, ni la qualité des textures, ni la facilité de modification. Nous la présentons donc comme un élément d’un cadre d’évaluation plus large, et non comme une mesure complète de la qualité d’un élément 3D.

Lors des tests effectués au lancement, Ultra 4K a produit davantage de détails géométriques que les autres systèmes de pointe évalués. Meshy prend toutefois soin de distinguer les détails géométriques de l’alignement, de la topologie, de la régularité de la surface, de la qualité des textures et de la facilité de modification. Comment le secteur devrait-il envisager l’évaluation de la 3D générée par l’IA lorsqu’aucun indicateur unique ne permet de rendre compte de la qualité globale d’un élément 3D ?

Nous estimons que la 3D générée par l’IA doit être évaluée selon plusieurs dimensions et en fonction du processus de travail prévu. Les détails géométriques, l’alignement sur l’image, la topologie, la régularité de la surface, la qualité des textures, la facilité de modification et la vitesse de génération comptent tous, mais leur importance varie selon la tâche. Un modèle destiné à servir de point de départ pour la sculpture numérique, un élément de décor pour un jeu en temps réel et un modèle imprimable en 3D ne répondent pas à la même définition du « meilleur ».

Les indicateurs de référence doivent donc préciser clairement ce qu’ils mesurent. Pour évaluer une affirmation portant sur la géométrie, il est indispensable d’utiliser des rendus sans texture ou à l’aspect d’argile et d’examiner le modèle de près. Pour évaluer l’alignement sur une image, il faut vérifier si les formes et les différentes parties correspondent à la référence. Quant à l’aptitude à la production, elle nécessite aussi de tester la topologie, le rigging, les possibilités de modification et les contraintes de performance.

Nous pensons également que l’évaluation doit être transparente, reproductible et datée. Les modèles évoluent rapidement : un indicateur de référence constitue donc un instantané, et non un classement permanent. À long terme, le secteur devrait se doter d’un ensemble de méthodes d’évaluation ouvertes et multidimensionnelles que les créateurs et les chercheurs indépendants pourraient reproduire et adapter à leurs propres processus de travail.

Ultra 4K semble particulièrement adapté à la sculpture numérique, aux accessoires cinématographiques, aux figurines de collection, aux personnages détaillés et aux éléments principaux d’une scène. Dans quelle mesure les éléments générés par l’IA peuvent-ils désormais être intégrés directement aux processus de travail professionnels dans Blender, ZBrush, Maya ou Unreal Engine sans nécessiter d’importants travaux de nettoyage manuel ?

Les éléments générés par l’IA sont déjà utiles dans les outils professionnels, mais leur aptitude à être « utilisés directement » dépend de l’élément concerné et du processus de travail.

Pour l’exploration de concepts, les références de conception et certains éléments statiques ou d’arrière-plan, les modèles générés peuvent raccourcir le passage de l’idée à un modèle 3D de départ modifiable. Les artistes peuvent les importer dans Blender, ZBrush, Maya ou Unreal Engine et commencer à évaluer la forme, la composition et les détails bien plus tôt que s’ils partaient d’une scène vide.

Pour les éléments vedettes, les personnages riggés et les autres travaux de production exigeants, une préparation supplémentaire reste courante. La topologie peut devoir être adaptée aux déformations ou aux contraintes de performance en temps réel ; les matériaux et les textures peuvent nécessiter des ajustements propres au flux de travail ; et la direction artistique finale demeure une décision créative qui revient à l’artiste. L’ampleur du travail de retouche varie considérablement selon l’élément et sa destination.

Ultra 4K améliore un aspect important de cette transition : la qualité du point de départ géométrique. Lorsque les plis, les gravures, les écailles et d’autres détails sont déjà présents dans le maillage, les artistes peuvent consacrer moins de temps à reconstruire la structure de la surface et davantage à peaufiner l’élément en fonction de l’usage prévu. Nous y voyons une avancée notable vers la préparation à la production — non pas l’éviction des artistes du processus, mais une meilleure base pour leur travail.

Meshy propose désormais les modes Standard, Ultra 2K et Ultra 4K, au lieu de faire de la résolution maximale le réglage par défaut. Comment envisagez-vous le compromis entre la vitesse de génération, le coût de calcul, la fidélité géométrique et le niveau de qualité réellement nécessaire pour une tâche créative donnée ?

Les trois modes sont conçus pour répondre à différents stades du processus et à différentes destinations, plutôt que de former une simple échelle du bon au meilleur.

Standard privilégie la vitesse et l’itération. Ce mode convient à l’exploration initiale, aux essais de composition et aux éléments qui resteront de petite taille à l’écran. Ultra 2K offre un équilibre entre fidélité et flexibilité, avec une génération à partir d’une seule vue ou de plusieurs vues. Ultra 4K est destiné aux cas où les détails géométriques à petite échelle sont essentiels, par exemple pour des références de sculpture, des figurines de collection, des accessoires en gros plan ou des personnages détaillés.

Le bon choix dépend de la destination de l’élément. Un accessoire d’arrière-plan pour un jeu mobile et une figurine de collection ne tirent pas parti de la même résolution ni du même budget de polygones. Une résolution plus élevée exige davantage de calcul ; la question utile n’est donc pas « Quel mode offre la résolution maximale ? », mais « Quel mode apporte une différence visible pour cette tâche ? »

Dans la pratique, on peut explorer le sujet et la composition avec Standard ou Ultra 2K, puis utiliser Ultra 4K pour la meilleure proposition lorsque la finesse des détails géométriques est importante pour le résultat final. On garde ainsi des itérations rapides tout en réservant la génération de la plus haute fidélité aux cas où les créateurs verront et exploiteront réellement la différence.

Ultra 4K fonctionne avec une résolution géométrique de 4096³, et les maillages bruts peuvent atteindre jusqu’à 80 millions de triangles avant simplification. Ce niveau de détail est précieux lorsque l’élément le justifie, mais notre principe produit consiste à offrir aux créateurs le niveau de qualité et de contrôle adapté à chaque étape, et non à faire du calcul maximal le réglage par défaut.

À mesure que la géométrie gagne en détail, la topologie et la facilité de modification deviennent-elles les prochains grands goulets d’étranglement ? Quel travail reste-t-il à accomplir pour que les modèles générés par l’IA très détaillés soient aussi faciles à modifier, à rigger, à animer et à optimiser que les éléments créés selon les méthodes traditionnelles ?

Oui, la topologie et la facilité de modification comptent parmi les défis les plus concrets à court terme. Un rigging professionnel nécessite un flux d’arêtes qui suit l’anatomie et les articulations, une densité de polygones permettant des déformations prévisibles et des maillages conformes aux contraintes du moteur ou du moteur de rendu cible. Les maillages générés par l’IA peuvent présenter de riches détails de surface, mais ils ne respectent pas encore ces conventions de production de façon systématique. Pour de nombreux flux de travail d’animation, les artistes doivent encore effectuer une retopologie avant de pouvoir véritablement commencer le rigging.

Le même problème se pose pour la modification. Un maillage dense généré peut offrir une excellente fidélité visuelle ou se prêter à la sculpture, mais sa structure ne permet pas toujours des opérations comme la sélection de boucles régulières, l’ajout de coupes maîtrisées, la modification des proportions ou la préparation aux déformations. Un contrôle plus sémantique et procédural — qui permettrait de modifier une décision de conception plutôt que de retravailler manuellement la surface — rendrait les éléments générés beaucoup plus flexibles.

Comme la topologie intervient en amont du rigging, du skinning, des formes clés et de la simulation physique, les progrès dans ce domaine pourraient améliorer l’ensemble de la chaîne de production. Deux approches complémentaires sont possibles : les modèles de génération peuvent apprendre à produire une géométrie davantage adaptée à la production, et le post-traitement automatisé peut convertir des maillages riches en topologies adaptées à des tâches précises. La solution la plus utile pourrait associer les deux approches, afin de préserver les détails visuels recherchés par les créateurs tout en adaptant le maillage au flux de travail qu’ils utilisent réellement.

Au-delà d’Ultra 4K, quel sera selon vous le prochain grand cap de la génération 3D : une fidélité géométrique encore supérieure, une topologie plus robuste, des scènes cohérentes comprenant plusieurs objets, des éléments prêts pour l’animation, une meilleure compréhension des propriétés physiques ou, à terme, des modèles capables de générer des mondes 3D interactifs complets ?

La fidélité géométrique continuera de progresser, mais je ne pense pas que ce soit le prochain cap. Le prochain cap, ce sont des éléments qui résistent à une utilisation réelle sans intervention humaine pour les réparer. Pour une personne qui imprime en 3D, cela signifie un modèle qui peut être découpé en tranches, imprimé et obtenir dès le premier essai la forme souhaitée. Pour une équipe de jeu vidéo, cela signifie une topologie propre, des pièces bien conçues et des coordonnées UV adaptées, afin que l’élément puisse être riggé sans passer par une retopologie. Aujourd’hui, les éléments générés constituent d’excellents points de départ. Le cap sera franchi lorsqu’ils cesseront d’en être.

Ensuite, je pense que le plus grand changement ne viendra pas d’une nouvelle capacité du modèle, mais de la personne qui fait le travail. Aujourd’hui, quelqu’un intervient encore entre le modèle et le résultat : il choisit l’outil, corrige le maillage et vérifie si le modèle pourra être imprimé ou s’il respectera le budget du moteur. La prochaine étape, c’est un agent qui prend en charge le travail de bout en bout. Vous décrivez ce que vous voulez et l’usage auquel le résultat est destiné ; le système planifie les étapes, utilise les outils, vérifie que son résultat correspond bien à cet objectif et ne revient vers vous que pour les décisions créatives qui vous appartiennent. Les mondes interactifs sont le prolongement naturel, mais ils seront conçus à partir d’éléments qui doivent d’abord devenir fiables. Notre mission est de donner une réalité en 3D à chaque idée, et cette réalité doit prendre la forme de quelque chose qu’on peut imprimer, utiliser pour jouer ou livrer.

Merci pour cette excellente interview. Les lecteurs qui souhaitent en savoir plus peuvent consulter Meshy.