Hannah (Linan) Zhou, miembro fundadora y responsable de producto de Meshy – Serie de entrevistas

Hannah (Linan) Zhou, miembro fundadora y responsable de producto de Meshy, es una líder de producto centrada en crear y ampliar herramientas de IA generativa para la creación de contenido 3D. En Meshy, contribuye a definir la estrategia de producto de la empresa para aplicaciones de consumo y empresariales, como la generación 3D, los agentes de IA, las API para desarrolladores y los flujos de trabajo diseñados para integrar la generación 3D con IA en los procesos creativos profesionales. Zhou ha descrito su trabajo como centrado en crear y ampliar la plataforma de IA generativa 3D de Meshy, con especial atención a hacer que la tecnología sea accesible para los creadores y, al mismo tiempo, desarrollar las capacidades de seguridad, colaboración, análisis e infraestructura que necesitan los clientes empresariales. Su trayectoria incluye estudios de posgrado en Brandeis University, centrados en aprendizaje automático, análisis de datos, Python, R e inteligencia empresarial.

Meshy es una plataforma de creación de contenido 3D basada en IA, diseñada para agilizar considerablemente y hacer más accesible la creación de recursos 3D listos para producción. La plataforma puede convertir descripciones de texto, fotografías, bocetos y arte conceptual en modelos 3D, y también ofrece texturizado con IA, animación, rigging automático, API para desarrolladores y creación conversacional en 3D a través de su agente 3D. Su tecnología se utiliza en los videojuegos, la impresión 3D, la realidad aumentada y virtual, el diseño de productos, la educación y otros sectores creativos. Meshy informa que cuenta con más de 12 millones de usuarios registrados y que se han creado más de 100 millones de modelos; sus herramientas son utilizadas por equipos de importantes empresas tecnológicas, de videojuegos, diseño y manufactura.

Comenzaste tu carrera en auditoría y finanzas antes de dar un importante giro hacia la tecnología y convertirte en miembro fundadora y responsable de producto de Meshy. ¿Qué te atrajo inicialmente de la generación 3D y cómo ha influido tu formación analítica en la manera de evaluar si una nueva funcionalidad es realmente útil y no solo visualmente impresionante?

Pasé la primera parte de mi carrera en auditoría y finanzas, y esa experiencia me enseñó a analizar una empresa desde varios ángulos a la vez, porque ninguna cifra por sí sola permite saber si goza de buena salud. Así es como evalúo hoy un producto. Una demostración que resulta impresionante ya ha superado una prueba. Antes de desarrollar algo, quiero que supere varias: ¿aporta un valor real al usuario?, ¿qué tamaño tiene el mercado para ese valor?, ¿cuánto nos cuesta ofrecerlo? y ¿hay un modelo de negocio sólido que lo sustente? Muchas funcionalidades visualmente llamativas no superan alguna de esas pruebas. Las que vale la pena desarrollar suelen superarlas todas.

Lo que me atrajo del 3D es una idea sencilla: todo el mundo puede crear en 3D. Los niños construyen cosas con bloques y plastilina mucho antes de que alguien se lo enseñe. Lo que los frena no es la capacidad, sino las herramientas. La creación 3D tradicional exige años de formación en programas que la mayoría de la gente nunca ha abierto. Quería crear un producto que eliminara esa barrera, para que tanto un niño de siete años como una abuela de setenta pudieran crear algo en 3D sin necesidad de esa formación.

Ultra 4K se centra específicamente en la resolución geométrica 4K, no en la resolución de las texturas. Para los creadores que quizá no entiendan enseguida la diferencia, ¿por qué se ha vuelto tan importante para la generación 3D con IA aumentar el nivel de detalle físico real de una superficie?

La geometría y la textura cumplen funciones distintas. La geometría define la superficie real de un recurso; la textura describe su aspecto visual. Una textura puede sugerir escamas, costuras o un grabado, pero la geometría real modifica la silueta, responde a la luz de forma natural, proyecta sombras y sigue formando parte de la malla en los flujos de trabajo de esculpido, renderizado e impresión 3D.

En los últimos años, el sector ha avanzado mucho en la estructura general y la alineación. Esos desafíos aún no están resueltos, pero, a medida que mejora el nivel de referencia, los creadores naturalmente se fijan más en los detalles. La pregunta ya no es solo si el modelo tiene la forma general correcta, sino también si los detalles que le dan carácter —el grabado de una armadura, las escamas de una criatura o las costuras de una correa— están realmente presentes en la geometría.

Esto es importante para los creadores porque cada detalle que falta se convierte en trabajo manual en una etapa posterior. Ultra 4K está diseñado para elevar la calidad del punto de partida, de modo que los artistas dediquen menos tiempo a reconstruir la estructura básica de la superficie y más a perfeccionar el recurso según sus propios objetivos creativos.

Meshy sostiene que los grandes defectos estructurales, como las siluetas deformadas o las extremidades adicionales, son ahora menos frecuentes, por lo que los detalles geométricos más finos siguen siendo uno de los problemas más difíciles. ¿Qué desafíos técnicos hacen que características como las escamas, los pliegues, los grabados y las superficies talladas sean particularmente difíciles para los modelos generativos?

Los detalles geométricos finos son difíciles porque tienen una escala mucho menor que la del objeto en su conjunto. Un modelo puede comprender la silueta de un dragón y, aun así, no captar la estructura de cada escama; también puede reproducir una pieza de armadura, pero suavizar y borrar sus líneas grabadas.

Además, al generar 3D a partir de una imagen 2D existe una ambigüedad inherente. Un patrón de color puede representar pintura, textura, una sombra o un relieve físico. El modelo debe decidir qué señales visuales deben convertirse en geometría real y, luego, reconstruir esas estructuras de manera coherente en toda la superficie.

Por último, el nivel de detalle debe conservarse a lo largo de todo el proceso. La generación de alta resolución, la extracción de la malla y la simplificación deben preservar los rasgos significativos sin convertirlos en ruido ni generar una densidad de polígonos innecesaria. El reto consiste en producir detalles coherentes y útiles para los creadores, no simplemente más variaciones en la superficie.

¿Qué cambios internos hicieron posible Ultra 4K y cuáles fueron los avances más importantes: los relacionados con el modelo subyacente, los datos de entrenamiento, las técnicas de reconstrucción, el proceso de inferencia o la forma en que Meshy representa la geometría 3D?

Ultra 4K fue posible gracias a mejoras en todo el proceso de geometría, no a un único cambio aislado. Ampliamos la representación geométrica y la arquitectura base de generación de Meshy de 2048³ a 4096³, y luego combinamos esa ampliación con la extracción de mallas de alta precisión y la simplificación, para que la resolución adicional se traduzca en una estructura superficial significativa y no solo en un mayor número de polígonos.

A esa escala, el modelo opera en un espacio que contiene miles de millones de vóxeles. Antes de la simplificación, una malla Ultra 4K sin procesar puede contener hasta 80 millones de triángulos, por lo que las etapas de extracción y simplificación son fundamentales para conservar los detalles más finos y, al mismo tiempo, producir un recurso con el que los creadores puedan trabajar.

Actualmente, Ultra 4K admite la generación desde una sola vista, mientras que Ultra 2K está disponible para flujos de trabajo de una o varias vistas. La compatibilidad de Ultra 4K con varias vistas llegará cuando alcance el mismo nivel de calidad.

Meshy utiliza la representación de normales a múltiples resoluciones para medir cuánto de la estructura geométrica se conserva a distintas escalas, sin depender de las texturas. ¿Por qué eligieron este método de evaluación y qué permite observar que podrían pasar por alto las comparaciones visuales convencionales o las métricas geométricas?

Cuando la afirmación se refiere específicamente a la geometría, necesitamos un método de evaluación que aísle la propia superficie. Las texturas, los materiales, la iluminación y el posprocesamiento pueden hacer que una superficie relativamente plana parezca muy detallada, mientras que el número de polígonos, por sí solo, no indica si estos forman una estructura significativa.

Nuestra métrica Detail Richness renderiza cada modelo desde varias direcciones de visualización, con resoluciones de pantalla fijas, y mide qué proporción de la superficie visible presenta cambios de orientación dentro de un píxel. Con resoluciones de renderizado más bajas, la métrica capta estructuras más amplias; con resoluciones más altas, detecta características más finas, como crestas, costuras, escamas y grabados.

También usamos entradas con abundantes detalles estructurales, pero con texturas sencillas, lo que reduce la ambigüedad entre la apariencia pintada y la forma física. Esto nos permite responder a una pregunta concreta: ¿cuánta estructura geométrica significativa se ha conservado a distintas escalas? La métrica no mide la alineación, la topología, la suavidad, la calidad de las texturas ni la facilidad de edición, por lo que la presentamos como parte de un marco de evaluación más amplio, no como una medida completa de la calidad de los recursos.

En las pruebas de lanzamiento, Ultra 4K produjo más detalle geométrico que otros sistemas líderes evaluados, mientras que Meshy distingue cuidadosamente ese detalle de la alineación, la topología, la suavidad, la calidad de las texturas y la facilidad de edición. ¿Cómo debería abordar el sector la evaluación del 3D generado por IA cuando ninguna métrica por sí sola permite captar la calidad general de un recurso?

Creemos que el 3D generado por IA debe evaluarse dimensión por dimensión y teniendo en cuenta el flujo de trabajo previsto. El detalle geométrico, la alineación con la imagen, la topología, la suavidad de la superficie, la calidad de las texturas, la facilidad de edición y la velocidad de generación son factores importantes, pero su relevancia depende de la tarea. Un punto de partida para la escultura digital, un elemento de un videojuego en tiempo real y un modelo imprimible en 3D no comparten la misma definición de «mejor».

Esto significa que las métricas deben especificar claramente qué evalúan. Para valorar una afirmación sobre geometría, son esenciales los renderizados sin texturas o con aspecto de arcilla y la inspección de cerca; para evaluar la alineación con la imagen, hay que centrarse en si las formas y las partes coinciden con la referencia; y para determinar si un recurso está listo para producción, también deben evaluarse la topología, el rigging, la edición y las limitaciones de rendimiento.

También creemos que la evaluación debe ser transparente, reproducible y llevar una marca de tiempo. Los modelos evolucionan rápidamente, por lo que una métrica ofrece una instantánea, no una clasificación permanente. El objetivo a largo plazo del sector debería ser establecer métodos de evaluación abiertos y multidimensionales que los creadores y los investigadores independientes puedan reproducir y utilizar según sus propios flujos de trabajo.

Ultra 4K parece estar dirigido, en particular, a la escultura digital, los elementos de utilería cinematográfica, las figuras de colección, los personajes detallados y los recursos protagonistas. ¿Cuánto falta para que los recursos generados por IA puedan incorporarse directamente a flujos de trabajo profesionales con Blender, ZBrush, Maya o Unreal Engine, sin necesidad de una limpieza manual considerable?

Los recursos generados por IA ya son útiles en herramientas profesionales, pero la posibilidad de usarlos directamente depende del recurso y del flujo de trabajo.

En la exploración de conceptos, como referencia de diseño y para algunos recursos estáticos o de fondo, los modelos generados pueden acortar el camino entre la idea y un punto de partida 3D editable. Los artistas pueden importarlos en Blender, ZBrush, Maya o Unreal Engine y empezar a evaluar la forma, la composición y los detalles mucho antes que si comenzaran con una escena vacía.

En los trabajos de producción más exigentes, como los recursos protagonistas y los personajes con rig, sigue siendo habitual realizar una preparación adicional. Puede ser necesario adaptar la topología para las deformaciones o las limitaciones de rendimiento en tiempo real; ajustar los materiales y las texturas a cada flujo de trabajo; y dejar las decisiones finales de dirección artística en manos del artista. La cantidad de limpieza necesaria varía mucho según el recurso y su destino.

Ultra 4K mejora un aspecto importante de esa transición: la calidad del punto de partida geométrico. Cuando la malla ya incluye pliegues, grabados, escamas y otros detalles, los artistas pueden dedicar menos tiempo a reconstruir la estructura de la superficie y más a perfeccionar el recurso para el uso previsto. Consideramos que esto supone un avance significativo hacia la preparación para producción: no implica prescindir de los artistas, sino ofrecerles una mejor base para su trabajo.

Meshy ahora ofrece Standard, Ultra 2K y Ultra 4K, en lugar de dar por sentado que siempre se debe usar la resolución máxima. ¿Cómo valoran el equilibrio entre la velocidad de generación, el coste computacional, la fidelidad geométrica y el nivel de calidad que realmente exige cada tarea creativa?

Los tres modos están pensados para distintas etapas y destinos, no como una simple escala de bueno a mejor y a óptimo.

Standard prioriza la velocidad y la iteración. Es adecuado para las primeras exploraciones, las pruebas de composición y los recursos que se verán pequeños en pantalla. Ultra 2K ofrece un equilibrio entre fidelidad y flexibilidad, con generación tanto desde una sola vista como desde varias. Ultra 4K está pensado para los casos en que la estructura geométrica a pequeña escala es fundamental para el recurso, como las referencias para esculpir, las figuras coleccionables, los elementos de utilería en primer plano o los personajes detallados.

La opción adecuada depende del destino del recurso. Un elemento de utilería de fondo para un juego para móviles y una figura de colección no se benefician de la misma resolución ni del mismo presupuesto de polígonos. Una mayor resolución requiere más cómputo, así que la pregunta útil no es «¿Qué modo ofrece el máximo?», sino «¿Qué modo aporta un valor visible para esta tarea?».

Un flujo de trabajo práctico consiste en explorar el tema y la composición con Standard o Ultra 2K y, después, usar Ultra 4K con la opción más prometedora cuando el detalle geométrico fino sea importante para el resultado final. Así se mantiene una iteración rápida y se reserva la generación de mayor fidelidad para los casos en que los creadores realmente podrán apreciar y aprovechar la diferencia.

Ultra 4K ofrece una resolución geométrica de 4096³, y las mallas sin procesar pueden alcanzar hasta 80 millones de triángulos antes de la simplificación. Esa escala resulta valiosa cuando el recurso lo requiere, pero nuestro principio de diseño es ofrecer a los creadores el nivel de calidad y control adecuado para cada etapa, no establecer el máximo cómputo como opción predeterminada.

A medida que la geometría gana detalle, ¿se convierten la topología y la facilidad de edición en los siguientes grandes obstáculos? ¿Qué falta para que los artistas profesionales puedan modificar, preparar para rigging, animar y optimizar los modelos generados por IA con mucho detalle con la misma facilidad que los recursos creados de forma tradicional?

Sí, la topología y la facilidad de edición están entre los desafíos más concretos a corto plazo. El rigging profesional depende de un flujo de aristas que siga la anatomía y las articulaciones, de una densidad de polígonos que se deforme de forma predecible y de mallas que cumplan las limitaciones del motor o renderizador de destino. Las mallas generadas por IA pueden ofrecer un gran nivel de detalle superficial, pero todavía no producen de manera sistemática geometría que siga esas convenciones de producción. En muchos flujos de trabajo de animación, los artistas aún tienen que retopologizar las mallas antes de empezar en serio con el rigging.

El mismo problema afecta a la edición. Una malla generada con mucha densidad puede ser excelente para lograr fidelidad visual o esculpir, pero no siempre está estructurada para operaciones como seleccionar bucles limpios, añadir cortes controlados, cambiar proporciones o preparar deformaciones. Un mayor control semántico y procedimental —que permita cambiar una decisión de diseño en lugar de rehacer manualmente la superficie— daría mucha más flexibilidad a los recursos generados.

Como la topología precede al rigging, el skinning, las formas de mezcla y la simulación física, avanzar en este ámbito podría mejorar toda la cadena de producción. Hay dos vías complementarias: los modelos de generación pueden aprender a producir geometría más adaptada a las necesidades de producción, y el posprocesamiento automatizado puede convertir mallas con mucho detalle en topologías específicas para cada tarea. La solución más útil quizá combine ambas, conservando el detalle visual que buscan los creadores y adaptando a la vez la malla al flujo de trabajo que realmente utilizan.

Más allá de Ultra 4K, ¿cuál creen que será el siguiente gran umbral de la generación 3D: una fidelidad geométrica aún mayor, una topología más sólida, escenas con varios objetos coherentes, recursos listos para animar, una mejor comprensión de las propiedades físicas o, con el tiempo, modelos capaces de generar mundos 3D interactivos completos?

La fidelidad geométrica seguirá mejorando, pero no creo que ese sea el siguiente umbral. El próximo paso consiste en crear recursos que puedan utilizarse en situaciones reales sin que una persona tenga que repararlos. Para quien imprime en 3D, eso significa que el modelo se pueda procesar en el laminador e imprimir, y que el resultado tenga la forma deseada desde el primer intento. Para un equipo de videojuegos, significa contar con una topología limpia, piezas bien definidas y mapas UV adecuados, de modo que el recurso pueda prepararse para rigging sin necesidad de retopologizarlo. Hoy, los recursos generados son excelentes puntos de partida. El umbral llegará cuando dejen de serlo.

Después de eso, creo que el mayor cambio no será otra capacidad del modelo, sino quién hace el trabajo. Hoy todavía hay una persona entre el modelo y el resultado: elige la herramienta, corrige la malla y comprueba si se podrá imprimir o si se ajustará al presupuesto del motor. El siguiente paso es un agente que se encargue de todo el proceso, de principio a fin. Describes lo que quieres y dónde se usará, y el sistema planifica los pasos, ejecuta las herramientas, comprueba que el resultado se ajuste a ese destino y solo vuelve a consultarte para las decisiones creativas que te corresponden. Los mundos interactivos son la evolución natural, pero se crearán a partir de recursos que primero deberán ser fiables. Nuestra misión es hacer realidad en 3D cada idea, y esa realidad significa algo que una persona pueda imprimir, disfrutar en un juego o publicar.

Gracias por esta excelente entrevista; los lectores que quieran saber más pueden visitar Meshy.