Hannah (Linan) Zhou, membro fundadora e diretora de produto da Meshy — Série de entrevistas

Hannah (Linan) Zhou, membro fundadora e diretora de produto da Meshy, é uma líder de produto focada na criação e expansão de ferramentas de IA generativa para a produção de conteúdo 3D. Na Meshy, ela ajuda a definir a estratégia de produtos da empresa para aplicações voltadas tanto ao consumidor quanto ao mercado corporativo, incluindo geração 3D, agentes de IA, APIs para desenvolvedores e fluxos de trabalho concebidos para integrar a geração 3D com IA a processos criativos profissionais. Zhou descreve seu trabalho como voltado à criação e expansão da plataforma de IA generativa 3D da Meshy, com foco especial em tornar a tecnologia acessível aos criadores e, ao mesmo tempo, desenvolver os recursos de segurança, colaboração, análise e infraestrutura necessários para clientes corporativos. Sua formação inclui estudos de pós-graduação na Brandeis University, com foco em aprendizado de máquina, análise de dados, Python, R e inteligência de negócios.

Meshy é uma plataforma de criação de conteúdo 3D com tecnologia de IA, concebida para tornar a produção de recursos 3D prontos para uso significativamente mais rápida e acessível. A plataforma transforma descrições em texto, fotografias, esboços e arte conceitual em modelos 3D e também oferece texturização com IA, animação, rigging automático, APIs para desenvolvedores e criação conversacional em 3D por meio do 3D Agent. Sua tecnologia é usada em jogos, impressão 3D, realidade aumentada e virtual, design de produtos, educação e outros setores criativos. A Meshy informa ter mais de 12 milhões de usuários registrados e mais de 100 milhões de modelos criados, e suas ferramentas são usadas por equipes de grandes empresas de tecnologia, jogos, design e manufatura.

Sua carreira começou nas áreas de auditoria e finanças, antes de você fazer uma grande transição para a tecnologia e se tornar membro fundadora e diretora de produto da Meshy. O que despertou inicialmente seu interesse pela geração 3D com IA, e de que forma sua formação analítica influenciou sua maneira de avaliar se um novo recurso é realmente útil, em vez de apenas visualmente impressionante?

Passei a primeira parte da minha carreira trabalhando com auditoria e finanças, e essa experiência me ensinou a analisar uma empresa por vários ângulos ao mesmo tempo, pois nenhum indicador, por si só, revela se ela está saudável. É assim que avalio um produto hoje. Uma demonstração visualmente impressionante passou por um dos testes. Antes de desenvolvermos algo, quero que passe por vários: isso gera valor real para o usuário? Qual é o tamanho do mercado para esse valor? Quanto custa oferecê-lo? Há um modelo de negócios sólido por trás disso? Muitos recursos visualmente marcantes não passam em um desses testes. Os que vale a pena desenvolver costumam passar em todos.

O que me atraiu para o 3D foi uma crença simples: qualquer pessoa pode criar em 3D. As crianças constroem coisas com blocos e argila muito antes de alguém lhes ensinar. O que impede as pessoas não é a capacidade, mas as ferramentas. A criação tradicional em 3D exige anos de treinamento em softwares que a maioria nunca abriu. Eu queria desenvolver um produto que eliminasse essa barreira, para que tanto uma criança de sete anos quanto uma avó de setenta pudessem criar algo em 3D sem precisar desse treinamento.

O Ultra 4K se concentra especificamente na resolução geométrica 4K, e não na resolução das texturas. Para os criadores que talvez não entendam imediatamente essa diferença, por que aumentar o nível de detalhe físico real de uma superfície gerada se tornou uma fronteira tão importante para a geração de conteúdo 3D com IA?

Geometria e textura têm funções diferentes. A geometria define a superfície real de um recurso; a textura descreve sua aparência visual. Uma textura pode sugerir escamas, costuras ou uma gravação, mas a geometria real altera a silhueta, reage naturalmente à luz, projeta sombras e continua fazendo parte da malha em fluxos de trabalho de escultura, renderização e impressão 3D.

Nos últimos anos, o setor avançou bastante na estrutura geral e no alinhamento. Esses desafios ainda não foram solucionados, mas, à medida que o nível básico melhora, os criadores naturalmente passam a observar os detalhes mais de perto. A questão já não é apenas se o modelo tem o formato geral correto, mas se os detalhes que lhe dão personalidade — a gravação na armadura, as escamas de uma criatura ou as costuras de uma tira — estão realmente presentes na geometria.

Isso é importante para os criadores porque cada detalhe ausente se transforma em trabalho manual nas etapas seguintes. O Ultra 4K foi projetado para elevar a qualidade do ponto de partida, permitindo que os artistas dediquem menos tempo a reconstruir a estrutura básica da superfície e mais tempo a refinar o recurso de acordo com seus próprios objetivos criativos.

A Meshy afirma que falhas estruturais graves, como silhuetas deformadas ou membros extras, se tornaram menos comuns, deixando os detalhes geométricos mais sutis entre os problemas mais difíceis ainda por resolver. Quais desafios técnicos tornam especialmente difíceis para os modelos generativos características como escamas, dobras, gravações e superfícies entalhadas?

Os detalhes geométricos finos são difíceis porque estão em uma escala muito menor do que o objeto como um todo. Um modelo pode compreender a silhueta de um dragão e, ainda assim, não captar a estrutura de cada escama, ou reproduzir uma peça de armadura, mas suavizar e apagar suas linhas gravadas.

Também existe uma ambiguidade inerente à geração de conteúdo 3D a partir de uma imagem 2D. Um padrão colorido pode representar tinta, textura, uma sombra ou uma saliência física. O modelo precisa decidir quais sinais visuais devem se tornar geometria real e, em seguida, reconstruir essas estruturas de maneira coerente em toda a superfície.

Por fim, os detalhes precisam sobreviver a todo o processo. A geração em alta resolução, a extração da malha e a simplificação precisam preservar características significativas, sem transformá-las em ruído nem gerar uma densidade desnecessária de polígonos. O desafio é produzir detalhes coerentes e úteis para quem cria, e não apenas mais variações na superfície.

O que mudou nos bastidores para tornar o Ultra 4K possível? Os maiores avanços estiveram relacionados ao modelo subjacente, aos dados de treinamento, às técnicas de reconstrução, ao pipeline de inferência ou à forma como a Meshy representa a geometria 3D?

O Ultra 4K resultou de melhorias em todo o pipeline de geometria, e não de uma única mudança isolada. Ampliamos a representação geométrica e a arquitetura-base de geração da Meshy de 2048³ para 4096³ e, em seguida, combinamos isso com extração de malha de alta precisão e simplificação, para que a resolução adicional se traduza em uma estrutura de superfície significativa, e não apenas em uma contagem maior de polígonos.

Nessa escala, o modelo opera em um espaço que contém bilhões de voxels. Uma malha bruta do Ultra 4K pode conter até 80 milhões de triângulos antes da simplificação. Por isso, as etapas de extração e simplificação são essenciais para preservar detalhes finos e, ao mesmo tempo, produzir um recurso com o qual os criadores possam trabalhar.

Atualmente, o Ultra 4K permite gerar modelos a partir de uma única vista, enquanto o Ultra 2K está disponível para fluxos de trabalho com uma ou várias vistas. O suporte a múltiplas vistas no Ultra 4K virá quando atingir o mesmo padrão de qualidade.

A Meshy usa renderização de normais em múltiplas resoluções para medir quanto da estrutura geométrica se mantém em diferentes escalas, sem depender de texturas. Por que vocês escolheram esse método de avaliação e o que ele revela que comparações visuais convencionais ou benchmarks de geometria podem não captar?

Quando a afirmação diz respeito especificamente à geometria, precisamos de um método de avaliação que isole a própria superfície. Texturas, materiais, iluminação e pós-processamento podem fazer uma superfície relativamente plana parecer muito detalhada, enquanto a contagem de polígonos, por si só, não revela se esses polígonos contêm uma estrutura significativa.

Nosso benchmark Detail Richness renderiza cada modelo de várias direções de visualização, com resoluções de tela fixas, e mede quanto da superfície visível apresenta mudanças de orientação dentro de um pixel. Em resoluções de renderização mais baixas, a métrica capta estruturas mais amplas; nas mais altas, torna-se sensível a características mais finas, como relevos, costuras, escamas e gravações.

Também usamos entradas com detalhes estruturais ricos, mas texturas simples, o que reduz a ambiguidade entre aparência pintada e forma física. Isso nos dá uma resposta precisa para uma pergunta: quanta estrutura geométrica significativa foi preservada em diferentes escalas? Essa métrica não avalia alinhamento, topologia, suavidade, qualidade das texturas nem possibilidade de edição. Por isso, nós a apresentamos como parte de uma estrutura de avaliação mais ampla, e não como uma medida completa da qualidade do recurso.

Os testes realizados no lançamento mostraram que o Ultra 4K produziu mais detalhes geométricos do que outros sistemas líderes avaliados, enquanto a Meshy faz questão de distinguir detalhes geométricos de alinhamento, topologia, suavidade, qualidade das texturas e possibilidade de edição. Como o setor deve pensar na avaliação de modelos 3D gerados por IA, quando nenhum benchmark isolado consegue captar a qualidade geral de um recurso?

Acreditamos que modelos 3D gerados por IA devem ser avaliados dimensão por dimensão e no contexto do fluxo de trabalho a que se destinam. Detalhes geométricos, alinhamento com a imagem, topologia, suavidade da superfície, qualidade das texturas, possibilidade de edição e velocidade de geração são fatores importantes, mas seu peso varia conforme a tarefa. Um ponto de partida para escultura digital, um objeto de jogo em tempo real e um modelo imprimível em 3D não têm a mesma definição do que é “melhor”.

Isso significa que os benchmarks devem explicitar o que medem. Para avaliar uma afirmação sobre geometria, são essenciais renderizações sem textura ou com aparência de argila, além de uma análise detalhada; para avaliar o alinhamento com a imagem, a análise deve se concentrar em verificar se as formas e as partes correspondem à referência; para avaliar a prontidão para produção, também é preciso testar a topologia, o rigging, a edição e as restrições de desempenho.

Também acreditamos que a avaliação deve ser transparente, reproduzível e incluir a data de realização. Os modelos evoluem rapidamente, portanto, um benchmark é um retrato do momento, não uma classificação permanente. O objetivo de longo prazo do setor deve ser estabelecer métodos de avaliação abertos e multidimensionais que criadores e pesquisadores independentes possam reproduzir e usar de acordo com seus próprios fluxos de trabalho.

O Ultra 4K parece ser voltado especialmente à escultura digital, a objetos cinematográficos, figuras colecionáveis, personagens detalhados e recursos de destaque. Até que ponto os recursos gerados por IA já podem ser integrados diretamente aos fluxos de trabalho profissionais do Blender, ZBrush, Maya ou Unreal Engine, sem exigir uma limpeza manual substancial?

Os recursos gerados por IA já são úteis em ferramentas profissionais, mas a possibilidade de usá-los “diretamente” depende do recurso e do fluxo de trabalho.

Na exploração de conceitos, como referência de design e para alguns recursos estáticos ou de fundo, os modelos gerados podem encurtar o caminho entre a ideia e um ponto de partida 3D editável. Os artistas podem importá-los para o Blender, ZBrush, Maya ou Unreal Engine e começar a avaliar formas, composição e detalhes muito antes do que se começassem com uma cena vazia.

Para assets principais, personagens com rig e outros trabalhos de produção exigentes, ainda é comum haver etapas adicionais de preparação. Talvez seja necessário adaptar a topologia para permitir deformações ou atender aos limites de desempenho em tempo real; os materiais e as texturas podem precisar de ajustes específicos para cada fluxo de trabalho; e a direção de arte final continua sendo uma decisão criativa do artista. A quantidade de ajustes necessários varia bastante de acordo com o asset e seu destino.

O Ultra 4K aprimora um aspecto importante dessa etapa: a qualidade do ponto de partida geométrico. Quando dobras, gravações, escamas e outros detalhes já estão presentes na malha, os artistas podem gastar menos tempo reconstruindo a estrutura da superfície e mais tempo refinando o asset para o uso pretendido. Consideramos isso um avanço significativo rumo à prontidão para produção — não à retirada dos artistas do processo, mas a uma base melhor para o trabalho deles.

A Meshy agora oferece Standard, Ultra 2K e Ultra 4K, em vez de tratar a resolução máxima como padrão. Como você avalia o equilíbrio entre velocidade de geração, custo computacional, fidelidade geométrica e o nível de qualidade que uma tarefa criativa específica realmente exige?

Os três modos foram projetados para diferentes etapas e destinos, e não como uma simples escala do bom ao melhor.

O Standard prioriza velocidade e iteração. É adequado para exploração inicial, testes de composição e assets que permanecerão pequenos na tela. O Ultra 2K oferece um equilíbrio entre fidelidade e flexibilidade, incluindo geração com vista única e com múltiplas vistas. O Ultra 4K é indicado para situações em que a estrutura geométrica em pequena escala é fundamental para o asset — por exemplo, referências para escultura, figuras colecionáveis, objetos em close-up ou personagens detalhados.

A escolha certa depende do destino do asset. Um objeto de cenário para um jogo mobile e uma figura de colecionador não se beneficiam da mesma resolução nem do mesmo orçamento de polígonos. Uma resolução maior exige mais computação; por isso, a pergunta útil não é “Qual modo oferece o máximo?”, mas “Qual modo agrega valor visível a esta tarefa?”.

Um fluxo de trabalho prático consiste em explorar o tema e a composição com o Standard ou o Ultra 2K e, em seguida, usar o Ultra 4K para o melhor candidato quando os detalhes geométricos finos forem importantes para o resultado final. Assim, a iteração continua rápida, enquanto a geração com máxima fidelidade fica concentrada nos casos em que os criadores realmente perceberão e aproveitarão a diferença.

O Ultra 4K opera com resolução geométrica de 4096³, e as malhas brutas podem chegar a até 80 milhões de triângulos antes da simplificação. Essa escala é valiosa quando o asset exige esse nível de detalhe, mas nosso princípio de produto é oferecer aos criadores o nível adequado de qualidade e controle em cada etapa — não definir a computação máxima como padrão.

À medida que a geometria se torna cada vez mais detalhada, a topologia e a facilidade de edição passam a ser os próximos grandes gargalos? Que trabalho ainda é necessário para que modelos gerados por IA altamente detalhados sejam tão fáceis de modificar, preparar para rigging e animação e otimizar quanto os assets criados por métodos tradicionais?

Sim, a topologia e a facilidade de edição estão entre os desafios mais concretos no curto prazo. O rigging profissional depende de um fluxo de arestas que acompanhe a anatomia e as articulações, de uma densidade de polígonos que se deforme de maneira previsível e de malhas que atendam às restrições do mecanismo ou renderizador de destino. As malhas geradas por IA podem apresentar detalhes ricos na superfície, mas ainda não produzem essas convenções de produção de forma consistente. Em muitos fluxos de trabalho de animação, os artistas ainda precisam fazer uma etapa de retopologia antes de começar efetivamente o rigging.

O mesmo problema afeta a edição. Uma malha gerada com alta densidade pode ser excelente para fidelidade visual ou escultura, mas nem sempre está estruturada para operações como selecionar loops limpos, adicionar cortes controlados, alterar proporções ou preparar a malha para deformações. Um controle mais semântico e procedural — que permita alterar uma decisão de projeto em vez de refazer manualmente a superfície — tornaria os assets gerados muito mais flexíveis.

Como a topologia é uma etapa anterior ao rigging, ao skinning, aos blend shapes e à simulação física, os avanços nessa área podem melhorar todo o fluxo de produção. Há dois caminhos complementares: os modelos de geração podem aprender a produzir geometrias mais adequadas à produção, e o pós-processamento automatizado pode converter malhas detalhadas em topologias específicas para cada tarefa. A solução mais útil talvez combine ambos, preservando os detalhes visuais desejados pelos criadores e adaptando a malha ao fluxo de trabalho que realmente utilizam.

Olhando além do Ultra 4K, qual você acredita ser o próximo grande marco para a geração 3D: fidelidade geométrica ainda maior, topologia mais robusta, cenas consistentes com vários objetos, assets prontos para animação, melhor compreensão física ou, por fim, modelos capazes de gerar mundos 3D interativos completos?

A fidelidade geométrica continuará melhorando, mas não acho que esse seja o próximo marco. O próximo marco são assets que resistam ao uso real sem precisar de reparos feitos por uma pessoa. Para quem usa impressão 3D, isso significa um modelo que possa ser fatiado e impresso e que resulte no formato desejado já na primeira tentativa. Para uma equipe de jogos, significa topologia limpa, peças bem definidas e UVs adequadas, para que o asset possa receber rigging sem uma etapa de retopologia. Hoje, os assets gerados são excelentes pontos de partida. O marco será quando deixarem de ser apenas pontos de partida.

Depois disso, acho que a maior mudança não será uma nova capacidade do modelo, mas quem fará o trabalho. Hoje, uma pessoa ainda fica entre o modelo e o resultado: escolhe a ferramenta, corrige a malha e verifica se ela poderá ser impressa ou se caberá no orçamento do motor gráfico. O próximo passo é um agente que assume o trabalho de ponta a ponta. Você descreve o que quer e para onde aquilo vai, e o sistema planeja as etapas, usa as ferramentas, verifica se o próprio resultado atende ao objetivo e só volta a você para as decisões criativas que cabem a você. Mundos interativos são a evolução natural, mas serão construídos com recursos que primeiro precisam se tornar confiáveis. Nossa missão é transformar cada ideia em uma realidade 3D, e realidade significa algo que uma pessoa possa imprimir, jogar ou lançar.

Obrigado pela ótima entrevista. Leitores que quiserem saber mais devem visitar Meshy.