Hannah (Linan) Zhou, membro fondatrice e responsabile del prodotto di Meshy – Intervista

Hannah (Linan) Zhou, membro fondatrice e responsabile del prodotto di Meshy, è una dirigente di prodotto che si occupa di sviluppare e ampliare strumenti di IA generativa per la creazione di contenuti 3D. In Meshy contribuisce a definire la strategia di prodotto dell’azienda per le applicazioni destinate sia ai consumatori sia alle imprese, tra cui la generazione 3D, gli agenti di IA, le API per sviluppatori e i flussi di lavoro pensati per integrare la generazione 3D con IA nelle pipeline creative professionali. Zhou ha descritto il proprio lavoro come incentrato sullo sviluppo e sull’espansione della piattaforma di IA generativa 3D di Meshy, con particolare attenzione a rendere la tecnologia accessibile ai creatori e, al contempo, a sviluppare le funzionalità di sicurezza, collaborazione e analisi, nonché le infrastrutture richieste dai clienti aziendali. Ha inoltre svolto studi post-laurea alla Brandeis University, concentrandosi su apprendimento automatico, analisi dei dati, Python, R e business intelligence.

Meshy è una piattaforma per la creazione di contenuti 3D basata sull’IA, progettata per rendere molto più rapida e accessibile la creazione di risorse 3D pronte per la produzione. La piattaforma può trasformare descrizioni testuali, fotografie, schizzi e concept art in modelli 3D e offre anche texturing con IA, animazione, rigging automatico, API per sviluppatori e creazione conversazionale di contenuti 3D tramite 3D Agent. La sua tecnologia viene utilizzata nei videogiochi, nella stampa 3D, nella realtà aumentata e virtuale, nel design di prodotto, nell’istruzione e in altri settori creativi. Meshy dichiara di avere oltre 12 milioni di utenti registrati e che sono stati creati più di 100 milioni di modelli; i suoi strumenti sono utilizzati da team di importanti aziende tecnologiche, videoludiche, di design e manifatturiere.

La tua carriera è iniziata nel settore della revisione contabile e della finanza, prima che tu passassi al mondo della tecnologia e diventassi membro fondatrice e responsabile del prodotto di Meshy. Cosa ti ha avvicinata inizialmente alla generazione 3D e in che modo la tua formazione analitica ha influenzato il tuo metodo per valutare se una nuova funzionalità sia davvero utile, anziché soltanto d’impatto visivo?

Ho trascorso la prima parte della mia carriera nella revisione contabile e nella finanza, esperienze che mi hanno insegnato a valutare un’azienda da più prospettive contemporaneamente, perché nessun singolo indicatore basta a stabilire se è in buona salute. Oggi valuto i prodotti allo stesso modo. Una demo dall’aspetto impressionante ha superato una prova. Prima di sviluppare qualcosa, voglio che ne superi diverse: crea un valore reale per l’utente? Quanto è grande il mercato per quel valore? Quanto ci costa offrirlo? E alla base c’è un modello aziendale solido? Molte funzionalità visivamente spettacolari non superano una di queste prove. Quelle che vale la pena sviluppare tendono a superarle tutte.

Ciò che mi ha avvicinata al 3D è una convinzione semplice: tutti possono creare in 3D. I bambini costruiscono cose con i mattoncini e la plastilina molto prima che qualcuno glielo insegni. A frenare le persone non è la mancanza di capacità, ma la difficoltà degli strumenti. La creazione 3D tradizionale richiede anni di formazione su software che la maggior parte delle persone non ha mai nemmeno aperto. Volevo realizzare un prodotto che eliminasse questo ostacolo, così che sia un bambino di sette anni sia una nonna di settanta possano creare qualcosa in 3D senza dover seguire quella formazione.

Ultra 4K si concentra specificamente sulla risoluzione geometrica in 4K, non su quella delle texture. Per i creatori che potrebbero non cogliere subito la differenza, perché aumentare il livello di dettaglio fisico effettivo di una superficie generata è diventato una frontiera così importante per la creazione di contenuti 3D con l’IA?

Geometria e texture svolgono funzioni diverse. La geometria definisce la superficie effettiva di una risorsa; la texture ne descrive l’aspetto visivo. Una texture può suggerire squame, cuciture o un’incisione, ma la geometria reale modifica la silhouette, reagisce naturalmente alla luce, proietta ombre e rimane parte della mesh nei flussi di lavoro di scultura, rendering e stampa 3D.

Negli ultimi anni il settore ha compiuto notevoli progressi nella definizione della struttura complessiva e dell’allineamento. Queste sfide non sono state risolte, ma, man mano che migliora il livello di base, i creatori osservano naturalmente i modelli più da vicino. La domanda non è più soltanto se il modello abbia la forma generale corretta, ma se i dettagli che gli conferiscono carattere — l’incisione su un’armatura, le squame di una creatura o le cuciture di una cinghia — siano effettivamente presenti nella geometria.

Per i creatori è importante perché ogni dettaglio mancante si traduce in lavoro manuale nelle fasi successive. Ultra 4K è progettato per migliorare la qualità del punto di partenza, così che gli artisti possano dedicare meno tempo a ricostruire la struttura di base della superficie e più tempo a perfezionare la risorsa in funzione dei propri obiettivi creativi.

Meshy sostiene che i gravi difetti strutturali, come le silhouette deformate o gli arti in eccesso, siano diventati meno frequenti, lasciando il maggior livello di dettaglio geometrico tra i problemi più difficili ancora da risolvere. Quali sfide tecniche rendono particolarmente difficili per i modelli generativi elementi come squame, pieghe, incisioni e superfici intagliate?

Gli elementi geometrici minuti sono difficili da riprodurre perché hanno una scala molto più ridotta rispetto all’oggetto nel suo insieme. Un modello può cogliere la silhouette di un drago e non riuscire comunque a riprodurre la struttura di ogni squama, oppure ricreare un pezzo di armatura smussandone le linee incise.

Generare contenuti 3D a partire da un’immagine 2D comporta inoltre un’ambiguità intrinseca. Un motivo colorato potrebbe rappresentare vernice, una texture, un’ombra o un rilievo fisico. Il modello deve stabilire quali segnali visivi debbano diventare geometria vera e propria e poi ricostruire queste strutture in modo coerente su tutta la superficie.

Infine, i dettagli devono conservarsi lungo l’intera pipeline. La generazione ad alta risoluzione, l’estrazione della mesh e la semplificazione devono preservare gli elementi significativi, senza trasformarli in rumore né aumentare inutilmente la densità dei poligoni. La sfida consiste nel produrre dettagli coerenti e utili a chi crea, non semplicemente una maggiore varietà di superfici.

Quali cambiamenti sotto il cofano hanno reso possibile Ultra 4K e quali sono stati i progressi più importanti: quelli relativi al modello di base, ai dati di addestramento, alle tecniche di ricostruzione, alla pipeline di inferenza o al modo in cui Meshy rappresenta la geometria 3D?

Ultra 4K è il risultato di miglioramenti apportati all’intera pipeline geometrica, non di un singolo cambiamento isolato. Abbiamo portato la rappresentazione geometrica e l’architettura di generazione di Meshy da 2048³ a 4096³, abbinandole poi a tecniche di estrazione della mesh e semplificazione ad alta precisione, affinché la risoluzione aggiuntiva si traduca in una struttura di superficie significativa e non soltanto in un maggior numero di poligoni.

A questa scala, il modello opera in uno spazio che contiene miliardi di voxel. Prima della semplificazione, una mesh Ultra 4K grezza può contenere fino a 80 milioni di triangoli: per questo le fasi di estrazione e semplificazione sono fondamentali per conservare i dettagli più minuti e, al contempo, ottenere un asset su cui chi crea possa lavorare.

Attualmente Ultra 4K supporta la generazione da una singola vista, mentre Ultra 2K è disponibile sia per i flussi di lavoro da una singola vista sia per quelli multi-vista. Il supporto multi-vista per Ultra 4K arriverà quando raggiungerà lo stesso livello qualitativo.

Meshy usa il rendering delle normali a più risoluzioni per misurare quanta struttura geometrica si conserva a scale diverse, senza fare affidamento sulle texture. Perché avete scelto questo metodo di valutazione e cosa permette di rilevare che i confronti visivi convenzionali o i benchmark geometrici potrebbero non cogliere?

Quando si parla specificamente di geometria, serve un metodo di valutazione che isoli la superficie stessa. Texture, materiali, illuminazione e post-elaborazione possono far apparire molto dettagliata una superficie relativamente piatta, mentre il solo numero di poligoni non indica se questi contengano una struttura significativa.

Il nostro benchmark sulla ricchezza dei dettagli esegue il rendering di ogni modello da più angolazioni di visualizzazione, a risoluzioni dello schermo prestabilite, e misura quanta parte della superficie visibile presenta variazioni di orientamento all’interno di un pixel. Alle risoluzioni di rendering più basse, la metrica rileva la struttura più ampia; a quelle più alte, diventa sensibile a elementi più minuti, come creste, cuciture, squame e incisioni.

Usiamo anche input con dettagli strutturali ricchi ma texture semplici, riducendo così l’ambiguità tra aspetto dipinto e forma fisica. Questo ci permette di rispondere a una domanda precisa: quanta struttura geometrica significativa è stata conservata a scale diverse? Il metodo non misura l’allineamento, la topologia, la levigatezza, la qualità delle texture né la modificabilità; perciò lo presentiamo come una componente di un quadro di valutazione più ampio, non come una misura completa della qualità dell’asset.

Nei test condotti al lancio avete riscontrato che Ultra 4K produceva più dettagli geometrici rispetto ad altri sistemi leader sottoposti a test, mentre Meshy distingue attentamente i dettagli geometrici da allineamento, topologia, levigatezza, qualità delle texture e modificabilità. Come dovrebbe valutare il settore la generazione 3D tramite IA, se nessun singolo benchmark è in grado di cogliere la qualità complessiva di un asset?

Riteniamo che la generazione 3D tramite IA debba essere valutata dimensione per dimensione e nel contesto del flusso di lavoro previsto. Contano tutti: dettagli geometrici, allineamento con l’immagine, topologia, levigatezza della superficie, qualità delle texture, modificabilità e velocità di generazione; la loro importanza, però, varia a seconda dell’attività. Un punto di partenza per la scultura digitale, un elemento di scena per un gioco in tempo reale e un modello stampabile in 3D non condividono la stessa definizione di «migliore».

Ciò significa che i benchmark dovrebbero specificare chiaramente cosa misurano. Per valutare un’affermazione sulla geometria sono essenziali rendering senza texture o con aspetto argilloso e un esame ravvicinato; per l’allineamento con l’immagine, la valutazione dovrebbe concentrarsi sulla corrispondenza tra forme e parti e il riferimento; per stabilire se un asset è pronto per la produzione, occorre verificare anche topologia, rigging, modifiche e vincoli prestazionali.

Crediamo inoltre che la valutazione debba essere trasparente, riproducibile e accompagnata da una data. I modelli evolvono rapidamente, quindi un benchmark è un’istantanea, non una classifica permanente. L’obiettivo a lungo termine del settore dovrebbe essere un insieme di metodi di valutazione aperti e multidimensionali, che chi crea e i ricercatori indipendenti possano riprodurre e usare in base ai propri flussi di lavoro.

Ultra 4K sembra rivolto soprattutto alla scultura digitale, agli elementi di scena cinematografici, alle statuette da collezione, ai personaggi dettagliati e agli asset protagonisti. Quanto manca perché gli asset generati dall’IA possano passare direttamente ai flussi di lavoro professionali in Blender, ZBrush, Maya o Unreal Engine, senza richiedere una sostanziale rifinitura manuale?

Gli asset generati dall’IA sono già utili negli strumenti professionali, ma la possibilità di usarli «direttamente» dipende dall’asset e dal flusso di lavoro.

Per esplorare i concept, creare riferimenti di progettazione e realizzare alcuni asset statici o di sfondo, i modelli generati possono ridurre il tempo necessario per passare da un’idea a un punto di partenza 3D modificabile. Gli artisti possono importarli in Blender, ZBrush, Maya o Unreal Engine e iniziare a valutare forme, composizione e dettagli molto prima di quanto potrebbero fare partendo da una scena vuota.

Per gli asset principali, i personaggi con rig e altri lavori di produzione particolarmente impegnativi, è ancora comune dover procedere con un’ulteriore fase di preparazione. Potrebbe essere necessario adattare la topologia per la deformazione o per rispettare i limiti di elaborazione in tempo reale; i materiali e le texture potrebbero richiedere modifiche specifiche per il flusso di lavoro; inoltre, la direzione artistica finale resta una scelta creativa dell’artista. La quantità di interventi di rifinitura varia notevolmente a seconda dell’asset e della sua destinazione.

Ultra 4K migliora un aspetto importante di questo passaggio: la qualità del punto di partenza geometrico. Quando pieghe, incisioni, squame e altre caratteristiche sono già presenti nella mesh, gli artisti possono dedicare meno tempo a ricostruire la struttura della superficie e più tempo a perfezionare l’asset in funzione dell’uso previsto. Lo consideriamo un progresso significativo verso la prontezza per la produzione: non l’eliminazione degli artisti dal processo, ma una base migliore per il loro lavoro.

Meshy ora offre Standard, Ultra 2K e Ultra 4K, invece di considerare la risoluzione massima l’impostazione predefinita. Come valuti il compromesso tra velocità di generazione, costo di elaborazione, fedeltà geometrica e livello di qualità effettivamente richiesto da una specifica attività creativa?

Le tre modalità sono pensate per fasi e destinazioni diverse, non come una semplice scala dal buono al migliore.

Standard privilegia velocità e iterazione. È adatto alle prime fasi di esplorazione, alle prove di composizione e agli asset che resteranno piccoli sullo schermo. Ultra 2K offre un equilibrio tra fedeltà e flessibilità, con la generazione sia da una singola visuale sia da più visuali. Ultra 4K è pensato per i casi in cui la struttura geometrica su piccola scala è fondamentale per l’asset, per esempio riferimenti per la scultura, statuette da collezione, oggetti in primo piano o personaggi dettagliati.

La scelta giusta dipende dalla destinazione dell’asset. Un oggetto di sfondo per un gioco per dispositivi mobili e una statuetta da collezione non traggono vantaggio dalla stessa risoluzione o dallo stesso budget di poligoni. Una risoluzione più elevata richiede più elaborazione, quindi la domanda utile non è «Qual è la modalità con la risoluzione massima?», ma «Quale modalità apporta un valore visibile per questa attività?»

Un flusso di lavoro pratico consiste nell’esplorare il soggetto e la composizione con Standard o Ultra 2K, per poi usare Ultra 4K per la proposta migliore quando i dettagli geometrici fini sono importanti per il risultato finale. In questo modo l’iterazione resta rapida e si concentra la generazione alla massima fedeltà sui casi in cui i creatori noteranno e sfrutteranno davvero la differenza.

Ultra 4K opera a una risoluzione geometrica di 4096³ e le mesh grezze possono raggiungere fino a 80 milioni di triangoli prima della semplificazione. Questa scala è utile quando l’asset lo richiede, ma il nostro principio di prodotto è offrire ai creatori il livello di qualità e controllo appropriato per ogni fase, non impostare l’elaborazione massima come valore predefinito.

Con l’aumento del livello di dettaglio geometrico, la topologia e la modificabilità diventano i prossimi grandi colli di bottiglia? Quale lavoro resta da fare perché gli artisti professionisti possano modificare, preparare per il rigging, animare e ottimizzare i modelli generati dall’IA ad alto livello di dettaglio con la stessa facilità degli asset creati con metodi tradizionali?

Sì, la topologia e la modificabilità sono tra le sfide concrete più urgenti. Il rigging professionale richiede un flusso di spigoli che segua l’anatomia e le articolazioni, una densità di poligoni che si deformi in modo prevedibile e mesh che rispettino i vincoli del motore o del renderer di destinazione. Le mesh generate dall’IA possono avere dettagli superficiali ricchi, ma non producono ancora con regolarità queste caratteristiche richieste dalla produzione. Per molti flussi di lavoro di animazione, gli artisti devono ancora eseguire una fase di ritopologia prima di poter iniziare concretamente il rigging.

Lo stesso problema riguarda la modifica. Una mesh generata e densa può offrire un’eccellente fedeltà visiva o essere ideale per la scultura, ma non sempre è strutturata per operazioni come selezionare loop puliti, aggiungere tagli controllati, modificare le proporzioni o preparare la deformazione. Un maggiore controllo semantico e procedurale, che consenta di modificare una scelta progettuale invece di rielaborare manualmente la superficie, renderebbe gli asset generati molto più flessibili.

Poiché la topologia precede il rigging, lo skinning, le blend shape e le simulazioni fisiche, i progressi in questo ambito potrebbero migliorare l’intera pipeline di produzione. Esistono due percorsi complementari: i modelli di generazione possono imparare a produrre geometrie più adatte alla produzione e la post-elaborazione automatizzata può convertire mesh ricche di dettagli in topologie specifiche per ogni attività. La soluzione più utile potrebbe combinare entrambi, preservando i dettagli visivi desiderati dai creatori e adattando al contempo la mesh al flusso di lavoro effettivamente utilizzato.

Guardando oltre Ultra 4K, quale ritieni sarà la prossima grande soglia per la generazione 3D: una fedeltà geometrica ancora maggiore, una topologia più efficace, scene coerenti con più oggetti, asset pronti per l’animazione, una migliore comprensione delle proprietà fisiche o, infine, modelli capaci di generare mondi 3D interattivi completi?

La fedeltà geometrica continuerà a migliorare, ma non credo che rappresenti la prossima soglia. La prossima soglia consiste nel creare asset che possano essere usati davvero senza che una persona debba ripararli. Per chi usa la stampa 3D, significa un modello che può essere elaborato dallo slicer, stampato e ottenere già al primo tentativo la forma desiderata. Per un team di sviluppo di videogiochi, significa una topologia pulita, parti ben definite e coordinate UV corrette, così che l’asset possa essere sottoposto a rigging senza una fase di ritopologia. Oggi gli asset generati sono ottimi punti di partenza. La soglia sarà raggiunta quando smetteranno di essere soltanto punti di partenza.

Dopodiché, penso che il cambiamento più importante non riguardi un’altra capacità del modello, ma chi svolge il lavoro. Oggi una persona è ancora l’anello di congiunzione tra il modello e il risultato: sceglie lo strumento, corregge la mesh e verifica se sarà possibile stampare il modello o se rientrerà nei limiti di budget del motore. Il passo successivo è un agente che gestisce l’intero processo, dall’inizio alla fine. Descrivi ciò che vuoi e a cosa è destinato, e il sistema pianifica i passaggi, usa gli strumenti, verifica che il proprio risultato sia adatto a quello scopo e torna da te solo per le decisioni creative che spettano a te. I mondi interattivi sono la naturale evoluzione, ma saranno costruiti con risorse che devono prima diventare affidabili. La nostra missione è trasformare ogni idea in una realtà 3D, e per realtà intendiamo qualcosa che si possa stampare, usare in un gioco o distribuire.

Grazie per la splendida intervista; i lettori che desiderano saperne di più possono visitare Meshy.