Hannah (Linan) Zhou, membră fondatoare și directoare de produs la Meshy – Seria de interviuri

Hannah (Linan) Zhou, membră fondatoare și directoare de produs la Meshy, este o lideră de produs specializată în dezvoltarea și extinderea instrumentelor de IA generativă pentru crearea de conținut 3D. La Meshy, contribuie la definirea strategiei de produs a companiei pentru aplicații destinate atât consumatorilor, cât și companiilor, inclusiv generarea 3D, agenți IA, API-uri pentru dezvoltatori și fluxuri de lucru concepute pentru integrarea conținutului 3D generat în procesele creative profesionale. Zhou a descris activitatea sa ca fiind axată pe dezvoltarea și extinderea platformei de IA generativă 3D a Meshy, cu un accent deosebit pe facilitarea accesului creatorilor la această tehnologie, precum și pe dezvoltarea capabilităților de securitate, colaborare, analiză și infrastructură de care au nevoie clienții din mediul de afaceri. Pregătirea sa include studii postuniversitare la Brandeis University, axate pe învățare automată, analiza datelor, Python, R și inteligență de afaceri.

Meshy este o platformă de creare a conținutului 3D cu ajutorul IA, concepută pentru a face crearea de active 3D pregătite pentru producție mult mai rapidă și mai accesibilă. Platforma poate transforma descrieri textuale, fotografii, schițe și artă conceptuală în modele 3D și oferă, de asemenea, texturare cu IA, animație, rigging automat, API-uri pentru dezvoltatori și creare conversațională de conținut 3D prin intermediul agentului său 3D, 3D Agent. Tehnologia sa este utilizată în jocuri, imprimare 3D, realitate augmentată și virtuală, design de produs, educație și alte industrii creative. Meshy declară că are peste 12 milioane de utilizatori înregistrați și că au fost create peste 100 de milioane de modele cu ajutorul său, iar instrumentele sale sunt folosite de echipe din companii importante de tehnologie, jocuri, design și producție.

Cariera ta a început în audit și finanțe, înainte să faci o schimbare majoră și să treci în domeniul tehnologiei, devenind membră fondatoare și directoare de produs la Meshy. Ce te-a atras inițial către generarea 3D și cum ți-a influențat pregătirea analitică modul în care evaluezi dacă o nouă capabilitate este cu adevărat utilă, nu doar impresionantă vizual?

Mi-am petrecut prima parte a carierei în audit și finanțe, iar această experiență m-a învățat să privesc o afacere din mai multe perspective simultan, pentru că niciun indicator luat separat nu îți spune dacă aceasta este sănătoasă. Așa evaluez un produs și astăzi. O demonstrație impresionantă a trecut un test. Înainte să construim ceva, vreau să treacă mai multe: creează valoare reală pentru utilizator, cât de mare este piața pentru acea valoare, cât ne costă să o oferim și există în spatele ei o afacere solidă? Multe funcționalități impresionante vizual nu trec unul dintre aceste teste. Cele care merită construite tind să le treacă pe toate.

Ce m-a atras la 3D este o convingere simplă: toată lumea poate crea în 3D. Copiii construiesc lucruri din cuburi și plastilină cu mult înainte ca cineva să-i învețe. Ceea ce îi oprește nu este lipsa de aptitudini, ci instrumentele. Crearea tradițională de conținut 3D presupune ani de pregătire în programe pe care majoritatea oamenilor nu le-au deschis niciodată. Mi-am dorit să construiesc un produs care să înlăture această barieră, astfel încât atât un copil de șapte ani, cât și o bunică de șaptezeci de ani să poată crea ceva în 3D fără să aibă nevoie de această pregătire.

Ultra 4K se concentrează în mod specific pe rezoluția geometriei 4K, nu pe rezoluția texturilor. Pentru creatorii care s-ar putea să nu înțeleagă imediat diferența, de ce a devenit creșterea nivelului de detaliu fizic real al unei suprafețe generate un front atât de important pentru conținutul 3D generat de IA?

Geometria și textura îndeplinesc funcții diferite. Geometria definește suprafața propriu-zisă a unui activ, iar textura îi descrie aspectul vizual. O textură poate sugera solzi, cusături sau o gravură, însă geometria reală schimbă silueta, reacționează firesc la lumină, proiectează umbre și rămâne parte din plasă în fluxurile de lucru pentru sculptură, randare și imprimare 3D.

În ultimii ani, industria a făcut progrese majore în ceea ce privește structura generală și alinierea. Aceste probleme nu sunt rezolvate, dar, pe măsură ce nivelul de bază se îmbunătățește, creatorii privesc în mod firesc mai atent. Întrebarea nu mai este doar dacă modelul are forma generală potrivită, ci și dacă detaliile care îi dau caracter — gravura de pe armură, solzii unei creaturi sau cusăturile unei curele — sunt prezente efectiv în geometrie.

Pentru creatori, acest lucru contează deoarece fiecare detaliu lipsă înseamnă muncă manuală în etapele ulterioare. Ultra 4K este conceput pentru a îmbunătăți calitatea punctului de plecare, astfel încât artiștii să petreacă mai puțin timp reconstruind structura de bază a suprafeței și mai mult timp rafinând activul în funcție de propriile obiective creative.

Meshy susține că deficiențele structurale majore, precum siluetele deformate sau membrele suplimentare, sunt mai puțin frecvente, ceea ce face din detaliile geometrice fine una dintre problemele mai dificile încă nerezolvate. Ce provocări tehnice fac ca elemente precum solzii, pliurile, gravurile și suprafețele sculptate să fie deosebit de greu de generat pentru modelele generative?

Elementele geometrice fine sunt dificil de generat pentru că au o scară mult mai mică decât obiectul în ansamblu. Un model poate înțelege silueta unui dragon, dar totuși să nu redea structura fiecărui solz sau poate reproduce o piesă de armură, netezindu-i însă liniile gravate.

Există și o ambiguitate inerentă în generarea 3D pornind de la o imagine 2D. Un model colorat poate reprezenta vopsea, o textură, o umbră sau o proeminență fizică. Modelul trebuie să decidă care semnale vizuale ar trebui să devină geometrie propriu-zisă, apoi să reconstruiască aceste structuri în mod consecvent pe întreaga suprafață.

În cele din urmă, detaliile trebuie să se păstreze pe parcursul întregului proces. Generarea la rezoluție înaltă, extragerea mesh-ului și simplificarea trebuie să păstreze caracteristicile semnificative, fără să le transforme în zgomot sau să genereze o densitate inutilă de poligoane. Provocarea constă în obținerea unor detalii coerente și utile creatorilor, nu doar a unei variații mai mari a suprafeței.

Ce schimbări interne au făcut posibilă rezoluția Ultra 4K și care au fost cele mai importante progrese: cele legate de modelul de bază, de datele de antrenare, de tehnicile de reconstrucție, de procesul de inferență sau de modul în care Meshy reprezintă geometria 3D?

Ultra 4K a rezultat din îmbunătățiri aduse întregului proces de generare a geometriei, nu dintr-o singură schimbare izolată. Am mărit scara reprezentării geometriei și a arhitecturii de bază pentru generare a Meshy, de la 2048³ la 4096³, apoi am combinat această schimbare cu extragerea mesh-ului și simplificarea de înaltă precizie, astfel încât rezoluția suplimentară să se traducă în structuri de suprafață semnificative, nu doar într-un număr mai mare de poligoane.

La această scară, modelul operează într-un spațiu care conține miliarde de voxeli. Înainte de simplificare, un mesh Ultra 4K brut poate conține până la 80 de milioane de triunghiuri, așadar etapele de extragere și simplificare sunt esențiale pentru păstrarea detaliilor fine și obținerea unui element cu care creatorii să poată lucra.

În prezent, Ultra 4K permite generarea dintr-o singură perspectivă, în timp ce Ultra 2K este disponibil atât pentru fluxuri de lucru cu o singură perspectivă, cât și pentru cele cu mai multe perspective. Suportul pentru mai multe perspective în Ultra 4K va fi adăugat când va atinge același nivel de calitate.

Meshy folosește randarea normalelor la rezoluții multiple pentru a măsura câtă structură geometrică se păstrează la diferite scări, fără a se baza pe texturi. De ce ați ales această metodă de evaluare și ce dezvăluie ea, spre deosebire de comparațiile vizuale convenționale sau de testele de referință pentru geometrie?

Când afirmația se referă în mod specific la geometrie, avem nevoie de o metodă de evaluare care să izoleze suprafața în sine. Texturile, materialele, iluminarea și postprocesarea pot face ca o suprafață relativ plată să pară foarte detaliată, în timp ce numărul de poligoane, luat separat, nu ne spune dacă acestea formează o structură semnificativă.

Testul nostru de referință Detail Richness randează fiecare model din mai multe direcții de vizualizare, la rezoluții fixe ale imaginii, și măsoară cât din suprafața vizibilă prezintă schimbări de orientare în interiorul unui pixel. La rezoluții de randare mai mici, metrica surprinde structurile mai ample; la rezoluții mai mari, devine sensibilă la caracteristici mai fine, precum crestele, cusăturile, solzii și gravurile.

Folosim și date de intrare cu detalii structurale bogate, dar cu texturi simple, ceea ce reduce ambiguitatea dintre aspectul pictat și forma fizică. Astfel, putem răspunde punctual la o întrebare: câtă structură geometrică semnificativă s-a păstrat la diferite scări? Metoda nu măsoară alinierea, topologia, netezimea, calitatea texturilor sau posibilitatea de editare, așa că o prezentăm ca pe o componentă a unui cadru de evaluare mai amplu, nu ca pe o măsură completă a calității unui element 3D.

Testele efectuate la lansare au arătat că Ultra 4K producea mai multe detalii geometrice decât celelalte sisteme de vârf testate, în timp ce Meshy face o distincție clară între detaliile geometrice și aliniere, topologie, netezime, calitatea texturilor și posibilitatea de editare. Cum ar trebui să abordeze industria evaluarea conținutului 3D generat de IA, când niciun test de referință nu surprinde calitatea generală a unui element?

Considerăm că elementele 3D generate de IA ar trebui evaluate pe fiecare dimensiune în parte și în contextul fluxului de lucru pentru care sunt destinate. Detaliile geometrice, alinierea la imagine, topologia, netezimea suprafeței, calitatea texturilor, posibilitatea de editare și viteza de generare sunt toate importante, dar importanța lor variază în funcție de sarcină. Un punct de plecare pentru sculptură digitală, un obiect de recuzită pentru un joc în timp real și un model imprimabil 3D nu au aceeași definiție a ceea ce înseamnă „cel mai bun”.

Asta înseamnă că testele de referință ar trebui să precizeze clar ce măsoară. Pentru o afirmație despre geometrie, sunt esențiale randările fără texturi sau cu aspect de lut, precum și examinarea de aproape; pentru alinierea la imagine, evaluarea ar trebui să urmărească dacă formele și componentele corespund referinței; pentru pregătirea pentru producție, trebuie testate și topologia, riggingul, editarea și constrângerile de performanță.

Considerăm, de asemenea, că evaluarea ar trebui să fie transparentă, reproductibilă și datată. Modelele evoluează rapid, așa că un test de referință oferă o imagine de moment, nu un clasament permanent. Obiectivul pe termen lung al industriei ar trebui să fie dezvoltarea unui set de metode de evaluare deschise și multidimensionale, pe care creatorii și cercetătorii independenți să le poată reproduce și utiliza în funcție de propriile fluxuri de lucru.

Ultra 4K pare conceput în special pentru sculptură digitală, obiecte de recuzită cinematografică, figurine de colecție, personaje detaliate și elemente centrale. Cât de aproape sunt acum elementele generate de IA de a putea fi introduse direct în fluxurile de lucru profesionale din Blender, ZBrush, Maya sau Unreal Engine, fără o curățare manuală substanțială?

Elementele generate de IA sunt deja utile în instrumentele profesionale, însă cât de aproape sunt de a putea fi folosite direct depinde de element și de fluxul de lucru.

Pentru explorarea conceptelor, referințele de design și unele elemente statice sau de fundal, modelele generate pot scurta drumul de la idee la un punct de plecare 3D editabil. Artiștii le pot importa în Blender, ZBrush, Maya sau Unreal Engine și pot începe să evalueze forma, compoziția și detaliile mult mai devreme decât dacă ar porni de la o scenă goală.

Pentru activele principale, personajele cu rigging și alte proiecte de producție solicitante, pregătirile suplimentare sunt încă frecvente. Topologia poate necesita adaptări pentru deformare sau pentru a respecta bugetele de performanță în timp real; materialele și texturile pot necesita ajustări specifice fluxului de lucru; iar direcția artistică finală rămâne o decizie creativă a artistului. Volumul de retușuri necesare variază semnificativ în funcție de activ și de destinația acestuia.

Ultra 4K îmbunătățește un aspect important al acestui transfer: calitatea punctului de plecare geometric. Când pliurile, gravurile, solzii și alte detalii sunt deja prezente în mesh, artiștii pot petrece mai puțin timp reconstruind structura suprafeței și mai mult timp rafinând activul pentru utilizarea prevăzută. Considerăm că este un progres semnificativ către pregătirea pentru producție — nu o eliminare a artiștilor din proces, ci o bază mai bună pentru munca lor.

Meshy oferă acum Standard, Ultra 2K și Ultra 4K, în loc să trateze rezoluția maximă drept setare implicită. Cum priviți compromisul dintre viteza de generare, costul de calcul, fidelitatea geometrică și nivelul de calitate de care are nevoie efectiv o anumită sarcină creativă?

Cele trei moduri sunt concepute pentru etape și destinații diferite, nu ca trepte ale unei simple scări de la bun la mai bun și la cel mai bun.

Standard pune accentul pe viteză și iterație. Este potrivit pentru explorarea inițială, testele de compoziție și activele care vor rămâne mici pe ecran. Ultra 2K oferă un echilibru între fidelitate și flexibilitate, incluzând generarea atât dintr-o singură perspectivă, cât și din mai multe perspective. Ultra 4K este destinat situațiilor în care structura geometrică la scară mică este esențială pentru activ — de exemplu, referințe pentru sculptură, figurine de colecție, obiecte de decorate care apar în prim-plan sau personaje detaliate.

Alegerea potrivită depinde de destinația activului. Un obiect de decor din fundalul unui joc mobil și o figurină de colecție nu beneficiază de aceeași rezoluție sau de același buget de poligoane. O rezoluție mai mare necesită mai multe resurse de calcul, așa că întrebarea utilă nu este „Care mod oferă maximum?”, ci „Care mod aduce valoare vizibilă pentru această sarcină?”

Un flux de lucru practic presupune explorarea subiectului și a compoziției cu Standard sau Ultra 2K, apoi folosirea Ultra 4K pentru cea mai promițătoare variantă, atunci când detaliile geometrice fine sunt importante pentru rezultatul final. Astfel, iterațiile rămân rapide, iar generarea cu fidelitate maximă este rezervată situațiilor în care creatorii vor observa și folosi efectiv diferența.

Ultra 4K funcționează la o rezoluție geometrică de 4096³, iar mesh-urile brute pot ajunge până la 80 de milioane de triunghiuri înainte de simplificare. Acest nivel de detaliu este valoros când activul îl cere, însă principiul nostru de produs este să le oferim creatorilor nivelul potrivit de calitate și control pentru fiecare etapă — nu să facem din calculul maxim setarea implicită.

Pe măsură ce geometria devine tot mai detaliată, devin topologia și editabilitatea următoarele obstacole majore? Ce mai trebuie făcut pentru ca artiștii profesioniști să poată modifica, rig-ui, anima și optimiza modelele generate cu ajutorul inteligenței artificiale la fel de ușor ca activele create prin metode tradiționale?

Da, topologia și editabilitatea se numără printre cele mai concrete provocări pe termen scurt. Riggingul profesional depinde de un flux al muchiilor care urmează anatomia și articulațiile, de o densitate a poligoanelor care se deformează în mod previzibil și de mesh-uri care respectă constrângerile motorului grafic sau ale motorului de randare vizat. Mesh-urile generate cu ajutorul inteligenței artificiale pot avea detalii de suprafață bogate, dar încă nu respectă în mod consecvent aceste convenții de producție. În multe fluxuri de lucru pentru animație, artiștii trebuie în continuare să retopologizeze modelul înainte de a putea începe efectiv procesul de rigging.

Aceeași problemă afectează și editarea. Un mesh dens generat poate fi excelent pentru fidelitate vizuală sau sculptură, dar nu este întotdeauna structurat astfel încât să permită operațiuni precum selectarea unor bucle de muchii curate, adăugarea unor tăieturi controlate, modificarea proporțiilor sau pregătirea pentru deformare. Un control semantic și procedural mai bun — care să permită schimbarea unei decizii de design, în locul refacerii manuale a suprafeței — ar face activele generate mult mai flexibile.

Deoarece topologia este o etapă premergătoare riggingului, skinningului, blend shape-urilor și simulării fizice, progresul în acest domeniu ar putea îmbunătăți întregul flux de producție. Există două direcții complementare: modelele de generare pot învăța să producă geometrii mai bine adaptate cerințelor de producție, iar postprocesarea automatizată poate transforma mesh-urile bogate în detalii în topologii specifice sarcinii. Cea mai utilă soluție ar putea combina ambele direcții, păstrând detaliile vizuale dorite de creatori și adaptând totodată mesh-ul la fluxul de lucru pe care îl folosesc efectiv.

Dincolo de Ultra 4K, care credeți că va fi următorul prag major pentru generarea 3D: o fidelitate geometrică și mai mare, o topologie mai bună, scene cu mai multe obiecte coerente, active pregătite pentru animație, o înțelegere mai bună a proprietăților fizice sau, în cele din urmă, modele capabile să genereze lumi 3D interactive complete?

Fidelitatea geometrică va continua să se îmbunătățească, dar nu cred că acesta este următorul prag. Următorul prag îl reprezintă activele care pot fi folosite efectiv fără să fie reparate de o persoană. Pentru cineva care folosește imprimarea 3D, asta înseamnă un model care poate fi feliat și imprimat și care capătă forma dorită de la prima încercare. Pentru o echipă de jocuri, înseamnă topologie curată, părți bine definite și coordonate UV corecte, astfel încât activul să poată fi pregătit pentru rigging fără o etapă de retopologizare. Astăzi, activele generate sunt puncte de plecare excelente. Pragul va fi atins când nu vor mai fi doar puncte de plecare.

După aceea, cred că cea mai importantă schimbare nu ține de o nouă capacitate a modelului, ci de cine face treaba. Astăzi, o persoană încă se interpune între model și rezultat: alege instrumentul, corectează geometria și verifică dacă modelul se poate imprima sau dacă se încadrează în bugetul motorului grafic. Următorul pas este un agent care preia sarcina cap-coadă. Îi descrii ce îți dorești și unde va fi folosit, iar sistemul planifică etapele, folosește instrumentele, își verifică rezultatul în raport cu destinația și revine la tine doar pentru deciziile creative care îți aparțin. Lumile interactive sunt o continuare firească, dar vor fi construite din resurse care trebuie mai întâi să devină fiabile. Misiunea noastră este să transformăm fiecare idee într-o realitate 3D, iar realitatea înseamnă ceva ce o persoană poate imprima, în care se poate juca sau pe care o poate lansa.

Vă mulțumim pentru interviul excelent. Cititorii care doresc să afle mai multe pot vizita Meshy.