Hannah (Linan) Zhou, Meshyn perustajajäsen ja tuotejohtaja – haastattelusarja

Hannah (Linan) Zhou on Meshyn perustajajäsen ja tuotejohtaja. Hän on tuotejohtaja, joka keskittyy rakentamaan ja skaalaamaan generatiivisen tekoälyn työkaluja 3D-sisällöntuotantoon. Meshyllä hän osallistuu yrityksen tuotelinjauksien kehittämiseen kuluttaja- ja yrityskäyttöön tarkoitetuissa sovelluksissa. Näihin kuuluvat 3D-generointi, tekoälyagentit, kehittäjien rajapinnat sekä työnkulut, jotka on suunniteltu yhdistämään generatiivinen 3D ammattimaiseen luovaan tuotantoon. Zhou on kuvaillut työnsä keskittyvän Meshyn 3D-generatiivisen tekoälyalustan rakentamiseen ja skaalaamiseen. Erityisesti hän pyrkii tekemään teknologiasta helposti lähestyttävää sisällöntuottajille ja kehittämään samalla yritysasiakkaiden tarvitsemia tietoturva-, yhteistyö-, analytiikka- ja infrastruktuurivalmiuksia. Hänen taustaansa kuuluvat Brandeis Universityn jatko-opinnot, joissa hän keskittyi koneoppimiseen, data-analytiikkaan, Pythoniin, R:ään ja liiketoimintatiedon hallintaan.

Meshy on tekoälypohjainen 3D-sisällöntuotantoalusta, jonka tavoitteena on tehdä tuotantovalmiiden 3D-resurssien luomisesta huomattavasti nopeampaa ja helpommin saavutettavaa. Alustalla voi muuntaa tekstikuvauksia, valokuvia, luonnoksia ja konseptitaidetta 3D-malleiksi. Se tarjoaa myös tekoälyavusteista teksturointia, animointia, automaattista rigausta ja kehittäjien rajapintoja sekä mahdollistaa keskustelevan 3D-sisällöntuotannon 3D Agent -toiminnolla. Teknologiaa käytetään pelialalla, 3D-tulostuksessa, lisätyssä ja virtuaalitodellisuudessa, tuotesuunnittelussa, koulutuksessa ja muilla luovilla aloilla. Meshyn mukaan sillä on yli 12 miljoonaa rekisteröitynyttä käyttäjää ja alustalla on luotu yli 100 miljoonaa mallia. Sen työkaluja käyttävät suurten teknologia-, peli-, suunnittelu- ja valmistusalan yritysten tiimit.

Urasi alkoi tilintarkastuksen ja rahoituksen parissa, ennen kuin siirryit merkittävästi teknologia-alalle ja sinusta tuli Meshyn perustajajäsen ja tuotejohtaja. Mikä alun perin sai sinut kiinnostumaan generatiivisesta 3D:stä, ja miten analyyttinen taustasi on vaikuttanut siihen, miten arvioit, onko uusi ominaisuus aidosti hyödyllinen eikä vain visuaalisesti vaikuttava?

Työskentelin urani alkuvaiheessa tilintarkastuksen ja rahoituksen parissa, ja se opetti minua tarkastelemaan liiketoimintaa useasta näkökulmasta samanaikaisesti, sillä yksikään yksittäinen luku ei kerro, onko yritys kunnossa. Arvioin tuotteita nykyään samalla tavalla. Vaikuttavalta näyttävä demo on läpäissyt yhden testin. Ennen kuin rakennamme jotain, haluan sen läpäisevän useita testejä: tuottaako se käyttäjälle todellista arvoa, kuinka suuret kyseisen arvon markkinat ovat, mitä sen tarjoaminen meille maksaa ja onko sen taustalla kestävää liiketoimintaa. Monet visuaalisesti näyttävät ominaisuudet eivät läpäise jotakin näistä testeistä. Rakentamisen arvoiset ominaisuudet läpäisevät yleensä ne kaikki.

Minua houkutteli 3D:n pariin yksinkertainen ajatus: kuka tahansa voi luoda 3D:ssä. Lapset rakentavat asioita palikoista ja muovailuvahasta jo kauan ennen kuin kukaan opettaa heitä. Ihmisiä eivät estä kyvyt vaan työkalut. Perinteinen 3D-sisällöntuotanto edellyttää vuosien harjoittelua ohjelmistoilla, joita useimmat eivät ole koskaan edes avanneet. Halusin rakentaa tuotteen, joka poistaa tämän esteen, jotta sekä seitsemänvuotias että 70-vuotias isoäiti voivat luoda jotakin 3D:ssä ilman tällaista koulutusta.

Ultra 4K keskittyy nimenomaan geometrian 4K-resoluutioon, ei tekstuurien resoluutioon. Miksi luodun pinnan fyysisen yksityiskohtaisuuden lisäämisestä on tullut niin tärkeä kehityssuunta tekoälyn tuottamassa 3D:ssä, kun otetaan huomioon, etteivät sisällöntuottajat välttämättä heti ymmärrä tätä eroa?

Geometria ja tekstuuri palvelevat eri tarkoituksia. Geometria määrittää resurssin todellisen pinnan, kun taas tekstuuri kuvaa sen ulkonäköä. Tekstuuri voi luoda vaikutelman suomuista, tikkauksista tai kaiverruksesta, mutta todellinen geometria muuttaa siluettia, reagoi luonnollisesti valoon, luo varjoja ja säilyy osana 3D-verkkoa veistelyssä, renderöinnissä ja 3D-tulostuksessa.

Viime vuosina ala on edistynyt merkittävästi kokonaisrakenteen ja kohdistuksen suhteen. Näitä haasteita ei ole ratkaistu, mutta perustason parantuessa sisällöntuottajat alkavat luonnollisesti tarkastella yksityiskohtia lähemmin. Enää ei kysytä vain, onko mallin yleismuoto oikea, vaan myös sitä, ovatko sen luonnetta luovat yksityiskohdat – kuten haarniskan kaiverrukset, olennon suomut tai hihnan tikkaukset – todella mukana geometriassa.

Tällä on merkitystä sisällöntuottajille, sillä jokainen puuttuva yksityiskohta merkitsee myöhemmässä työvaiheessa käsin tehtävää työtä. Ultra 4K:n tarkoituksena on parantaa lähtökohdan laatua, jotta taiteilijat voivat käyttää vähemmän aikaa pinnan perusrakenteen uudelleenrakentamiseen ja enemmän aikaa resurssin viimeistelyyn omia luovia tavoitteitaan varten.

Meshyn mukaan vakavat rakennevirheet, kuten rikkoutuneet siluetit tai ylimääräiset raajat, ovat käyneet harvinaisemmiksi, joten hienompi geometrinen yksityiskohtaisuus on yksi jäljellä olevista vaikeimmista ongelmista. Mitkä tekniset haasteet tekevät suomujen, poimujen, kaiverrusten ja veistettyjen pintojen kaltaisista piirteistä erityisen vaikeita generatiivisille malleille?

Hienojen geometristen yksityiskohtien luominen on vaikeaa, koska ne ovat paljon pienempiä kuin koko kohde. Malli voi ymmärtää lohikäärmeen siluetin mutta silti jättää kunkin suomun rakenteen huomiotta tai jäljentää haarniskan mutta silottaa sen kaiverretut viivat pois.

Lisäksi 3D:n luomiseen 2D-kuvasta liittyy väistämätöntä monitulkintaisuutta. Värikuvio voi tarkoittaa maalia, tekstuuria, varjoa tai fyysistä kohoumaa. Mallin on päätettävä, mitkä visuaaliset vihjeet pitäisi muuntaa varsinaiseksi geometriaksi, ja sen jälkeen rekonstruoitava nämä rakenteet yhtenäisesti koko pinnalle.

Lopuksi yksityiskohtien on säilyttävä koko käsittelyketjun läpi. Korkearesoluutioisen generoinnin, verkon muodostamisen ja yksinkertaistamisen on säilytettävä olennaiset piirteet muuttamatta niitä kohinaksi tai kasvattamatta polygonimäärää tarpeettomasti. Haasteena on tuottaa luojille johdonmukaisia ja hyödyllisiä yksityiskohtia, ei vain lisätä pinnan vaihtelua.

Mitä taustalla tapahtui, jotta Ultra 4K tuli mahdolliseksi, ja liittyivätkö suurimmat edistysaskeleet pohjana olevaan malliin, koulutusdataan, rekonstruktiotekniikoihin, päättelyputkeen vai siihen, miten Meshy esittää 3D-geometriaa?

Ultra 4K:n mahdollistivat geometriaputken eri osissa tehdyt parannukset, eivät yksittäiset irralliset muutokset. Kasvatimme Meshyn geometrian esitystarkkuutta ja generoinnin runkomallia tasolta 2048³ tasolle 4096³. Sen jälkeen yhdistimme tämän tarkkaan verkon muodostamiseen ja yksinkertaistamiseen, jotta lisäresoluutio tuottaa mielekästä pintarakennetta eikä vain kasvata polygonimäärää.

Tällä tarkkuudella malli toimii tilassa, jossa on miljardeja vokseleita. Raakamuotoinen Ultra 4K -verkko voi sisältää ennen yksinkertaistamista jopa 80 miljoonaa kolmiota, joten muodostamis- ja yksinkertaistamisvaiheet ovat ratkaisevan tärkeitä: niiden avulla voidaan säilyttää pienet yksityiskohdat ja samalla tuottaa aineisto, jota luojat pystyvät työstämään.

Ultra 4K tukee tällä hetkellä yhden kuvakulman generointia, kun taas Ultra 2K on käytettävissä sekä yhden että usean kuvakulman työnkuluissa. Ultra 4K:hon lisätään usean kuvakulman tuki, kun se yltää samalle laatutasolle.

Meshy käyttää moniresoluutioista normaalien renderöintiä mitatakseen, kuinka paljon geometrisesta rakenteesta säilyy eri mittakaavoissa ilman tekstuureihin tukeutumista. Miksi valitsitte tämän arviointimenetelmän, ja mitä se tuo esiin, mikä voi jäädä huomaamatta tavanomaisissa visuaalisissa vertailuissa tai geometriatesteissä?

Kun väite koskee nimenomaan geometriaa, tarvitsemme arviointimenetelmän, joka tarkastelee itse pintaa erillään muista tekijöistä. Tekstuurit, materiaalit, valaistus ja jälkikäsittely voivat saada melko tasaisen pinnan näyttämään hyvin yksityiskohtaiselta, kun taas pelkkä polygonimäärä ei kerro, sisältävätkö polygonit mielekästä rakennetta.

Detail Richness -vertailutestissä kukin malli renderöidään useista katselusuunnista kiinteillä näytön resoluutioilla, ja siinä mitataan, kuinka suuri osa näkyvästä pinnasta sisältää pikselitasolla suuntamuutoksia. Pienemmillä renderöintiresoluutioilla mittari kuvaa laajempia rakenteita, kun taas suuremmilla resoluutioilla se herkistyy hienommille piirteille, kuten harjanteille, tikkauksille, suomuille ja kaiverruksille.

Käytämme myös syötteitä, joissa on paljon rakenteellisia yksityiskohtia mutta yksinkertaiset tekstuurit. Näin vähennämme epäselvyyttä maalatun ulkoasun ja fyysisen muodon välillä. Menetelmä antaa täsmällisen vastauksen yhteen kysymykseen: kuinka paljon mielekästä geometrista rakennetta on säilynyt eri mittakaavoissa? Se ei mittaa kohdistusta, topologiaa, pinnan tasaisuutta, tekstuurin laatua eikä muokattavuutta, joten esitämme sen osana laajempaa arviointikehystä, emme kattavana aineiston laadun mittarina.

Julkaisun yhteydessä tehdyissä testeissä havaitsitte, että Ultra 4K tuotti enemmän geometrisia yksityiskohtia kuin muut testatut johtavat järjestelmät. Meshy kuitenkin erottaa huolellisesti geometriset yksityiskohdat kohdistuksesta, topologiasta, pinnan tasaisuudesta, tekstuurin laadusta ja muokattavuudesta. Miten alan pitäisi arvioida tekoälyn tuottamaa 3D-sisältöä, kun mikään yksittäinen vertailutesti ei kata aineiston laatua kokonaisuudessaan?

Mielestämme tekoälyn tuottamaa 3D-sisältöä pitäisi arvioida osa-alue kerrallaan ja suunnitellun työnkulun näkökulmasta. Geometriset yksityiskohdat, kuvan kohdistus, topologia, pinnan tasaisuus, tekstuurin laatu, muokattavuus ja generoinnin nopeus ovat kaikki tärkeitä, mutta niiden painoarvo vaihtelee tehtävän mukaan. Digitaalisen veistämisen lähtökohdaksi tarkoitettua mallia, reaaliaikaisessa pelissä käytettävää esinettä ja 3D-tulostukseen sopivaa mallia ei arvioida samoin perustein sen suhteen, mikä on ”parasta”.

Vertailutesteissä pitäisi siis kertoa selvästi, mitä niillä mitataan. Geometriaa koskevan väitteen arvioinnissa teksturoimattomat tai savimaiset renderöinnit ja lähikuvien tarkastelu ovat olennaisia. Kuvan kohdistusta arvioitaessa pitäisi keskittyä siihen, vastaavatko muodot ja osat viitekuvaa. Tuotantokäyttöön soveltuvuutta arvioitaessa on testattava myös topologiaa, riggausta, muokkausta ja suorituskykyrajoitteita.

Mielestämme arvioinnin pitäisi olla myös läpinäkyvää, toistettavaa ja aikaleimattua. Mallit kehittyvät nopeasti, joten vertailutesti on tilannekuva eikä pysyvä paremmuusjärjestys. Alan pitkän aikavälin tavoitteena pitäisi olla avoimien, moniulotteisten arviointimenetelmien kokonaisuus, jonka luojat ja riippumattomat tutkijat voivat toistaa ja jota he voivat käyttää omien työnkulkujensa mukaisesti.

Ultra 4K vaikuttaa soveltuvan erityisesti digitaaliseen veistämiseen, elokuvien rekvisiittaan, keräilyhahmoihin, yksityiskohtaisiin hahmoihin ja näyttäviin avainelementteihin. Kuinka lähellä tekoälyn tuottamat aineistot ovat sitä, että ne voidaan siirtää suoraan ammattimaisiin Blender-, ZBrush-, Maya- tai Unreal Engine -työnkulkuihin ilman merkittävää manuaalista viimeistelyä?

Tekoälyn tuottamista aineistoista on jo hyötyä ammattimaisissa työkaluissa, mutta niiden soveltuvuus ”suoraan käyttöön” riippuu aineistosta ja työnkulusta.

Konseptien kehittelyssä, suunnittelun viitemateriaalina sekä joidenkin staattisten tai taustalla käytettävien aineistojen kohdalla generoidut mallit voivat nopeuttaa matkaa ideasta muokattavaan 3D-lähtökohtaan. Taiteilijat voivat tuoda ne Blenderiin, ZBrushiin, Mayaan tai Unreal Engineen ja alkaa arvioida muotoa, sommittelua ja yksityiskohtia huomattavasti aiemmin kuin jos he aloittaisivat tyhjästä näkymästä.

Keskeisten tuotantomallien, rigattujen hahmojen ja muiden paljon työtä vaativien tuotantotehtävien kohdalla tarvitaan edelleen usein lisävalmistelua. Topologiaa voidaan joutua mukauttamaan deformaatioita tai reaaliaikaisen käytön rajoitteita varten, ja materiaaleihin ja tekstuureihin voidaan tarvita työnkulkuun sopivia muutoksia. Lopulliset taiteelliset ratkaisut ovat kuitenkin edelleen taiteilijan käsissä. Viimeistelytarpeen määrä vaihtelee huomattavasti mallin ja sen käyttökohteen mukaan.

Ultra 4K parantaa yhtä tärkeää vaihetta: geometrisen lähtökohdan laatua. Kun taitokset, kaiverrukset, suomut ja muut yksityiskohdat ovat jo mukana verkossa, taiteilijoiden ei tarvitse käyttää yhtä paljon aikaa pinnan rakenteen rakentamiseen uudelleen, vaan he voivat keskittyä mallin viimeistelyyn sen aiottua käyttötarkoitusta varten. Pidämme tätä merkittävänä edistysaskeleena kohti tuotantovalmiutta – kyse ei ole taiteilijoiden poistamisesta prosessista, vaan heidän työlleen parempien lähtökohtien luomisesta.

Meshy tarjoaa nyt Standard-, Ultra 2K- ja Ultra 4K -tilat sen sijaan, että suurin tarkkuus olisi aina oletusvalinta. Miten arvioit kompromisseja generointinopeuden, laskentakustannusten, geometrisen tarkkuuden ja kunkin luovan tehtävän todella edellyttämän laatutason välillä?

Kolme tilaa on suunniteltu eri työvaiheisiin ja käyttökohteisiin, eikä niitä ole tarkoitettu yksinkertaiseksi hyvä–parempi–paras-asetelmaksi.

Standard painottaa nopeutta ja iterointia. Se sopii aiheen varhaiseen tutkimiseen, sommittelun testaamiseen ja malleihin, jotka näkyvät ruudulla pieninä. Ultra 2K tarjoaa tasapainon tarkkuuden ja joustavuuden välillä, ja sillä voi luoda malleja sekä yksittäisen että usean näkymän pohjalta. Ultra 4K on tarkoitettu tilanteisiin, joissa pienimittakaavainen geometrinen rakenne on mallin kannalta keskeinen – esimerkiksi veistosten referenssimalleihin, keräilyhahmoihin, lähikuviin tuleviin esineisiin tai yksityiskohtaisiin hahmoihin.

Oikea valinta riippuu mallin käyttökohteesta. Mobiilipelin taustalla näkyvä esine ja keräilyhahmo eivät hyödy samasta tarkkuudesta tai polygonimäärästä. Suurempi tarkkuus vaatii enemmän laskentatehoa, joten hyödyllinen kysymys ei ole ”Mikä tila on tarkin?” vaan ”Mikä tila tuo tähän tehtävään näkyvää lisäarvoa?”

Käytännössä aihetta ja sommittelua voi tutkia Standard- tai Ultra 2K -tilassa ja siirtyä sitten Ultra 4K -tilaan lupaavimman vaihtoehdon kanssa, jos hienovarainen geometrinen yksityiskohtaisuus on lopputuloksen kannalta tärkeää. Näin iterointi pysyy nopeana, ja tarkinta generointia käytetään siellä, missä tekijät todella näkevät eron ja hyötyvät siitä.

Ultra 4K:n geometrinen tarkkuus on 4096³, ja raakojen verkkojen kolmiomäärä voi olla jopa 80 miljoonaa ennen yksinkertaistamista. Tällainen mittakaava on hyödyllinen silloin, kun malli sitä edellyttää, mutta tuoteperiaatteemme on tarjota tekijöille kuhunkin työvaiheeseen sopiva laatutaso ja hallinta – ei asettaa suurinta laskentatehoa oletukseksi.

Kun geometriasta tulee yhä yksityiskohtaisempaa, muodostuvatko topologiasta ja muokattavuudesta seuraavat merkittävät pullonkaulat? Mitä vielä tarvitaan, jotta erittäin yksityiskohtaisia tekoälyn luomia malleja olisi ammattilaisten yhtä helppo muokata, rigata, animoida ja optimoida kuin perinteisesti luotuja malleja?

Kyllä. Topologia ja muokattavuus ovat konkreettisimpia lähiajan haasteita. Ammattimainen rigaus edellyttää anatomiaa ja niveliä mukailevaa reunojen kulkua, ennustettavasti deformoituvaa polygonitiheyttä sekä kohdepelimoottorin tai renderöijän vaatimukset täyttäviä verkkoja. Tekoälyn luomissa verkoissa voi olla runsaasti pinnan yksityiskohtia, mutta ne eivät vielä noudata johdonmukaisesti tuotantokäytännöissä vakiintuneita vaatimuksia. Monissa animaatiotyönkuluissa taiteilijoiden on edelleen tehtävä retopologisointikierros ennen kuin varsinainen rigaus voi alkaa.

Sama ongelma koskee muokkaamista. Tiheä generoitu verkko voi sopia erinomaisesti visuaalisen tarkkuuden tavoitteluun tai veistämiseen, mutta sen rakenne ei aina tue esimerkiksi siistien reunasilmukoiden valitsemista, hallittujen leikkausten tekemistä, mittasuhteiden muuttamista tai mallin valmistelua deformaatioita varten. Joustavuutta lisäisi huomattavasti semanttisempi ja proseduraalisempi ohjaus, jonka avulla voisi muuttaa suunnitteluratkaisua pinnan manuaalisen uudelleentyöstämisen sijaan.

Koska topologia on rigauksen, skinning-vaiheen, blend shape -muotojen ja fysiikkasimulaation edeltävä vaihe, sen parantaminen voisi hyödyttää koko tuotantoputkea. Ratkaisuun on kaksi toisiaan täydentävää lähestymistapaa: generointimallit voivat oppia tuottamaan paremmin tuotantovaatimukset huomioivaa geometriaa, ja automaattinen jälkikäsittely voi muuntaa yksityiskohtaiset verkot tehtäväkohtaiseen topologiaan. Hyödyllisin ratkaisu saattaa yhdistää nämä molemmat: se säilyttäisi tekijöiden haluamat visuaaliset yksityiskohdat ja mukauttaisi samalla verkon heidän käyttämäänsä työnkulkuun.

Kun katsotaan Ultra 4K:ta pidemmälle, mikä on mielestäsi seuraava merkittävä harppaus generatiivisessa 3D:ssä: entistä tarkempi geometria, parempi topologia, keskenään yhdenmukaiset usean objektin kohtaukset, animointivalmiit mallit, parempi fyysisen maailman ymmärrys vai lopulta kokonaisia vuorovaikutteisia 3D-maailmoja luovat mallit?

Geometrinen tarkkuus paranee jatkossakin, mutta en usko sen olevan seuraava merkittävä harppaus. Seuraava harppaus ovat mallit, jotka kestävät todellista käyttöä ilman ihmisen tekemiä korjauksia. 3D-tulostuksessa tämä tarkoittaa mallia, jonka voi viipaloida ja tulostaa niin, että lopputulos on halutun muotoinen jo ensimmäisellä kerralla. Pelitiimille se tarkoittaa siistiä topologiaa, järkevästi jaoteltuja osia ja asianmukaisia UV-karttoja, jotta mallin voi rigata ilman retopologisointikierrosta. Nykyään generoidut mallit ovat erinomaisia lähtökohtia. Merkittävä harppaus tapahtuu, kun ne eivät enää ole vain lähtökohtia.

Sen jälkeen suurin muutos ei mielestäni liity enää mallin uusiin kykyihin vaan siihen, kuka työn tekee. Nykyään ihminen on yhä mallin ja lopputuloksen välissä: hän valitsee työkalun, korjaa verkkopintaa ja tarkistaa, voiko sen tulostaa tai mahtuuko se pelimoottorin budjettiin. Seuraava askel on agentti, joka hoitaa tehtävän alusta loppuun. Kerrot, mitä haluat ja mihin se on tulossa, ja järjestelmä suunnittelee vaiheet, käyttää työkaluja ja tarkistaa, vastaako sen oma tulos tavoitetta. Se palaa luoksesi vain niiden luovien päätösten osalta, jotka kuuluvat sinulle. Interaktiiviset maailmat ovat luonteva jatkumo, mutta ne rakennetaan aineistoista, joiden on ensin oltava luotettavia. Missiomme on tehdä jokaisesta ideasta 3D-todellisuutta, ja todellisuus tarkoittaa jotakin, jonka ihminen voi tulostaa, jolla hän voi pelata tai jonka hän voi toimittaa.

Kiitos hienosta haastattelusta; lukijat, jotka haluavat tietää lisää, voivat tutustua Meshyyn.