Syvägeneratiivisten tekoälymallien tulo on nopeuttanut merkittävästi tekoälyn kehitystä, jolla on merkittäviä ominaisuuksia luonnollisen kielen luomisessa, 3D-luonnissa, kuvien luomisessa ja puhesynteesissä. Luovat 3D-mallit ovat muuttaneet lukuisia toimialoja ja sovelluksia ja mullistaneet nykyisen 3D-tuotantomaiseman. Monet nykyiset syvägeneratiiviset mallit kohtaavat kuitenkin yhteisen esteen: monimutkainen johdotus ja luodut verkot, joissa on vaaleita tekstuureja, eivät usein ole yhteensopivia perinteisten renderöintiputkien, kuten PBR:n (Physically Based Rendering), kanssa. Diffuusiopohjaisilla malleilla, jotka luovat 3D-resursseja ilman valokuvioita, on merkittäviä kykyjä monipuoliseen 3D-resurssien luomiseen, mikä täydentää olemassa olevia 3D-kehyksiä eri aloilla, kuten elokuvanteossa, pelaamisessa ja lisätyssä/virtuaalitodellisuudessa.

Tässä artikkelissa keskustelemme Paint3D:stä, uudesta karkeasta hienoon kehykseen, joka pystyy tuottamaan erilaisia, korkearesoluutioisia 2K UV-tekstuurikarttoja teksturoimattomille 3D-verkoille joko visuaalisten tai tekstisyötteiden perusteella. Paint3D:n tärkein haaste on tuottaa korkealaatuisia pintakuvioita upottamatta valaistustietoja, jolloin käyttäjät voivat muokata tai valaista uudelleen nykyaikaisissa grafiikkaputkissa. Tämän ongelman ratkaisemiseksi Paint3D-kehys käyttää valmiiksi koulutettua 2D-diffuusiomallia usean näkymän pintakuvioiden yhdistämiseen ja näkymän ehdollisten kuvien luomiseen, mikä tuottaa aluksi karkean pintakuviokartan. Koska 2D-mallit eivät kuitenkaan voi poistaa valaistustehosteita kokonaan käytöstä tai edustaa täysin 3D-muotoja, pintakuviokartassa voi olla valaistusartefakteja ja epätäydellisiä alueita.

Tässä artikkelissa tutkimme Paint3D-kehystä perusteellisesti, tarkastelemme sen toimintaa ja arkkitehtuuria ja vertaamme sitä huippuluokan syvägeneratiivisiin kehyksiin. Joten aloitetaan.

Paint3D: Johdanto

Deep Generative AI -mallit ovat osoittaneet poikkeuksellisia kykyjä luonnollisen kielen luomisessa, 3D-luonnissa ja kuvien synteesissä, ja ne on otettu käyttöön tosielämän sovelluksissa, mikä mullisti 3D-sukupolven teollisuuden. Huolimatta huomattavista ominaisuuksistaan ​​nykyaikaiset syvät generatiiviset tekoälykehykset tuottavat kuitenkin usein verkkoja, joissa on monimutkaisia ​​johdotuksia ja kaoottisia valaistuskuvioita, jotka eivät ole yhteensopivia tavanomaisten renderöintiputkien kanssa, mukaan lukien fyysinen renderöinti (PBR). Samoin tekstuurin synteesi on edennyt nopeasti, erityisesti 2D-diffuusiomallien käytön myötä. Nämä mallit hyödyntävät tehokkaasti esiopetettuja syvyydestä kuvan diffuusiomalleja ja tekstiolosuhteita korkealaatuisten tekstuurien luomiseksi. Merkittävä haaste on kuitenkin edelleen olemassa: esivalaistut pintakuviot voivat vaikuttaa haitallisesti lopullisiin 3D-ympäristön renderöintiin ja aiheuttaa valaistusvirheitä, kun valoja säädetään yleisten työnkulkujen puitteissa, kuten seuraavassa kuvassa näkyy.

Kuten havaittiin, pintakuviokartat ilman esivalaistusta toimivat saumattomasti perinteisten renderöintiputkien kanssa ja tarjoavat tarkkoja tuloksia. Sitä vastoin esivalaistuksella varustetuissa pintakuviointikartoissa on sopimattomia varjoja, kun käytetään uudelleenvaloa. 3D-dataan koulutetut tekstuurin luontikehykset tarjoavat vaihtoehtoisen lähestymistavan, jotka luovat tekstuureja ymmärtämällä tietyn 3D-objektin koko geometrian. Vaikka nämä puitteet saattavat tuottaa parempia tuloksia, niistä puuttuu yleistysominaisuudet, joita tarvitaan mallin soveltamiseen 3D-objekteihin harjoitustietojen ulkopuolella.

Nykyiset pintakuviointimallit kohtaavat kaksi kriittistä haastetta: laajan yleistyksen saavuttaminen eri kohteissa käyttämällä kuvaohjausta tai erilaisia ​​kehotteita ja kytketyn valaistuksen poistaminen esiharjoittelutuloksista. Esivalaistut pintakuviot voivat häiritä renderöintikoneiden kuvioitujen objektien lopputuloksia. Lisäksi, koska esiopetetut 2D-diffuusiomallit tarjoavat vain 2D-tuloksia näkymäalueella, niiltä puuttuu kattava ymmärrys muodoista, mikä johtaa epäjohdonmukaisuuksiin 3D-objektien näkymän yhtenäisyyden ylläpitämisessä.

Näihin haasteisiin vastaamiseksi Paint3D-kehys kehittää kaksivaiheisen tekstuurin diffuusiomalli 3D-objekteille joka yleistyy erilaisiin esikoulutettuihin generatiivisiin malleihin ja säilyttää näkymän yhtenäisyyden luoden samalla valottomia tekstuureja.

Paint3D on kaksivaiheinen, karkeasta hienoon tekstuurin luontimalli, joka hyödyntää valmiiksi koulutettujen generatiivisten AI-mallien vahvaa nopeaa ohjausta ja kuvanluontiominaisuuksia 3D-objektien teksturointiin. Ensimmäisessä vaiheessa Paint3D ottaa näytteitä moninäkymäkuvista esikoulutetusta syvyystietoisesta 2D-kuvan diffuusiomallista asteittain, mikä mahdollistaa laadukkaiden, rikkaiden tekstuuritulosten yleistämisen erilaisista kehotteista. Sitten malli luo alkuperäisen pintakuviokartan projisoimalla nämä kuvat takaisin 3D-verkkopinnalle. Toisessa vaiheessa malli keskittyy valaistusvapaiden tekstuurien tuottamiseen toteuttamalla valovaikutusten poistamiseen ja muototietoisten epätäydellisten alueiden hiomiseen erikoistuneiden diffuusiomallien käyttämiä lähestymistapoja. Koko prosessin ajan Paint3D-kehys tuottaa jatkuvasti semanttisesti korkealaatuisia 2K-tekstuureja eliminoiden luontaiset valaistusvaikutukset.

Yhteenvetona voidaan todeta, että Paint3D on uusi, karkeasta hienoon generatiivinen tekoälymalli, joka on suunniteltu tuottamaan monipuolisia, valottomia, korkearesoluutioisia 2K UV-tekstuurikarttoja teksturoimattomille 3D-verkoille. Sen tavoitteena on saavuttaa huippuluokan suorituskyky 3D-objektien teksturointiin erilaisilla ehdollisilla syötteillä, mukaan lukien tekstiä ja kuvia, mikä tarjoaa merkittäviä etuja synteesi- ja grafiikan muokkaustehtäviin.

Metodologia ja arkkitehtuuri

Paint3D-kehys luo ja jalostaa pintakuviokarttoja asteittain tuottaakseen monipuolisia ja korkealaatuisia pintakuvioita 3D-malleille käyttämällä ehdollisia syötteitä, kuten kuvia ja kehotteita, kuten seuraavassa kuvassa näkyy.

Vaihe 1: Progressiivinen karkean tekstuurin luominen

Alkuvaiheessa karkean tekstuurin luontivaiheessa Paint3D käyttää esiopetettua 2D-kuvaa diffuusio malleja ottaa näytteitä moninäkymäkuvista, jotka projisoidaan sitten takaisin verkkopinnalle alkuperäisten pintakuviointikarttojen luomiseksi. Tämä vaihe alkaa syvyyskartan luomisella eri kameranäkymistä. Malli käyttää syvyysolosuhteita ottaakseen näytteitä diffuusiomallista, jotka sitten projisoidaan takaisin 3D-verkkopinnalle. Tämä vaihtoehtoinen renderöinti-, näytteenotto- ja takaisinprojisointitapa parantaa pintakuvioverkkojen yhtenäisyyttä ja auttaa asteittain luomaan pintakuviokartan.

Prosessi alkaa 3D-verkon näkyvistä alueista ja keskittyy tekstuurin luomiseen ensimmäisestä kameranäkymästä renderöimällä 3D-verkko syvyyskartalle. Tekstuurikuvasta otetaan sitten näyte ulkonäön ja syvyysolosuhteiden perusteella ja projisoidaan takaisin verkkoon. Tätä menetelmää toistetaan myöhemmissä näkökulmissa, ja aiempia pintakuvioita käytetään hahmontamaan syvyyskuvan lisäksi myös osittain värillinen RGB-kuva värittämättömillä maskeilla. Malli käyttää syvyystietoista kuvanmaalauskooderia värittämättömien alueiden täyttämiseen ja luo täydellisen karkean pintakuviokartan projisoimalla maalatut kuvat takaisin 3D-verkkoon.

Monimutkaisemmille kohtauksille tai objekteille malli käyttää useita näkymiä. Aluksi se kaappaa kaksi syvyyskarttaa symmetrisistä näkökulmista ja yhdistää ne syvyysruudukoksi, joka korvaa yhden syvyyskuvan useiden syvyystietoisten pintakuvioiden näytteenottoon.

Vaihe 2: Tekstuurin parantaminen UV-tilassa

Huolimatta loogisten karkeiden pintakuviokarttojen luomisesta, haasteita, kuten renderöintiprosesseista aiheutuvia pintakuvioiden reikiä ja 2D-kuvan diffuusiomalleista aiheutuvia varjoja, ilmaantuu. Näiden korjaamiseksi Paint3D suorittaa diffuusioprosessin UV-avaruudessa karkean pintakuviokartan perusteella, mikä parantaa visuaalista vetovoimaa ja ratkaisee ongelmia.

Tekstuurikartan jalostaminen UV-avaruudessa voi kuitenkin aiheuttaa epäjatkuvuuksia jatkuvien tekstuurien pirstoutumisesta yksittäisiksi fragmenteiksi. Tämän lieventämiseksi Paint3D tarkentaa pintakuviokarttaa käyttämällä pintakuviofragmenttien viereisyystietoja. UV-avaruudessa sijaintikartta edustaa tekstuurifragmenttien 3D-naapuritietoa ja käsittelee jokaista ei-taustaelementtiä 3D-pistekoordinaattina. Malli käyttää ylimääräistä sijaintikarttakooderia, joka on samanlainen kuin ControlNet, integroimaan nämä viereisyystiedot diffuusioprosessin aikana.

Malli käyttää samanaikaisesti ehdollisen kooderin ja muiden kooderien asentoa tarkennustehtävien suorittamiseen UV-avaruudessa tarjoten kaksi ominaisuutta: UVHD (UV High Definition) ja UV-maalauksen. UVHD parantaa visuaalista vetovoimaa ja estetiikkaa käyttämällä diffuusiomallissa kuvanparannusenkooderia ja sijaintienkooderia. UV-maalaus täyttää pintakuvioreiät välttäen itsetukkeutumisongelmat renderöinnistä. Jalostusvaihe alkaa UV-maalauksella, jonka jälkeen UVHD tuottaa lopullisen jalostetun pintakuviokartan.

Integroimalla nämä tarkennusmenetelmät Paint3D-kehys luo täydellisiä, monipuolisia, korkearesoluutioisia ja valaistusvapaita UV-tekstuurikarttoja, mikä tekee siitä vankan ratkaisun 3D-objektien teksturointiin.

Paint3D: Kokeilut ja tulokset

Paint3D-malli hyödyntää Stable Diffusion text2image -mallia apuna tekstuurin luontitehtävissä, kun taas kuvan enkooderikomponentti hallitsee kuvaolosuhteita. Paint3D-kehys käyttää ControlNet-toimialueen koodereita parantaakseen ehdollisten tehtävien, kuten kuvan maalauksen, syvyyskäsittelyn ja teräväpiirtokuvan hallintaa. Malli on toteutettu PyTorch-kehyksellä, renderöinti- ja tekstuuriprojektiot suoritetaan Kaoliinilla.

Tekstuurien vertailu

Paint3D:n suorituskyvyn arvioimiseksi aloitamme analysoimalla sen tekstuurin muodostusta, kun se on ehdoiteltu tekstikehotteilla, ja vertaamalla sitä uusimpien kehysten, kuten Text2Tex, TEXTure ja LatentPaint, kanssa. Kuten seuraavasta kuvasta näkyy, Paint3D-kehys ei ainoastaan ​​loista luomaan korkealaatuisia pintakuvioyksityiskohtia, vaan myös syntetisoi tehokkaasti valottoman pintakuviokartan.

Hyödyntämällä Stable Diffusion- ja ControlNet-enkooderien vahvoja ominaisuuksia, Paint3D tarjoaa erinomaisen tekstuurin laadun ja monipuolisuuden. Vertailu korostaa Paint3D:n kykyä tuottaa yksityiskohtaisia, korkearesoluutioisia tekstuureja ilman upotettua valaistusta, mikä tekee siitä johtavan ratkaisun 3D-tekstuuritehtäviin.

Vertailun vuoksi Latent-Paint-kehys on taipuvainen luomaan epäselviä tekstuureja, jotka johtavat epäoptimaalisiin visuaalisiin tehosteisiin. Toisaalta, vaikka TEXTure-kehys tuottaa selkeitä tekstuureja, siitä puuttuu sileys ja siinä on havaittavia liitoksia ja saumoja. Lopuksi, Text2Tex-kehys tuottaa sileitä tekstuureja erittäin hyvin, mutta se ei toista suorituskykyä hienojen pintakuvioiden luomisessa monimutkaisilla yksityiskohdilla.  Seuraavassa kuvassa Paint3D-kehystä verrataan määrällisesti huipputason kehyksiin. 

Kuten voidaan havaita, Paint3D-kehys ylittää kaikki olemassa olevat mallit ja merkittävällä marginaalilla lähes 30 % parantuneella FID-perustasolla ja noin 40 % parantuneella KID-perustasolla. FID- ja KID-peruspisteiden paraneminen osoittaa Paint3D:n kyvyn luoda korkealaatuisia tekstuureja erilaisille objekteille ja luokille. 

Kuvan ja tekstuurin vertailu

Luodaksemme Paint3D:n luovia ominaisuuksia visuaalisten kehotteiden avulla käytämme TEXTure-mallia perusviivana. Kuten aiemmin mainittiin, Paint3D-malli käyttää kuvakooderia, joka on peräisin text2image-mallista Vakaa diffuusio. Kuten seuraavasta kuvasta näkyy, Paint3D-kehys syntetisoi hienoja tekstuureja erittäin hyvin ja pystyy silti säilyttämään korkean tarkkuuden kuvaolosuhteissa. 

Toisaalta TEXTure-kehys pystyy luomaan Paint3D:n kaltaisen tekstuurin, mutta se ei pysty esittämään pintakuvioiden yksityiskohtia tarkasti kuvassa. Lisäksi, kuten seuraavassa kuvassa osoitetaan, Paint3D-kehys tarjoaa paremmat FID- ja KID-peruspisteet verrattuna TEXTure-kehykseen, jolloin edellinen laskee 40.83:sta 26.86:een, kun taas jälkimmäinen 9.76:sta 4.94:ään. 

Tiivistelmä

Tässä artikkelissa olemme puhuneet Paint3D:stä, karkeasta hienoon uuteen kehykseen, joka pystyy tuottamaan valottomia, monipuolisia ja korkearesoluutioisia 2K UV-tekstuurikarttoja teksturoimattomille 3D-verkoille, jotka on ehdollistettu joko visuaalisilla tai tekstisyötteillä. Paint3D-kehyksen tärkein kohokohta on, että se pystyy luomaan valottomia korkearesoluutioisia 2K UV-kuvioita, jotka ovat semanttisesti johdonmukaisia ​​ilman kuvan tai tekstin syöttämistä. Karkeasta hienoon lähestymistapansa ansiosta Paint3D-kehys tuottaa valottomia, monipuolisia ja korkearesoluutioisia pintakuviokarttoja ja tarjoaa paremman suorituskyvyn kuin nykyiset tekniikan huipputason kehykset.