Nopea kehitys AI-generatiivisissa malleissa, erityisesti syvissä generatiivisissa AI-malleissa, on edistänyt merkittävästi luonnollisen kielen generoinnin, 3D-generoinnin, kuvien generoinnin ja puheen synteesin kykyjä. Nämä mallit ovat vallankumouksellisia 3D-tuotannossa eri teollisuusaloilla. Kuitenkin monet kohtaavat haasteen: niiden monimutkainen sähkövirtapiiri ja generoitetut verkkorakenteet eivät usein ole yhteensopivia perinteisten renderöintiputkien kanssa, kuten Physically Based Rendering (PBR). Diffuusiopohjaiset mallit, erityisesti ilman valaistustekstureita, osoittavat vaikuttavia monipuolisia 3D-ominaisuuden generointeja, parantaen 3D-kehyksiä elokuvanteossa, pelien kehityksessä ja AR/VR:ssä.

Tässä artikkelissa esittelemme Paint3D:n, uuden kehyksen, joka tuottaa monipuolisia, korkearesoluutioisia 2K UV-tekstuurikarttoja tekstuureittamattomille 3D-verkkorakenteille, ehdolla visuaalisilla tai tekstuaalisilla syötteillä. Paint3D:n päähaaste on tuottaa laadukkaita tekstureita ilman sisäänrakennettua valaistusta, mahdollistaen käyttäjän uudelleenmuokkauksen tai uudelleenvalaistuksen modernien grafiikkaputkien sisällä. Se käyttää esikoulutettua 2D-diffuusiomallia moninäkökulmaisen tekstuurifusion toteuttamiseksi, tuottaen alkujaan karkeat tekstuurikartat. Kuitenkin nämä kartat osoittavat usein valaistusvirheitä ja epätäydellisiä alueita 2D-mallin rajoitusten vuoksi valaistusvaikutusten poistamisessa ja 3D-muotojen täydellisessä edustamisessa. Tutkimme Paint3D:n toimintaa, arkkitehtuuria ja vertailuja muihin syvän generatiivisen AI-kehyksiin. Aloita meille.

Paint3D : Johdanto

Syvien generatiivisten AI-mallien kyky luonnollisen kielen generoinnissa, 3D-generoinnissa ja kuvien synteesissä on hyvin tunnettu ja toteutettu käytännön sovelluksissa, vallankumouksellista 3D-generoinnin teollisuutta. Vaikka niillä on merkittäviä kykyjä, modernit syvät generatiiviset AI-kehykset generoivat verkkorakenteita, jotka ovat monimutkaisia ja sisältävät sekavia valaistustekstureita, jotka usein eivät ole yhteensopivia perinteisten renderöintiputkien kanssa, kuten PBR tai Physically Based Rendering. Kuin syvät generatiiviset AI-mallit, tekstuurisynteesi on myös edennyt nopeasti, erityisesti 2D-diffuusiomallien käytössä. Tekstuurisynteesimallit käyttävät esikoulutettuja syvyydestä-kuvaan diffuusiomalleja tehokkaasti tekstuaalisten ehtojen generoimiseksi korkealaatuisista tekstureista. Kuitenkin nämä lähestymistavat kohtaavat vaikeuksia esivalaistetuilla tekstureilla, jotka voivat vaikuttaa merkittävästi lopullisiin 3D-ympäristön renderöintejä ja esittää valaistusvirheitä, kun valot muutetaan yleisissä työvirroissa, kuten seuraavassa kuvassa.

Kuten voidaan havaita, tekstuurikartta, jossa on vapaavalintainen valaistus, toimii yhdessä perinteisten renderöintiputkien kanssa, toimittaen tarkat tulokset, kun taas esivalaistettu tekstuurikartta sisältää sopimattomia varjoja, kun uudelleenvalaistus sovelletaan. Toisaalta tekstuurigeneroinnin kehykset, jotka on koulutettu 3D-datasta, tarjoavat vaihtoehtoisen lähestymistavan, jossa kehys generoi tekstuurit ymmärtämällä tietyn 3D-olion koko geometrian. Vaikka ne voivat toimittaa parempia tuloksia, tekstuurigeneroinnin kehykset, jotka on koulutettu 3D-datasta, puuttuvat yleistymiskyvystä, mikä haittaa niiden soveltamista 3D-olioihin, jotka eivät ole osa koulutusdataa.

Nykyiset tekstuurigenerointimallit kohtaavat kaksi kriittistä haastetta: käyttää kuvan ohjausta tai monipuolisia ohjeita saavuttaaksesi laajemman yleistymiskyvyn eri objekteja, ja toinen haaste on poistaa kytketty valaistus tuloksista, jotka saadaan esikoulutuksesta. Esivalaistetut tekstuurit voivat potentiaalisesti häiritä teksturoitujen objektiiden lopullisia tuloksia renderöintimoottoreissa, ja koska esikoulutetut 2D-diffuusiomallit tarjoavat vain 2D-tuloksia näkökulman alueella, ne puuttuvat kattavaa ymmärrystä 3D-muotoja, mikä johtaa tekstuuriepäjatkuvuusongelmiin.

Paint3D-kehyksen tavoitteena on kehittää kaksivaiheinen tekstuuridiffuusiomalli 3D-olioille, joka yleistyy eri esikoulutetuille generatiivisille malleille ja säilyttää näkökulman jatkuvuuden oppimalla valaistusvapaa tekstuurigenerointi.

Paint3D on kaksivaiheinen karkeasta hienoon tekstuurigeneroinnin malli, joka pyrkii hyödyntämään esikoulutettujen generatiivisten AI-mallien vahvaa ohjausta ja kuvien generoinnin kykyjä teksturoimaan 3D-olioita. Ensimmäisessä vaiheessa Paint3D-kehyksessä otetaan moninäkökulmainen kuva esikoulutetusta syvyydestä-kuvaan 2D-diffuusiomallista edistääkseen laadukkaiden ja rikkauden tekstuurituloksien yleistymistä monipuolisista ohjeista. Sitten malli generoi alkujaan tekstuurikartan takaisinheittämällä nämä kuvat 3D-verkkorakenteen pinnalle. Toisessa vaiheessa malli keskittyy valaistusvapaan tekstuurin generointiin toteuttamalla lähestymistapoja, jotka on otettu diffuusiomalleista, jotka ovat erikoistuneet valaistusvaikutusten poistamiseen ja epätäydellisten alueiden hienostumiseen. Koko prosessin ajan Paint3D-kehyksessä on jatkuvasti kyky generoida korkealaatuisia 2K-tekstureita semanttisesti ja poistaa intrinsic valaistusvaikutukset.

Yhteenvetona, Paint3D on uusi karkeasta hienoon generatiivinen AI-malli, joka pyrkii tuottamaan monipuolisia, valaistusvapaita ja korkearesoluutioisia 2K UV-tekstuurikarttoja tekstuureittamattomille 3D-verkkorakenteille saavuttaaksesi huipputason suorituskyvyn teksturoimalla 3D-olioita eri ehdolla olevilla syötteillä, mukaan lukien teksti ja kuvat, ja tarjoaa merkittävän edun synteesi- ja grafiikkaeditointitehtävissä.

Menetelmä ja Arkkitehtuuri

Paint3D-kehyksessä generoidaan ja hienonnetaan tekstuurikarttoja edistääkseen monipuolisia ja laadukkaita tekstuurikarttoja 3D-malleille halutuilla ehdolla olevilla syötteillä, kuten kuvilla ja ohjeilla, kuten seuraavassa kuvassa.

Karkeassa vaiheessa Paint3D-malli käyttää esikoulutettuja 2D-kuva-diffuusiomalleja ottaakseen moninäkökulmainen kuva ja luodakseen alkujaan tekstuurikartan takaisinheittämällä nämä kuvat verkkorakenteen pinnalle. Toisessa vaiheessa, eli hienonnusvaiheessa, Paint3D-malli käyttää diffuusioprosessia UV-tilassa parantamaan karkeita tekstuurikarttoja, saavuttaen korkealaatuisen, täyttämisen ja valaistusvapaan toiminnan, joka takaa visuaalisen vetovoiman ja täydellisyyden lopullisessa tekstuurissa.

Vaihe 1: Karkean Tekstuurin Generointi

Karkean tekstuurin generoinnissa Paint3D-malli generoi karkean UV-tekstuurikartan 3D-verkkorakenteille, jotka käyttävät esikoulutettua syvyydestä-kuvaan 2D-diffuusiomallia. Tarkemmin sanottuna, malli käyttää eri kameranäkökulmia renderöidäkseen syvyyden kartan, sitten näytteää kuvia kuva-diffuusiomallista syvyyden ehtojen mukaan, ja sitten takaisinheittää nämä kuvat verkkorakenteen pinnalle. Kehys suorittaa renderöinti-, näytteämis- ja takaisinheitto-lähestymistapoja vuorotellen parantamaan tekstuuriverkkorakenteiden jatkuvuutta, mikä lopulta auttaa karkean tekstuurikartan edistääksessä.

Malli aloittaa tekstuurin generoinnin näkyvistä alueista kameranäkökulmilla, jotka keskittyvät 3D-verkkorakenteeseen, ja renderöi 3D-verkkorakenteen syvyyden karttaan ensimmäisestä näkökulmasta. Malli näytteää sitten tekstuurikuvan ilmeen ehtojen ja syvyyden ehtojen mukaan. Malli takaisinheittää sitten kuvan 3D-verkkorakenteen pinnalle. Kameranäkökulmien osalta Paint3D-malli suorittaa samanlaisen lähestymistavan, mutta tekee pienen muutoksen suorittamalla tekstuurinäytteämisen kuvamaalauksen avulla. Lisäksi malli ottaa huomioon teksturoitujen alueiden aiemmista näkökulmista, salliessa renderöintiprosessin tuottaa sekä syvyyden kuvan että osittain värillisen RGB-kuvan, jossa on väritön maski nykyisessä näkökulmassa.

Malli käyttää sitten syvyydestä-kuvaan täyttämismallia täyttämisen kooderin kanssa täyttääkseen värittömän alueen RGB-kuvassa. Malli generoi sitten tekstuurikartan näkökulmasta takaisinheittämällä täytetyn kuvan 3D-verkkorakenteen pinnalle nykyisessä näkökulmassa, salliessa mallin generoida tekstuurikartan edistääksessä ja saavuttaa koko karkean rakenteen kartan. Lopulta malli laajentaa tekstuurinäytteämisen prosessin kohteen tai olion, jolla on useita näkökulmia. Tarkemmin sanottuna, malli käyttää kameraparia kaappaamaan kaksi syvyyden karttaa alkujaan tekstuurinäytteämiseen symmetrisistä näkökulmista. Malli yhdistää sitten kaksi syvyyden karttaa ja koostaa syvyyden ruudun. Malli korvaa yksittäisen syvyyden kuvan syvyyden ruudulla suorittaakseen moninäkökulmainen syvyydestä-kuvaan tekstuurinäytteämisen.

Vaihe 2: Tekstuurin Hienonnus UV-Tilassa

Vaikka karkeiden tekstuurikarttojen ilme on looginen, se kohtaa haasteita, kuten tekstuurien rei’it, jotka johtuvat renderöintiprosessista itsestään tai valaistusvarjoista 2D-kuva-diffuusiomallien osallistumisen vuoksi. Paint3D-malli pyrkii suorittamaan diffuusioprosessin UV-tilassa karkean tekstuurikartan perusteella, yrittäen lieventää ongelmia ja parantaa tekstuurikartan visuaalista vetovoimaa edelleen tekstuurin hienonnusvaiheessa. Kuitenkin hienonnus yleisimmän kuva-diffuusiomallin kanssa tekstuurikarttojen UV-tilassa esittää tekstuurien epäjatkuvuuden, koska tekstuurikartta on generoitu UV-kartan avulla 3D-pinnan leikkaamisesta useaksi yksittäiseksi fragmentiksi UV-tilassa. Tämän fragmentaation seurauksena malli löytää vaikeuksia oppia 3D-läheisyyssuhteita fragmenttien välillä, mikä johtaa tekstuurien epäjatkuvuusongelmiin.

Malli hienonnus tekstuurikarttaa UV-tilassa suorittamalla diffuusioprosessin tekstuurifragmenttien läheisyyden tiedon ohjauksessa. On tärkeää huomata, että UV-tilassa se on sijaintikartta, joka edustaa 3D-läheisyyden tietoa tekstuurifragmenteista, mallin käsittäessä jokaisen taustan ulkopuolisen elementin 3D-koordinaattipisteenä. Diffuusioprosessin aikana malli yhdistää 3D-läheisyyden tiedon lisäämällä yksittäisen sijaintikartan kooderin esikoulutettuun kuva-diffuusiomalliin. Uusi kooderi muistuttaa ControlNet-kehyksen suunnittelua ja on samanlainen arkkitehtuuri kuin kooderi, joka on toteutettu kuva-diffuusiomallissa, jossa on nolla-konvoluutio kerros, joka yhdistää kaksi. Lisäksi tekstuuridiffuusiomalli on koulutettu tietokannassa, joka koostuu tekstuurikartista ja sijaintikartasta, ja malli oppii ennustamaan melun, joka on lisätty meluisaan latenttiin. Malli sitten optimoi sijaintikooderin ja jäädyttää koulutetun denoiserin kuva-diffuusiotehtävälle.

Malli sitten käyttää sijaintikooderin ja muiden kooderien sijaintia suorittaakseen hienonnus tehtäviä UV-tilassa. Tällöin malli on kaksi hienonnuskykyä: UVHD eli UV Korkearesoluutio ja UV-täyttäminen. UVHD-menetelmä on suunniteltu parantamaan tekstuurikartan visuaalista vetovoimaa ja esteettisyyttä. Saavuttaakseen UVHD:n, malli käyttää kuvan parantamisen kooderia ja sijaintikooderia diffuusiomallin kanssa. Malli käyttää UV-täyttämismenetelmää täyttääkseen tekstuurien rei’it UV-tasossa, joka on kykenevä välttämään itsestään varjojen aiheuttamat ongelmat renderöintiprosessissa. Hienonnusvaiheessa Paint3D-malli suorittaa ensin UV-täyttämisen ja sitten UVHD:n generoidakseen lopullisen hienonnetun tekstuurikartan. Yhdistämällä nämä kaksi hienonnusmenetelmää, Paint3D-kehyksessä on kyky tuottaa täydellisiä, monipuolisia, korkearesoluutioisia ja valaistusvapaita UV-tekstuurikarttoja.

Paint3D : Kokeet ja Tulokset

Paint3D-malli käyttää Stable Diffusionin text2image-mallia tekstuurigeneroinnin tehtävissä ja käyttää kuvakooderin komponenttia kuvaehtojen käsittelyyn. Lisäksi Paint3D-kehyksessä käytetään ControlNetin domain-koodereita edistääkseen ehtojen ohjausta, kuten kuvan täyttämistä, syvyyttä ja kuvan korkearesoluutiota. Malli on toteutettu PyTorch-kehyksessä, ja renderöinti ja tekstuuriprojektiot on toteutettu Kaolinissa.

Teksti Tekstureihin Vertailu

Analysoimaan sen suorituskykyä, aloitamme arvioimalla Paint3D:n tekstuurigeneroinnin vaikutusta, kun se on ehdolla tekstuaalisilla ohjeilla, ja vertaamme sitä huipputason kehyksiin, kuten Text2Tex, TEXTure ja LatentPaint. Kuten voidaan havaita seuraavasta kuvasta, Paint3D-kehyksessä on kyky generoida korkealaatuisia tekstuurin yksityiskohtia ja synthesoida valaistusvapaa tekstuurikartta järkevästi.

Vertailussa LatentPaint-kehyksessä on taipumus generoida sumea tekstuurikartta, joka johtaa alentuneisiin visuaalisiin vaikutuksiin. Toisaalta, vaikka TEXTure-kehyksessä generoidaan selkeät tekstuurit, se puuttuu sileyydestä ja osoittaa merkittäviä liitoksia ja saumoja. Lopulta Text2Tex-kehyksessä generoidaan sileät tekstuurit erinomaisesti, mutta se epäonnistuu toistamaan suorituskyvynsä hienon tekstuurin yksityiskohtien generoimisessa.

Seuraava kuva vertaa Paint3D-kehyksestä muihin huipputason kehyksiin määrällisesti.

Kuten voidaan havaita, Paint3D-kehyksessä on kyky ylittää kaikki olemassa olevat mallit, ja se tekee sen merkittävällä marginaalilla, noin 30 prosentin parannuksella FID-baselinassa ja noin 40 prosentin parannuksella KID-baselinassa. Parannukset FID- ja KID-baseline-pisteissä osoittavat Paint3D:n kyvyn generoida korkealaatuisia tekstureita eri objekteja ja kategorioita.

Kuva Tekstuurin Vertailu

Generoidakseen Paint3D:n generatiivisia kykyjä visuaalisilla ohjeilla, käytämme TEXTure-mallia vertailumallina. Kuten mainittiin aiemmin, Paint3D-malli käyttää kuvakooderia Stable Diffusionin text2image-mallista. Kuten voidaan havaita seuraavasta kuvasta, Paint3D-kehyksessä on kyky synthesoida erinomaisia tekstureita ja ylläpitää korkeaa uskottavuutta kuvaehtojen suhteen.

Toisaalta TEXTure-kehyksessä on kyky generoida tekstuurikartta, joka muistuttaa Paint3D:tä, mutta se epäonnistuu edustamaan tekstuurin yksityiskohtia kuvaehtojen mukaan tarkasti. Lisäksi, kuten voidaan havaita seuraavasta kuvasta, Paint3D-kehyksessä on kyky toimittaa parempia FID- ja KID-baseline-pisteitä verrattuna TEXTure-kehykseen, jolloin ensimmäinen laskee 40,83:sta 26,86:een, kun taas jälkimmäinen laskee 9,76:sta 4,94:een.

Lopputajat

Tässä artikkelissa olemme keskustelleet Paint3D:stä, uudesta karkeasta hienoon kehyksestä, joka pystyy tuottamaan valaistusvapaita, monipuolisia ja korkearesoluutioisia 2K UV-tekstuurikarttoja tekstuureittamattomille 3D-verkkorakenteille, ehdolla visuaalisilla tai tekstuaalisilla syötteillä. Paint3D-kehyksen pääominaisuus on kyky generoida valaistusvapaita korkearesoluutioisia 2K-tekstureita, jotka ovat semanttisesti johdonmukaisia ilman ehtoa kuvan tai tekstin syötteistä. Sen karkeasta hienoon lähestymistavan ansiosta Paint3D-kehyksessä on kyky tuottaa valaistusvapaita, monipuolisia ja korkearesoluutioisia tekstuurikarttoja, ja se tarjoaa paremman suorituskyvyn kuin nykyinen huipputason kehykset.