Syvän generoivan tekoälymallin kehitys on edennyt merkittävästi, ja se on johtanut huomattaviin saavutuksiin luonnollisen kielen generoinnissa, 3D-generoinnissa, kuvansynteesissä ja puheensynteesissä. 3D-generoivat mallit ovat muuttaneet useita aloja ja sovelluksia, ja ne ovat vallankumouksellisia nykyisessä 3D-tuotannon maisemassa. Kuitenkin monet nykyiset syvät generoivat mallit kohtaavat yleisen esteen: monimutkainen sähköistys ja valaistusTekstuurit, jotka sisältyvät generoituun verkkoon, ovat usein yhteensopimattomia perinteisten renderöintiputkien kanssa, kuten PBR (fyysinen renderöinti). Diffuusiopohjaiset mallit, jotka generoivat 3D-omaisuutta ilman valaistustekstuuria, omistavat merkittäviä kykyjä monipuolisen 3D-omaisuuden generoimiseen, ja ne täydentävät olemassa olevia 3D-kehyksiä eri aloilla, kuten elokuvatuotannossa, pelaamisessa ja lisätyn ja virtuaalitodellisuuden sovelluksissa.

Tässä artikkelissa tarkastelemme Paint3D:ää, uutta karkeasta hienoon lähestymistapaa, joka pystyy tuottamaan monipuolisia, korkearesoluutioisia 2K UV-tekstuurikarttoja teksturoimattomille 3D-verkoille, jotka ovat ehdollistettuina joko visuaalisilla tai tekstuaalisilla syötteillä. Paint3D:n avainhaaste on tuottaa laadukkaita tekstuuria ilman valaistustiedon upottamista, jotta käyttäjät voivat muokata tai uudelleenvalvoa modernien grafiikkaputkien sisällä. Tätä ongelmia vastaan Paint3D kehittää kaksiportaisen tekstuuridiffuusiomallin, joka yleistää eri esikoulutetuille generoiville malleille ja säilyttää näkymän johdonmukaisuuden valaistusten tekstuurien generoimisessa.

Paint3D on kaksiportainen, karkeasta hienoon tekstuurigenerointimalli, joka hyödyntää esikoulutettujen generoivien tekoälymallien vahvaa ohjausta ja kuvageneroinnin kykyjä teksturoimaan 3D-objekteja. Ensimmäisessä vaiheessa Paint3D ottaa moninäkökulmia kuvia esikoulutetusta 2D-kuvadiffuusiomallista progressiivisesti, mahdollistaen korkealaatuisten, rikkaiden tekstuurituloksien yleistämisen monipuolisista syötteistä. Sitten se generoi alkutekstuurikartan takaisinprojisoimalla nämä kuvat 3D-verkon pinnalle. Toisessa vaiheessa malli keskittyy valaistusten tekstuurien generoimiseen toteuttamalla diffuusiomalleihin erikoistuneita lähestymistapoja, jotka poistavat valaistusvaikutukset ja hienontavat muodon tietoisia epätäydellisiä alueita. Koko prosessin aikana Paint3D kehys generoi johdonmukaisesti korkealaatuisia 2K-tekstuurikarttoja semanttisesti, poistaen sisäiset valaistusvaikutukset.

Lisätietoja Paint3D:stä ja sen sovelluksista löydät tästä artikkelista.

Paint3D: Johdanto

Syvät generoivat tekoälymallit ovat osoittaneet poikkeuksellisia kykyjä luonnollisen kielen generoinnissa, 3D-generoinnissa ja kuvansynteesissä, ja niitä on toteutettu todellisissa sovelluksissa, vallankumouksellisesti 3D-generoinnin teollisuudessa. Kuitenkin niiden huomattavien kykyjen huolimatta modernit syvät generoivat tekoälykehykset usein tuottavat verkkoon monimutkaisen sähköistysten ja valaistustekstuurien, jotka ovat yhteensopimattomia perinteisten renderöintiputkien kanssa, mukaan lukien PBR. Samalla tekstuurisynteesi on edennyt nopeasti, erityisesti 2D-diffuusiomallien avulla. Nämä mallit käyttävät tehokkaasti esikoulutettuja syvyydestä kuvaan diffuusiomalleja ja tekstiehtoja korkealaatuisten tekstuurien generoimiseen. Kuitenkin merkittävä haaste on jäljellä: esivalaistetut tekstuurit voivat haitata lopullisia 3D-ympäristön renderöintejä, aiheuttaen valaistusvirheitä, kun valot mukautetaan yleisissä työvirroissa, kuten seuraavassa kuvassa näkyy.

Kuten havaitaan, tekstuurikartat ilman esivalaistusta toimivat moitteettomasti perinteisten renderöintiputkien kanssa, tarjoten tarkan tuloksen. Sen sijaan esivalaistetut tekstuurikartat sisältävät sopimattomia varjoja, kun uudelleenvalvonta sovelletaan. Tekstuurigenerointikehykset, jotka on koulutettu 3D-dataan, tarjoavat vaihtoehtoisen lähestymistavan, generoimalla tekstuurit ymmärtämällä tietyn 3D-objektin koko geometrian. Vaikka nämä kehykset saattavat tarjota parempia tuloksia, ne puuttuvat yleistymiskyvystä, jota tarvitaan soveltaa mallia 3D-objekteihin, jotka eivät kuulu koulutusdataan.

Nykyiset tekstuurigenerointimallit kohtaavat kaksi kriittistä haasteita: saavuttamaan laajan yleistymisen eri objekteille kuviohjauksen tai monipuolisten syötteiden avulla ja poistamaan kytketyn valaistuksen esikoulutustuloksista. Esivalaistetut tekstuurit voivat vaikuttaa haitallisesti renderöintimoottorien lopputuloksiin. Lisäksi, koska esikoulutetut 2D-diffuusiomallit tarjoavat vain 2D-tuloksia näkymäalueella, ne puuttuvat kattavasta ymmärryksestä muotoja johtuen, mikä johtaa epäjohdonmukaisuuksiin ylläpitäessä näkymän johdonmukaisuutta 3D-objekteille.

Tässä artikkelissa tarkastelemme Paint3D:ää, uutta kaksiportaista karkeasta hienoon lähestymistapaa, joka pystyy tuottamaan monipuolisia, korkearesoluutioisia 2K UV-tekstuurikarttoja teksturoimattomille 3D-verkoille, jotka ovat ehdollistettuina joko visuaalisilla tai tekstuaalisilla syötteillä. Paint3D on suunniteltu ratkaisemaan nämä haasteet kehittämällä kaksiportaisen tekstuuridiffuusiomallin, joka yleistää eri esikoulutetuille generoiville malleille ja säilyttää näkymän johdonmukaisuuden valaistusten tekstuurien generoimisessa.

Paint3D on kaksiportainen, karkeasta hienoon tekstuurigenerointimalli, joka hyödyntää esikoulutettujen generoivien tekoälymallien vahvaa ohjausta ja kuvageneroinnin kykyjä teksturoimaan 3D-objekteja. Ensimmäisessä vaiheessa Paint3D ottaa moninäkökulmia kuvia esikoulutetusta 2D-kuvadiffuusiomallista progressiivisesti, mahdollistaen korkealaatuisten, rikkaiden tekstuurituloksien yleistämisen monipuolisista syötteistä. Sitten se generoi alkutekstuurikartan takaisinprojisoimalla nämä kuvat 3D-verkon pinnalle. Toisessa vaiheessa malli keskittyy valaistusten tekstuurien generoimiseen toteuttamalla diffuusiomalleihin erikoistuneita lähestymistapoja, jotka poistavat valaistusvaikutukset ja hienontavat muodon tietoisia epätäydellisiä alueita.

Menetelmä ja Arkkitehtuuri

Paint3D kehys generoi ja hienontaa tekstuurikarttoja progressiivisesti tuottaakseen monipuolisia ja laadukkaita tekstuuria 3D-malleille ehdollistettuina konditionaalisilla syötteillä, kuten kuvilla ja syötteillä, kuten seuraavassa kuvassa näkyy.

Vaihe 1: Karkean Tekstuurin Generointi

Ensimmäisessä karkean tekstuurin generointivaiheessa Paint3D käyttää esikoulutettuja 2D-kuvadiffuusiomalleja ottaakseen moninäkökulmia kuvia, jotka sitten takaisinprojisoituvat verkon pinnalle luomaan alkutekstuurikarttoja. Tämä vaihe alkaa generoimalla syvyyden kartan useista kameranäkymistä. Malli käyttää syvyyden ehtoja ottaakseen kuvia diffuusiomallista, jotka sitten takaisinprojisoituvat 3D-verkon pinnalle. Tämä vaihtoehtoinen renderöinti, otto ja takaisinprojisointi parantaa tekstuuriverkon johdonmukaisuutta ja edistää progressiivista tekstuurikartan generointia.

Prosessi alkaa verkon näkyvistä alueista, keskittyen tekstuurin generoimiseen ensimmäisestä kameranäkymästä renderöimällä 3D-verkkoa syvyyden kartaksi. Tekstuurikuva otetaan syötteiden perusteella ja takaisinprojisoituu verkkoon. Tämä menetelmä toistetaan seuraaville näkymille, sisällyttäen edelliset tekstuurit renderöidäkseen sekä syvyyden kuvan että osittain värillisen RGB-kuvan, jossa on värittömät maskit. Malli käyttää syvyydestä tietoista kuvan täydentämisen kooderia täyttämään värittömät alueet, generoimalla täydellisen karkean tekstuurikartan takaisinprojisoimalla täydennetyt kuvat 3D-verkon pinnalle.

Vaihe 2: Tekstuurin Hienontaminen UV-Tilassa

Vaikka karkeat tekstuurikartat ovat loogisia, haasteita kuten tekstuurin rei’istä renderöintiprosessissa ja valaistusvarjoista 2D-kuvadiffuusiomalleista, ilmenee. Ratkaisemaan nämä ongelmat Paint3D suorittaa diffuusioprosessin UV-tilassa karkean tekstuurikartan perusteella, parantaen visuaalista viehätystä ja ratkaisemalla ongelmat.

Kuitenkin hienontaminen UV-tilassa voi aiheuttaa epäjohdonmukaisuuksia, johtuen jatkuvien tekstuurien fragmentaatiosta yksittäisiksi fragmenteiksi. Tätä vastaan Paint3D hienontaa tekstuurikarttaa käyttämällä tekstuurifragmenttien läheisyyden tietoja. UV-tilassa sijaintikartta edustaa 3D-läheisyyden tietoja tekstuurifragmenteista, kohdellen jokaista ei-taustaa olevaa elementtiä 3D-koordinaattipisteenä. Malli käyttää lisäksi sijaintikartan kooderia, samanlaista kuin ControlNet, integroidakseen tämän läheisyyden tiedon diffuusioprosessiin.

Malli käyttää samanaikaisesti sijaintikooderin ja muiden kooderien sijaintia suorittaakseen hienontamistehtäviä UV-tilassa, tarjoten kaksi kykyä: UVHD (UV High Definition) ja UV-täydennys. UVHD parantaa visuaalista viehätystä ja esteettisyyttä käyttämällä kuvan parantamisen kooderia ja sijaintikooderia diffuusiomallin kanssa. UV-täydennys täyttää tekstuurin rei’it välttäen itsepeittävyyden ongelmat renderöinnistä. Hienontamisvaihe alkaa UV-täydennyksestä, seurataan UVHD:ta lopullisen hienonnetun tekstuurikartan tuottamiseksi.

Integroimalla nämä hienontamismenetelmät Paint3D kehys generoi täydellisiä, monipuolisia, korkearesoluutioisia ja valaistukseltaan vapaata UV-tekstuurikarttoja, mikä tekee siitä vahvan ratkaisun 3D-objektien teksturointiin.

Paint3D: Kokeet ja Tulokset

Paint3D-malli hyödyntää Stable Diffusion text2image-mallia tekstuurigenerointitehtävissä, kun taas kuvakooderin osa hallinnoi kuvaehtoja. Parantaakseen ohjaustaan ehdollisissa tehtävissä, kuten kuvan täydennys, syvyyden käsittely ja korkearesoluutioinen kuvankäsittely, Paint3D kehys käyttää ControlNet domain koodereita. Malli on toteutettu PyTorch-kehyskunnalla, ja renderöinti ja tekstuuriprojektiot suoritetaan Kaolinilla.

Teksti Tekstuuriksi Vertailu

Arvioidakseen Paint3D:n suorituskykyä, aloitamme analysoimalla sen tekstuurigenerointia, kun se on ehdollistettu tekstuaalisilla syötteillä, vertaamalla sitä nykyisiin kehyksiin, kuten Text2Tex, TEXTure ja LatentPaint. Kuten seuraavassa kuvassa näkyy, Paint3D kehys ei ainoastaan erinomaisesti generoi korkealaatuista tekstuurin yksityiskohtia, vaan se myös tehokkaasti synteettää valaistukseltaan vapaan tekstuurikartan.

Käyttämällä Stable Diffusionin ja ControlNet-kooderien vahvoja kykyjä, Paint3D tarjoaa korkealaatuista tekstuurin laadukkuutta ja monipuolisuutta. Vertailu korostaa Paint3D:n kykyä tuottaa yksityiskohtaisia, korkearesoluutioisia tekstuuria ilman sisäänrakennettua valaistusta, mikä tekee siitä johtavan ratkaisun 3D-teksturointitehtävissä.

Kuva Tekstuuriksi Vertailu

Generoimaan Paint3D:n generoivat kyvyt visuaalisilla syötteillä, käytämme TEXTure-mallia vertailukohtana. Kuten mainittiin aiemmin, Paint3D-malli käyttää kuvakooderia, joka on peräisin Stable Diffusionin text2image-mallista. Kuten seuraavassa kuvassa näkyy, Paint3D kehys synteettää erinomaisia tekstuuria, ja se pystyy ylläpitämään korkean uskollisuuden kuvaehtoon nähden.

Lopputulet

Tässä artikkelissa olemme keskustelleet Paint3D:stä, uudesta karkeasta hienoon lähestymistavasta, joka pystyy tuottamaan valaistukseltaan vapaata, monipuolista ja korkearesoluutioista 2K UV-tekstuurikarttoja teksturoimattomille 3D-verkoille, jotka ovat ehdollistettuina joko visuaalisilla tai tekstuaalisilla syötteillä. Paint3D:n tärkein ominaisuus on, että se pystyy tuottamaan valaistukseltaan vapaata, korkearesoluutioista 2K UV-tekstuurikarttoja, jotka ovat semanttisesti yhdenmukaisia ilman, että ne ovat ehdollistettuina kuvaa tai tekstiä. Sen karkeasta hienoon lähestymistavan ansiosta Paint3D kehys tuottaa valaistukseltaan vapaata, monipuolista ja korkearesoluutioista tekstuurikarttoja, ja se tarjoaa paremman suorituskyvyn kuin nykyiset kehykset.