Generatiiviset tekoälymallit ovat olleet kuumana aiheena tekoälyteollisuudessa jonkin aikaa. Viimeaikaiset 2D-generatiivisten mallien onnistumiset ovat luoneet tien menetelmien kehittymiseen, joita käytetään visuaalisen sisällön luomiseen tänään. Vaikka tekoälyyhteisö on saavuttanut merkittäviä tuloksia 2D-generatiivisilla malleilla, 3D-sisällön luominen on edelleen suuri haaste syvien generatiivisten tekoälykehysten kannalta. Tämä on erityisen totta, kun 3D-luodun sisällön kysyntä on kaikkien aikojen huipussaan, jota ajavat laaja valikoima visuaalipelejä, sovelluksia, virtuaalitodellisuutta ja jopa elokuvaa. On syytä huomata, että vaikka on olemassa 3D-generatiivisia tekoälykehyksiä, jotka toimivat tyydyttävästi tietyille kategorioille ja tehtäville, ne eivät pysty luomaan tehokkaasti 3D-olioita. Tämä puute voidaan attribuoida laajan 3D-koulutusaineiston puutteeseen. Viimeaikaisissa tutkimuksissa on ehdotettu, että käytettäisiin ennalta koulutettujen teksti-kuvaksi -generatiivisten tekoälymallien ohjausta, mikä on osoittanut lupaavia tuloksia.

Tässä artikkelissa tarkastelemme DreamCraft3D-kehystä, joka on hierarkkinen malli 3D-sisällön luomiseksi, joka tuottaa koherentteja ja korkealaatuisia 3D-olioita. DreamCraft3D-kehys käyttää 2D-viitekuvaa geometrian veistoon ohjaamiseen, ja tekstuurin parantamiseen, jossa keskitytään olemassa olevien kehysten tai menetelmien yhdenmukaisuusongelmiin. Lisäksi DreamCraft3D-kehys käyttää näkökulman mukaan riippuvaa diffuusiomallia pisteiden tiivistämiseen, joka edistää geometrian veistoa, joka vaikuttaa koherenttiin renderöintiin.

Tutkimme DreamCraft3D-kehystä tarkemmin 3D-sisällön luomiseksi. Lisäksi tarkastelemme teksti-kuvaksi (T2I) -mallien käyttöä 3D-sisällön luomiseen ja tutkimme, miten DreamCraft3D-kehys pyrkii hyödyntämään tätä lähestymistapaa luodakseen realistista 3D-sisällön.

DreamCraft3D: Johdanto

DreamCraft3D on hierarkkinen putki 3D-sisällön luomiseen. DreamCraft3D-kehys pyrkii hyödyntämään viimeisintä T2I- tai teksti-kuvaksi-generatiivista kehystä luodakseen korkealaatuisia 2D-kuvia käyttäen tekstipromptia. Tämä lähestymistapa mahdollistaa DreamCraft3D-kehyksen hyödyntämään 2D-diffuusiomallien ominaisuuksia edustamaan visuaalista semantiikkaa, joka on kuvattu tekstipromptissa, samalla säilyttäen luovan vapauden, jota tarjoavat nämä 2D-generatiiviset tekoälykehykset. Luotu kuva siirretään sitten 3D-muotoon käyttäen kaskadia geometrian tekstuurin parantamista ja geometrian veistoa, ja erityisiä tekniikoita sovelletaan jokaisessa vaiheessa ongelman hajottamisen avulla.

Geometrian osalta DreamCraft3D-kehys keskittyy voimakkaasti globaaliin 3D-rakenteeseen ja moninäkökulman yhdenmukaisuuteen, jolloin se tekee tilaa yksityiskohtaisten tekstuurien kompromisseille kuvissa. Kun kehys poistaa geometriaan liittyvät ongelmat, se siirtää huomionsa koherenttien ja realististen tekstuurien optimointiin käyttäen 3D-tietoista diffuusiota, joka käynnistää 3D-optimoinnin. On kaksi tärkeää suunnittelukohtaa kahdelle optimointivaiheelle, nimittäin geometrian veistoon ja tekstuurin parantamiseen.

Kaiken kaikkiaan voidaan sanoa, että DreamCraft3D on tekoälygeneratiivinen kehys, joka hyödyntää hierarkkista 3D-sisällön luomisputkea muuttaakseen 2D-kuvat 3D-vastineiksi säilyttäen holistisen 3D-yhdenmukaisuuden.
… (jatkuu)