De senaste framstegen inom text-till-3D-genererande AI-ramverk har markerat en betydande milstolpe inom generativa modeller. De banar väg för nya möjligheter att skapa 3D-tillgångar i många verkliga scenarier. Digitala 3D-tillgångar har nu en oumbärlig plats i vår digitala närvaro, vilket möjliggör omfattande visualisering och interaktion med komplexa miljöer och föremål som speglar vår verkliga värld. Dessa 3D-genererande AI-ramverk används inom olika områden, inklusive animation, arkitektur, spel, förstärkt och virtuell verklighet och mycket mer. De används också i stor utsträckning på onlinekonferenser, detaljhandel, utbildning och marknadsföring.

Men trots de löften som dessa framsteg inom text-till-3D-genererande ramverk medför, finns det ett stort problem med den omfattande användningen av 3D-teknik. Att generera högkvalitativa 3D-bilder och mediainnehåll kräver fortfarande betydande tid, ansträngning, resurser och expertkunskap. Även med dessa krav uppfyllda, misslyckas text-till-3D-generering ofta med att rendera detaljerade och högkvalitativa 3D-modeller. Problemet med rendering och lågkvalitativ 3D-generering är vanligare i ramverk som använder Score Distillation Sampling (SDS)-metoden. Den här artikeln kommer att diskutera de betydande bristerna som observerats i modeller som använder SDS-metoden, som introducerar inkonsekvenser och lågkvalitativa uppdateringsriktningar, vilket resulterar i en överglättningseffekt på den genererade utmatningen. Vi kommer också att introducera LucidDreamer-ramverket, en ny metod som använder Interval Score Matching (ISM)-metoden för att övervinna överglättningproblemet. Vi kommer att undersöka modellens arkitektur och dess prestanda mot state-of-the-art text-till-3D-genererande ramverk. Så, låt oss komma igång.

LucidDreamer3D: En introduktion till 3D-generering med Interval Score Matching

En stor anledning till varför 3D-genereringsmodeller har varit det mest omtalade inom den generativa AI-industrin är på grund av deras omfattande tillämpningar inom olika områden och branscher, och deras förmåga att producera 3D-innehåll i realtid. På grund av deras omfattande praktiska tillämpningar, har utvecklare föreslagit många 3D-innehållsgenereringsmetoder, varav text-till-3D-genererande ramverk sticker ut från resten på grund av sin förmåga att använda endast textbeskrivningar för att generera fantasifulla 3D-modeller. Text-till-3D-genererande ramverk uppnår detta genom att använda en förtränad text-till-bild-diffusionsmodell som en stark bild innan övervakad träning av en neural parameteriserad 3D-modell, vilket möjliggör rendering av 3D-bilder konsekvent som överensstämmer med texten. Denna förmåga att rendera konsekventa 3D-bilder grundar sig i användningen av Score Distillation Sampling i grunden, och låter SDS fungera som den centrala mekanismen för att ta 2D-resultat från diffusionsmodeller till deras 3D-motsvarigheter, vilket möjliggör träning av 3D-modeller utan att använda träningsbilder. Trots deras effektivitet, lider 3D-genererande AI-ramverk som använder SDS-metoden ofta av distorsion och överglättningproblem som hindrar de praktiska tillämpningarna av högkvalitativ 3D-generering.

För att tackla överglättningproblemen, implementerar LucidDreamer-ramverket en ISM eller Interval Score Matching-ansats, en ny ansats som använder två effektiva mekanismer. Först använder ISM-ansatsen DDIM-inversionsmetoden för att mildra den genomsnittseffekt som orsakas av pseudo-Grund Truth-inkonsekvenser genom att producera en omvändbar diffusionsbana. För det andra, istället för att matcha bilderna som renderas av 3D-modellen med pseudo-Grund Sanningarna, matchar ISM-metoden dem mellan två intervallsteg i diffusionsbanan, vilket hjälper den att undvika hög rekonstruktionsfel genom att undvika enstegsrekonstruktion. Användningen av ISM över SDS resulterar i konsekvent hög prestanda med högrealistiska och detaljerade utmatningar.

Sammanfattningsvis syftar LucidDreamer-ramverket till att bidra med följande inom 3D-genererande AI

1. Tillhandahåller en djupgående analys av SDS, den grundläggande konceptet i text-till-3D-genererande ramverk, och identifierar dess viktigaste begränsningar av lågkvalitativa pseudo-Grund Sanningar, och ger en förklaring till överglättningseffekten som möter dessa 3D-genererande ramverk.
2. För att motverka begränsningarna som orsakas av SDS-ansatsen, introducerar LucidDreamer-ramverket Interval Score Matching, en ny ansats som använder intervallbaserad matchning och omvändbara diffusionsbanor för att överträffa SDS genom att producera högrealistiska och detaljerade utmatningar.
3. Uppnår state-of-the-art-prestanda genom att integrera ISM-metoden med 3D-Gaussian Splatting för att överträffa befintliga metoder för 3D-innehållsgenerering med låga träningskostnader.

SDS-begränsningar

Som nämnts tidigare är SDS en av de mest populära ansatserna för text-till-3D-genereringsmodeller, och den söker modus för villkorlig postprior i den latenta utrymmet för DDPM. SDS-ansatsen antar också en förtränad DDPM för att modellera den villkorliga postprior, och syftar till att destillera 3D-representationer för villkorlig postprior som uppnås genom att minimera följande KL-divergens. Dessutom antar SDS-ansatsen den viktade brusreduceringspoängsmatchningsobjektivet för DDP-träning. Det primära målet med SDS-ansatsen kan också ses som att matcha 3D-modellens vy med den pseudo-grund sanning som uppskattas i ett enda steg av DDPM. Men utvecklare har observerat att destillationsprocessen ofta försummar viktiga aspekter av DDPM, och följande figur visar hur en förtränad DDPM tenderar att förutsäga pseudo-grund sanningar med inkonsekventa funktioner, och producerar lågkvalitativ utmatning under destillationsprocessen.

Men uppdateringsriktningar under önskvärda omständigheter uppdateras till 3D-representationer som slutligen leder till överglättade resultat. Dessutom är det värt att notera att DDPM-komponenten är känslig för indata, och funktionerna i pseudo-grund sanningen ändras avsevärt även med den minsta ändringen i inmatningen. Dessutom kan slumpmässighet i både kameraposition och bruskomponenten i inmatningen lägga till fluktuationer som är oundvikliga under destillering. Optimering av inmatningen för inkonsekventa pseudo-Grund Sanningar resulterar i funktionsgenomsnittliga resultat. Vad mer är, SDS-ansatsen erhåller pseudo-grund sanningar med en enstegsprediktion för alla tidsintervall, och tar inte hänsyn till begränsningarna i en enstegs-DDPM-komponent som inte kan producera högkvalitativ utmatning, vilket indikerar att destillering av 3D-tillgångar eller bilder med SDS-komponenten kanske inte är den mest ideala ansatsen.

LucidDreamer: Metodik och arbete

LucidDreamer-ramverket introducerar ISM-ansatsen, men det bygger också på lärdomar från andra ramverk, inklusive text-till-3D-genererande modeller, diffusionsmodeller och differentierbara 3D-representationsramverk. Med det sagt, låt oss ta en detaljerad titt på arkitekturen och metodiken i LucidDreamer-ramverket.

Interval Score Matching eller ISM

Överglättning- och lågkvalitativa utmatningsproblem som möter de flesta text-till-3D-genererande ramverk kan tillskrivas deras användning av SDS-ansatsen som syftar till att matcha pseudo-grund sanningen med 3D-representationer som är inkonsekventa och ofta av undermålig kvalitet. För att motverka problemen som möter SDS, introducerar LucidDreamer-ramverket ISM eller Interval Score Matching, en ny ansats som har två arbetsstadier. I det första steget erhåller ISM-komponenten mer konsekventa pseudo-grund sanningar under destillering oavsett slumpmässighet i kamerapositioner och brus. I det andra steget genererar ramverket pseudo-grund sanningar med bättre kvalitet.

En annan stor begränsning i SDS är att generera pseudo-grund sanningar med en enstegsprediktion för alla tidsintervall, vilket gör det svårt att garantera högkvalitativa pseudo-grund sanningar, och det utgör grunden för att förbättra den visuella kvaliteten på pseudo-grund sanningarna. På ett liknande sätt kan SDS-objektivet ses som att matcha 3D-modellens vy med den pseudo-grund sanning som uppskattas av DDPM i ett enda steg, även om destillationsprocessen försummar en kritisk aspekt av DDPM-komponenten, d.v.s. den producerar lågkvalitativa pseudo-grund sanningar med inkonsekventa funktioner under destillationsprocessen.

Sammanfattningsvis lovar ISM-komponenten att leverera flera fördelar jämfört med tidigare metoder som används i text-till-3D-genererande modeller. Först, tack vare ISM:s förmåga att tillhandahålla högkvalitativa pseudo-grund sanningar konsekvent, kan den producera högkvalitativa destillationsutmatningar med finare strukturer och rikare detaljer, vilket eliminerar behovet av stora väglednings skalor och förbättrar flexibiliteten för 3D-innehållsskapande. För det andra, övergången från SDS-ansatsen till ISM-ansatsen har marginell beräkningsöverhäng, särskilt eftersom ISM-ansatsen inte kompromissar med den övergripande effektiviteten, även om den kräver extra beräkningskostnader för DDIM-inversioner.

Figuren ovan visar hur ISM-ansatsen fungerar och ger en översikt av arkitekturen i LucidDreamer-ramverket. Ramverket initierar först Gaussian Splatting, d.v.s. 3D-representationer, med en förtränad text-till-3D-genererare med en prompt. Det inkorporeras sedan med en förtränad 2D-DDPM-komponent för att störa slumpmässiga vyer till bullriga oberoende latenta banor med DDIM-inversioner och uppdaterar sedan med intervallet-poäng. Tack vare sin arkitektur fokuserar kärnan i ISM-komponenten på att uppdatera 3D-representationer mot pseudo-grund sanningar som är högkvalitativa och funktionskonsekventa, men beräkningsvänliga. Detta är principen som låter ISM överensstämma med de grundläggande objekten i SDS-ansatsen samtidigt som den förfinar den befintliga metoden.

DDIM-inversion

LucidDreamer-ramverket syftar till att producera mer konsekventa pseudo-grund sanningar i överensstämmelse med 3D-representationer. Därför, istället för att producera 3D-representationer, använder LucidDreamer-ramverket DDIM-inversionsansatsen för att förutsäga bruslatenta 3D-representationer och förutsäga en omvändbar bruslatent bana på ett iterativt sätt. Dessutom är det på grund av den omvändbara DDIM-inversionen som LucidDreamer-ramverket kan öka konsekvensen av pseudo-grund sanningen avsevärt för alla tidsintervall.

Avancerad genereringspipeline

LucidDreamer-ramverket introducerar också en avancerad pipeline, utöver ISM, för att undersöka faktorerna som påverkar den visuella kvaliteten på text-till-3D-generering och introducerar 3D-Gaussian Splatting eller 3DGS som 3D-generering och 3D-punktmolnsmodeller för initiering.

3D-Gaussian Splatting

Befintliga arbeten har visat att ökning av batchstorlek och renderingsupplösning för träning förbättrar den visuella kvaliteten avsevärt. Men de flesta lärande 3D-representationer som antagits för text-till-3D-generering är tids- och minneskrävande. Å andra sidan erbjuder 3D-Gaussian Splatting-ansatsen effektiva resultat i både optimering och rendering, vilket låter den avancerade genereringspipelinen i LucidDreamer-ramverket uppnå stor batchstorlek och högupplösningsrendering, även när den opererar med begränsade beräkningsresurser.

Initiering

De flesta state-of-the-art text-till-3D-genererande ramverk initierar sina 3D-representationer med begränsade geometrier som cirkel, låda eller cylinder, vilket ofta resulterar i oönskade utmatningar på icke-axialt symmetriska föremål. Å andra sidan, eftersom LucidDreamer-ramverket introducerar 3D-Gaussian Splatting som 3D-representationer, kan ramverket anta flera text-till-punkt-genererande ramverk naturligt för att generera en grov initiering med mänskliga indata. Initieringsstrategin ökar konvergenshastigheten avsevärt.

LucidDreamer: Experiment och resultat

Text-till-3D-generering

Figuren ovan visar resultaten som genereras av LucidDreamer-modellen med den ursprungliga stabil diffusionsansatsen, medan den följande figuren diskuterar de genererade resultaten på olika finjusterade kontrollpunkter.

Som det kan ses, är LucidDreamer-ramverket kapabelt att generera högkvalitativa 3D-innehåll med hjälp av inmatningstexten och semantiska signaler. Dessutom, med användningen av ISM, genererar LucidDreamer-ramverket invecklade och mer realistiska bilder samtidigt som det undviker vanliga problem som övermättnad eller överglättning, och utmärker sig i att generera vanliga föremål samt stödjer kreativa skapelser.

ISM-allmängiltighet

För att utvärdera ISM-allmängiltigheten, genomförs en jämförelse mellan ISM och SDS i både explicita och implicita representationer, och resultaten visas i den följande figuren.

Kvalitativ jämförelse

För att analysera den kvalitativa effektiviteten hos LucidDreamer-ramverket, jämförs det med nuvarande SoTA-baslinjemodeller, och för att säkerställa en rättvis jämförelse, används Stable Diffusion 2.1-ramverket för destillering, och resultaten visas i den följande figuren. Som det kan ses, levererar ramverket högkvalitativa och geometriskt precisa resultat samtidigt som det konsumerar färre resurser och tid.

Dessutom, för att ge en mer omfattande utvärdering, genomför utvecklare också en användarstudie. Utvärderingen väljer 28 prompter och använder olika text-till-3D-genereringsansatser på varje prompt för att generera föremål. Resultaten rankades sedan av användarna baserat på graden av överensstämmelse med inmatningstexten och dess trohet.

LucidDreamer: Tillämpningar

På grund av sin exceptionella prestanda på en mängd olika text-till-3D-genereringsuppgifter, har LucidDreamer-ramverket flera potentiella tillämpningar, inklusive nollskott-avatarskapande, personlig text-till-3D-generering och nollskott-2D- och 3D-redigering.

Övre vänstra bilden visar LucidDreamer-ramverkets potential i nollskott-2D- och 3D-redigeringsuppgifter, medan de nedre vänstra bilderna visar ramverkets förmåga att generera personliga text-till-3D-utmatningar med LoRA, och bilden till höger visar ramverkets förmåga att generera 3D-avatars.

Slutliga tankar

I den här artikeln har vi diskuterat LucidDreamer, en ny metod som använder Interval Score Matching eller ISM-metoden för att övervinna överglättningproblemet, och diskuterat modellens arkitektur och dess prestanda mot state-of-the-art text-till-3D-genererande ramverk. Vi har också diskuterat hur SDS eller Score Distillation Sampling, en vanlig metod som implementeras i de flesta state-of-the-art text-till-3D-genererande modeller, ofta resulterar i överglättning av de genererade bilderna, och hur LucidDreamer-ramverket motverkar detta problem genom att introducera en ny metod, ISM eller Interval Score Matching, för att generera högkvalitativa och mer realistiska 3D-bilder. Resultaten och utvärderingen visar effektiviteten hos LucidDreamer-ramverket på en mängd olika 3D-genereringsuppgifter, och hur ramverket redan presterar bättre än nuvarande state-of-the-art 3D-genererande modeller. Den exceptionella prestandan hos ramverket öppnar upp för en mängd olika praktiska tillämpningar, som redan diskuterats.