Недавні досягнення в галузі текстово-3D генеративних моделей ознаменували значний етап у розвитку генеративних моделей. Вони відкривають нові можливості для створення 3D активів у численних реальних сценаріях. Цифрові 3D активи тепер займають важливе місце в нашому цифровому присутності, забезпечуючи всебічну візуалізацію та взаємодію з складними середовищами та об’єктами, які відображають наш досвід у реальному світі. Ці 3D генеративні моделі застосовуються в різних галузях, включаючи анімацію, архітектуру, ігри, доповнену та віртуальну реальність та багато іншого. Вони також широко використовуються на онлайн-конференціях, у роздрібній торгівлі, освіті та маркетингу.

Однак, незважаючи на обіцянки цих досягнень у текстово-3D генеративних моделях, широке використання 3D технологій супроводжується однією великою проблемою. Генерування високоякісних 3D зображень і медіа-контенту все ще потребує значного часу, зусиль, ресурсів і кваліфікованої експертизи. Навіть з цими вимогами, текстово-3D генерація часто не може відтворити детальні та високоякісні 3D моделі. Ця проблема генерації та низької якості 3D моделей більш поширена у моделях, які використовують метод оцінки відповідності інтервалу (ISM). Ця стаття буде обговорювати помітні недоліки, спостережувані у моделях, які використовують метод ISM, які вводять несумісності та низькякісні напрямки оновлення, що призводить до ефекту过-smoothing у згенерованому виводі. Ми також введемо.framework LucidDreamer, новий підхід, який використовує метод ISM для подолання проблеми過-smoothing. Ми розглянемо архітектуру моделі та її продуктивність проти моделей генерації 3D тексту сучасного стану. Отже, давайте почнемо.

LucidDreamer3D: Введення у генерацію 3D за допомогою інтервальної оцінки відповідності

Одна з основних причин, чому 3D генераційні моделі стали предметом обговорення у галузі генеративного інтелекту, полягає у тому, що вони мають широке застосування у різних галузях та галузях, а також здатність виробляти 3D контент у реальному часі. Оwing до їх широкого практичного застосування, розробники запропонували численні підходи до генерації 3D контенту, з яких виділяється генерація тексту у 3D за допомогою моделей генерації тексту у зображення. Ці моделі досягають цього шляхом використання попередньо навченої моделі дифузії зображення для генерації сильного зображення перед наглядом за навчанням нейронної параметризованої 3D моделі, що дозволяє відтворювати 3D зображення послідовно, які відповідають тексту. Ця здатність відтворювати постійні 3D зображення ґрунтується на використанні методу оцінки відповідності інтервалу, і дозволяє йому діяти як основний механізм для перенесення результатів 2D з моделей дифузії у їх 3D еквіваленти, що дозволяє навчати 3D моделі без використання навчальних зображень. Незважаючи на їх ефективність, 3D генераційні моделі, які використовують метод ISM, часто страждають від проблем з розмиттям та过-smoothing, які перешкоджають практичній реалізації високоякісної генерації 3D.

Для подолання проблем з過-smoothing, framework LucidDreamer реалізує підхід ISM або інтервальної оцінки відповідності, новий підхід, який використовує два ефективні механізми. По-перше, підхід ISM використовує метод інверсії DDIM для пом’якшення ефекту середнього значення, викликаного несумісностями псевдо-істинних даних, шляхом генерації інвертованої траєекторії дифузії. По-друге, замість порівняння зображень, згенерованих 3D моделлю з псевдо-істинними даними, метод ISM порівнює їх між двома інтервалами у траєекторії дифузії, що допомагає йому уникнути високої похибки відтворення шляхом уникнення одноступеневого відтворення. Використання методу ISM замість методу оцінки відповідності інтервалу призводить до послідовно високої продуктивності з високореалістичними та деталізованими виводами.

У цілому, framework LucidDreamer має на меті зробити наступні внески у галузі генерації 3D:

1. Предоставляє глибокий аналіз методу оцінки відповідності інтервалу, фундаментальної концепції генерації тексту у 3D, та визначає його основні обмеження низькякісних псевдо-істинних даних та пояснює ефект過-smoothing, який спостерігається у цих генераційних моделях.
2. Для подолання обмежень, введених методом оцінки відповідності інтервалу, framework LucidDreamer вводить інтервальну оціню відповідності, новий підхід, який використовує інтервал-орієнтоване порівняння та інвертовані траєекторії дифузії для перевершення методу оцінки відповідності інтервалу шляхом генерації високореалістичних та деталізованих виводів.
3. Досягає стану сучасного стану шляхом інтеграції методу ISM з 3D сплэтінгом для перевершення існуючих методів генерації 3D контенту з низькими витратами на навчання.

Обмеження методу оцінки відповідності інтервалу

Як згадувалося раніше, метод оцінки відповідності інтервалу є одним з найпопулярніших підходів для генерації тексту у 3D, і він шукає моди для умовного постеріору у латентному просторі DDPM. Підхід методу оцінки відповідності інтервалу також采用 попередньо навчену модель DDPM для моделювання умовного постеріору та має на меті витягнути 3D представлення для умовного постеріору, яке досягається шляхом мінімізації наступної розходження KL. Крім того, підхід методу оцінки відповідності інтервалу також повторно використовує зважений об’єкт деноізингу для навчання DDP. Основна мета підходу методу оцінки відповідності інтервалу також можна розглядати як порівняння вигляду 3D моделі з псевдо-істинним, оціненим у одному ступені моделлю DDPM. Однак розробники спостерігали, що процес дистиляції часто ігнорує ключові аспекти моделі DDPM, і наступна фігура демонструє, як попередньо навчена модель DDPM схильна передбачати псевдо-істинні дані з несумісними ознаками та генерувати низькякісний вивід під час процесу дистиляції.

Однак оновлення напрямків під несприятливими обставинами оновлюються до 3D представлень, які в кінцевому підсумку призводять до результатів з ефектом過-smoothing. Крім того, варто зазначити, що компонент DDPM чутливий до входу, і ознаки псевдо-істинних даних змінюються суттєво навіть при незначних змінах входу. Додатково, випадковість у камерній позі та шумовій компоненті входу можуть додати до коливань, які є неминучими під час дистиляції. Оптимізація входу для несумісних псевдо-істинних даних призводить до результатів зі середнім значенням ознак. Що ще важливіше, підхід методу оцінки відповідності інтервалу отримує псевдо-істинні дані з одноступеневим прогнозом для всіх інтервалів часу, і не враховує обмежень одноступеневого компоненту DDPM, який не може генерувати високоякісний вивід, що вказує на те, що дистиляція 3D активів або зображень з компонентом методу оцінки відповідності інтервалу може не бути найкращим підходом.

LucidDreamer: Методологія та робота

Framework LucidDreamer вводить підхід ISM, але також будується на знаннях з інших моделей, включаючи генерацію тексту у 3D, моделі дифузії та різницеві 3D представлення. Отже, давайте розглянемо архітектуру та методологію framework LucidDreamer.

Інтервальна оцінка відповідності або ISM

Проблеми з過-smoothing та низькякісним виводом, з якими стикаються більшість генераційних моделей тексту у 3D, можна віднести до використання підходу методу оцінки відповідності інтервалу, який має на меті порівняти псевдо-істинні дані з 3D представленнями, які несумісні та часто низької якості. Для подолання цих проблем framework LucidDreamer вводить підхід ISM або інтервальну оціню відповідності, новий підхід, який має два робочі етапи. На першому етапі компонент ISM отримує більш сумісні псевдо-істинні дані під час дистиляції незалежно від випадковості у камерній позі та шумі. На другому етапі framework генерує псевдо-істинні дані з кращою якістю.

Інша суттєва обмеження підходу методу оцінки відповідності інтервалу полягає у генерації псевдо-істинних даних з одноступеневим прогнозом для всіх інтервалів часу, що робить його складним гарантувати високоякісні псевдо-істинні дані, і це є основою для поліпшення візуальної якості псевдо-істинних даних. У подібному сенсі об’єкт підходу методу оцінки відповідності інтервалу можна розглядати як порівняння вигляду 3D моделі з псевдо-істинним, оціненим моделлю DDPM у одному ступені, хоча процес дистиляції ігнорує критичний аспект компоненту DDPM, тобто він генерує низькякісні псевдо-істинні дані з несумісними ознаками під час процесу дистиляції.

У цілому, компонент ISM обіцяє надати кілька переваг над попередніми методами, використовуваними у генерації тексту у 3D. По-перше, завдяки здатності компоненту ISM забезпечувати високоякісні псевдо-істинні дані послідовно, він здатний генерувати високоякісні виводи з дистиляції з більш дрібними структурами та багатшими деталями, що усуває потребу у великомасштабному керівництві, і підвищує гнучкість для створення 3D контенту. По-друге, перехід від підходу методу оцінки відповідності інтервалу до підходу ISM має мінімальну обчислювальну надбудову, особливо оскільки підхід ISM не компрометує загальну ефективність, хоча він вимагає додаткових обчислювальних витрат для інверсій DDIM.

Навіщена фігура демонструє роботу підходу ISM, і надає огляд архітектури framework LucidDreamer. Framework спочатку ініціалізує 3D представлення за допомогою попередньо навченої моделі генерації тексту у 3D за допомогою запиту. Потім він включає попередньо навчений компонент 2D DDPM для збурення випадкових виглядів у шумові некондіційні траєекторії за допомогою інверсій DDIM, і потім оновлює інтервалом оцінки. Завдяки своїй архітектурі, ядро оптимізації компоненту ISM зосереджується на оновленні 3D представлень до псевдо-істинних даних, які є високоякісними та сумісними ознаками, але обчислювально дружніми. Це принцип дозволяє компоненту ISM відповідати основним об’єктам підходу методу оцінки відповідності інтервалу, одночасно уточнюючи існуючий метод.

Інверсія DDIM

Framework LucidDreamer має на меті генерувати більш сумісні псевдо-істинні дані у відповідності з 3D представленнями. Отже, замість генерації 3D представлень, framework LucidDreamer використовує підхід інверсії DDIM для передбачення шумових латентних 3D представлень, і передбачає інвертовану шумову латентну траєекторію у ітеративному порядку. Крім того, саме завдяки інвертованості інверсії DDIM framework LucidDreamer здатний підвищити сумісність псевдо-істинних даних суттєво для всіх інтервалів часу.

Розширений трубопровід генерації

Framework LucidDreamer також вводить розширений трубопровід генерації, крім ISM, для дослідження факторів, які впливають на візуальну якість генерації тексту у 3D, і вводить 3D сплэтінг або 3DGS як свою 3D генерацію, і 3D генерацію хмар точок для ініціалізації.

3D сплэтінг

Існуючі роботи показали, що збільшення розміру пакету та роздільної здатності рендерингу для навчання покращує візуальну якість суттєво. Однак більшість навчених 3D представлень, прийнятих для генерації тексту у 3D, є часо- та пам’яттю споживаючими. З іншого боку, підхід 3D сплэтінгу забезпечує ефективні результати у оптимізації та рендерингу, що дозволяє розширеному трубопроводу генерації у framework LucidDreamer досягати великого розміру пакету, а також високої роздільної здатності рендерингу, навіть при обмежених обчислювальних ресурсах.

Ініціалізація

Більшість сучасних моделей генерації тексту у 3D ініціалізують свої 3D представлення обмеженими геометріями, такими як коло, коробка чи циліндр, що часто призводить до нежаданих виводів для неаксіально-симетричних об’єктів. З іншого боку, оскільки framework LucidDreamer вводить 3D сплэтінг як 3D представлення, framework може приймати кілька генераційних моделей тексту у точки природно для генерації грубої ініціалізації з людськими входами. Стратегія ініціалізації в кінцевому підсумку підвищує швидкість збіжності суттєво.

LucidDreamer: Експерименти та результати

Генерація тексту у 3D

Навіщена фігура демонструє результати, згенеровані моделлю LucidDreamer з оригінальним підходом стабільної дифузії, тоді як наступна фігура говорить про згенеровані результати на різних налаштованих контрольних точках.

Як можна побачити, framework LucidDreamer здатний генерувати високосумісний 3D контент за допомогою входного тексту та семантичних сигналів. Крім того, завдяки використанню підходу ISM, framework LucidDreamer генерує складні та більш реалістичні зображення, уникając спільних проблем, таких як надсичення або過-smoothing, і успішно генерує спільні об’єкти, а також підтримує творчі твори.

Генералізація ISM

Для оцінки генералізації ISM проводиться порівняння між підходами ISM та методу оцінки відповідності інтервалу у явних та неявних представленнях, і результати демонструються у наступній фігурі.

Якість порівняння

Для аналізу якості ефективності framework LucidDreamer порівнюється з сучасними моделями генерації тексту у 3D, і для забезпечення справедливого порівняння використовується framework стабільної дифузії 2.1 для дистиляції, і результати демонструються у наступній фігурі. Як можна побачити, framework забезпечує високоякісні та геометрично точні результати, споживаючи менше ресурсів та часу.

Крім того, для забезпечення більш повного оцінювання розробники також проводять дослідження користувачів. Оцінювання вибирає 28 запитів і використовує різні підходи генерації тексту у 3D для кожного запиту для генерації об’єктів. Результати потім ранжуються користувачами на основі ступеня відповідності входному запиту та його вірності.

LucidDreamer: Застосування

Оwing до його виняткової продуктивності на широкому спектрі завдань генерації тексту у 3D, framework LucidDreamer має кілька потенційних застосувань, включаючи генерацію аватарів з нуля, персоналізовану генерацію тексту у 3D, і генерацію 2D та 3D редакторів з нуля.

Верхня ліва фігура демонструє потенціал framework LucidDreamer у завданнях редагування 2D та 3D з нуля, тоді як нижня ліва фігура демонструє здатність framework генерувати персоналізовані виводи тексту у 3D за допомогою LoRA, тоді як фігура справа демонструє здатність framework генерувати 3D аватари.

Фінальні думки

У цій статті ми говорили про framework LucidDreamer, новий підхід, який використовує метод інтервальної оцінки відповідності для подолання проблеми過-smoothing, і обговорили архітектуру моделі та її продуктивність проти сучасних моделей генерації тексту у 3D. Ми також говорили про те, як підхід методу оцінки відповідності інтервалу, спільний підхід, реалізований у більшості сучасних моделей генерації тексту у 3D, часто призводить до過-smoothing згенерованих зображень, і як framework LucidDreamer подолає цю проблему шляхом введення нового підходу, підходу інтервальної оцінки відповідності, для генерації високоякісних та більш реалістичних 3D зображень. Результати та оцінювання вказують на ефективність framework LucidDreamer на широкому спектрі завдань генерації 3D, і на те, як framework вже виконує кращу продуктивність, ніж сучасні моделі генерації 3D. Виняткова продуктивність framework відкриває шлях для широкого спектра практичних застосувань, як уже обговорювалося.