Những tiến bộ gần đây trong các khuôn khổ tạo 3D từ văn bản đã đánh dấu một cột mốc quan trọng trong các mô hình tạo. Chúng mở ra những khả năng mới trong việc tạo ra các tài sản 3D trên nhiều kịch bản thực tế khác nhau. Các tài sản 3D kỹ thuật số hiện đang giữ một vị trí không thể thiếu trong sự hiện diện của chúng ta, cho phép hình dung và tương tác toàn diện với các môi trường và đối tượng phức tạp phản ánh những trải nghiệm thực tế của chúng ta. Những khuôn khổ tạo 3D này được áp dụng trong nhiều lĩnh vực, bao gồm hoạt hình, kiến trúc, trò chơi, thực tế ảo và tăng cường, và nhiều hơn nữa. Chúng cũng được sử dụng rộng rãi trong các hội nghị trực tuyến, bán lẻ, giáo dục và tiếp thị.

Tuy nhiên, mặc dù những tiến bộ trong các khuôn khổ tạo 3D từ văn bản mang lại nhiều hứa hẹn, việc sử dụng rộng rãi công nghệ 3D đi kèm với một vấn đề lớn. Việc tạo ra hình ảnh và nội dung 3D chất lượng cao vẫn đòi hỏi nhiều thời gian, công sức, tài nguyên và chuyên môn. Ngay cả khi đáp ứng những yêu cầu này, việc tạo 3D từ văn bản thường không thể tạo ra các mô hình 3D chi tiết và chất lượng cao. Vấn đề này về việc tạo và chất lượng 3D thấp hơn còn phổ biến hơn trong các khuôn khổ sử dụng phương pháp Score Distillation Sampling (SDS). Bài viết này sẽ thảo luận về những khiếm khuyết đáng chú ý được quan sát trong các mô hình sử dụng phương pháp SDS, những khiếm khuyết này giới thiệu sự không nhất quán và hướng cập nhật chất lượng thấp, dẫn đến hiệu ứng làm mịn quá mức trên đầu ra được tạo. Chúng tôi cũng sẽ giới thiệu khuôn khổ LucidDreamer, một cách tiếp cận mới sử dụng phương pháp Interval Score Matching (ISM) để vượt qua vấn đề làm mịn quá mức. Chúng tôi sẽ khám phá kiến trúc của mô hình và hiệu suất của nó so với các khuôn khổ tạo 3D từ văn bản hiện đại. Vì vậy, hãy bắt đầu.

LucidDreamer3D: Giới Thiệu về Tạo 3D sử dụng Interval Score Matching

Một lý do chính tại sao các mô hình tạo 3D đã trở thành tâm điểm của ngành công nghiệp trí tuệ nhân tạo là do sự ứng dụng rộng rãi của chúng trên nhiều lĩnh vực và ngành công nghiệp, cũng như khả năng tạo ra nội dung 3D trong thời gian thực. Do sự ứng dụng thực tế rộng rãi, các nhà phát triển đã đề xuất nhiều phương pháp tạo nội dung 3D, trong đó khuôn khổ tạo 3D từ văn bản nổi bật nhờ khả năng sử dụng chỉ các mô tả văn bản để tạo ra các mô hình 3D tưởng tượng. Các khuôn khổ tạo 3D từ văn bản đạt được điều này bằng cách sử dụng một mô hình khuếch tán hình ảnh được đào tạo trước để tạo ra một hình ảnh mạnh trước khi giám sát quá trình đào tạo của một mô hình 3D có tham số. Điều này cho phép tạo ra hình ảnh 3D một cách nhất quán phù hợp với văn bản. Khả năng này để tạo ra hình ảnh 3D nhất quán dựa trên việc sử dụng Score Distillation Sampling (SDS) cơ bản và cho phép SDS hoạt động như một cơ chế cốt lõi để đưa kết quả 2D từ các mô hình khuếch tán vào các đối ứng 3D của chúng, từ đó cho phép đào tạo các mô hình 3D mà không cần sử dụng hình ảnh đào tạo.

Tuy nhiên, để giải quyết các vấn đề về làm mịn quá mức, khuôn khổ LucidDreamer triển khai phương pháp Interval Score Matching (ISM), một phương pháp mới sử dụng hai cơ chế hiệu quả. Đầu tiên, phương pháp ISM sử dụng phương pháp đảo ngược DDIM để giảm thiểu hiệu ứng trung bình do sự không nhất quán của giả lập Truth gây ra bằng cách tạo ra một đường đi khuếch tán đảo ngược. Thứ hai, thay vì khớp các hình ảnh được tạo bởi mô hình 3D với các giả lập Ground Truth, phương pháp ISM khớp chúng giữa hai bước khoảng cách trong đường đi khuếch tán, giúp nó tránh được lỗi xây dựng lại cao bằng cách tránh việc xây dựng lại một bước. Việc sử dụng ISM thay cho SDS dẫn đến hiệu suất cao và nhất quán với đầu ra chi tiết và thực tế cao.

Tổng thể, khuôn khổ LucidDreamer nhằm thực hiện các đóng góp sau trong lĩnh vực trí tuệ nhân tạo tạo 3D

1. Cung cấp một phân tích sâu về SDS, khái niệm cơ bản trong các khuôn khổ tạo 3D từ văn bản, và xác định các hạn chế chính của nó về sự không nhất quán của giả lập Ground Truth và giải thích cho hiệu ứng làm mịn quá mức mà các khuôn khổ tạo 3D này phải đối mặt.
2. Để đối phó với các hạn chế do phương pháp SDS đặt ra, khuôn khổ LucidDreamer giới thiệu Interval Score Matching, một phương pháp mới sử dụng khớp khoảng cách và đường đi khuếch tán đảo ngược để vượt trội so với SDS bằng cách tạo ra đầu ra chi tiết và thực tế cao.
3. Đạt được hiệu suất tốt nhất trong lĩnh vực bằng cách tích hợp phương pháp ISM với Gaussian Splatting 3D để vượt qua các phương pháp hiện có cho việc tạo nội dung 3D với chi phí đào tạo thấp.

Hạn Chế của SDS

Như đã đề cập trước đó, SDS là một trong những phương pháp phổ biến nhất cho các mô hình tạo 3D từ văn bản, và nó tìm kiếm các chế độ cho hậu phân phối có điều kiện trong không gian latent của DDPM. Phương pháp SDS cũng áp dụng một mô hình DDPM được đào tạo trước để mô hình hóa hậu phân phối có điều kiện và nhằm mục đích cô lập các biểu diễn 3D cho hậu phân phối có điều kiện được thực hiện bằng cách tối thiểu hóa sự phân kỳ KL. Hơn nữa, phương pháp SDS cũng tái sử dụng mục tiêu khớp điểm làm mịn có trọng số cho quá trình đào tạo DDP. Mục tiêu chính của phương pháp SDS cũng có thể được xem là khớp giữa tầm nhìn của mô hình 3D với giả lập ground truth được ước tính trong một bước đơn bởi DDPM. Tuy nhiên, các nhà phát triển đã quan sát thấy rằng quá trình cô lập thường bỏ qua các khía cạnh quan trọng của DDPM, và hình dưới đây minh họa cách một mô hình DDPM được đào tạo trước có xu hướng dự đoán giả lập ground truth với các tính năng không nhất quán và tạo ra đầu ra chất lượng thấp trong quá trình cô lập.

Tuy nhiên, việc cập nhật các hướng dẫn dưới các điều kiện không mong muốn dẫn đến kết quả làm mịn quá mức. Hơn nữa, đáng chú ý rằng thành phần DDPM là nhạy cảm với đầu vào, và các tính năng của giả lập ground truth thay đổi đáng kể ngay cả với sự thay đổi nhỏ nhất trong đầu vào. Ngoài ra, sự ngẫu nhiên trong cả tư thế máy ảnh và thành phần nhiễu của đầu vào có thể thêm vào sự biến động không thể tránh khỏi trong quá trình cô lập. Việc tối ưu hóa đầu vào cho giả lập ground truth không nhất quán dẫn đến kết quả trung bình về tính năng. Điều gì còn nữa là phương pháp SDS thu được giả lập ground truth với dự đoán một bước cho tất cả các khoảng thời gian và không tính đến các hạn chế của thành phần DDPM một bước không thể tạo ra đầu ra chất lượng cao, chỉ ra rằng việc cô lập tài sản 3D hoặc hình ảnh với thành phần SDS có thể không phải là cách tiếp cận lý tưởng nhất.

LucidDreamer: Phương Pháp và Hoạt Động

Khuôn khổ LucidDreamer không chỉ giới thiệu phương pháp ISM mà còn xây dựng dựa trên những hiểu biết từ các khuôn khổ khác, bao gồm cả mô hình tạo 3D từ văn bản, mô hình khuếch tán và các khuôn khổ biểu diễn 3D có thể phân biệt. Với điều đó được nói, hãy cùng xem xét chi tiết về kiến trúc và phương pháp của khuôn khổ LucidDreamer.

Interval Score Matching hoặc ISM

Các vấn đề về làm mịn quá mức và chất lượng đầu ra thấp mà hầu hết các khuôn khổ tạo 3D từ văn bản phải đối mặt có thể được quy cho việc sử dụng phương pháp SDS, phương pháp này nhằm khớp giả lập ground truth với các biểu diễn 3D không nhất quán và thường có chất lượng thấp. Để giải quyết các vấn đề mà SDS gặp phải, khuôn khổ LucidDreamer giới thiệu ISM hoặc Interval Score Matching, một phương pháp mới có hai giai đoạn hoạt động. Trong giai đoạn đầu, thành phần ISM thu được giả lập ground truth nhất quán hơn trong quá trình cô lập, bất kể sự ngẫu nhiên trong tư thế máy ảnh và nhiễu. Trong giai đoạn thứ hai, khuôn khổ tạo ra giả lập ground truth với chất lượng tốt hơn.

Một hạn chế quan trọng khác của SDS là việc tạo ra giả lập ground truth với dự đoán một bước cho tất cả các khoảng thời gian, điều này khiến cho việc đảm bảo giả lập ground truth chất lượng cao trở nên khó khăn, và nó tạo cơ sở để cải thiện chất lượng trực quan của giả lập ground truth. Tương tự, mục tiêu của SDS có thể được xem là khớp giữa tầm nhìn của mô hình 3D với giả lập ground truth được ước tính bởi DDPM trong một bước, mặc dù quá trình cô lập bỏ qua một khía cạnh quan trọng của thành phần DDPM, tức là nó tạo ra giả lập ground truth chất lượng thấp với các tính năng không nhất quán trong quá trình cô lập.

Tổng thể, thành phần ISM hứa hẹn mang lại một số lợi thế so với các phương pháp trước đây được sử dụng trong các mô hình tạo 3D từ văn bản. Đầu tiên, nhờ khả năng của ISM trong việc cung cấp giả lập ground truth chất lượng cao một cách nhất quán, nó có thể tạo ra đầu ra cô lập chất lượng cao với cấu trúc tinh tế và chi tiết phong phú hơn, do đó loại bỏ nhu cầu về quy mô hướng dẫn lớn và tăng cường sự linh hoạt cho việc tạo nội dung 3D. Thứ hai, việc chuyển từ phương pháp SDS sang phương pháp ISM có chi phí tính toán biên giới nhỏ, đặc biệt là vì phương pháp ISM không ảnh hưởng đến hiệu quả tổng thể ngay cả khi nó đòi hỏi thêm chi phí tính toán cho các phép đảo ngược DDIM.

Hình trên minh họa hoạt động của phương pháp ISM và cung cấp cái nhìn tổng quan về kiến trúc của khuôn khổ LucidDreamer. Khuôn khổ đầu tiên khởi tạo Gaussian Splatting, tức là các biểu diễn 3D, bằng cách sử dụng một mô hình tạo 3D từ văn bản được đào tạo trước với một lời nhắc. Sau đó, nó được kết hợp với một thành phần DDPM được đào tạo trước để làm gián đoạn các tầm nhìn ngẫu nhiên thành các đường đi latent không điều kiện nhiễu bằng cách sử dụng các phép đảo ngược DDIM, và sau đó cập nhật với điểm số khoảng cách. Nhờ kiến trúc này, cốt lõi của việc tối ưu hóa thành phần ISM tập trung vào việc cập nhật các biểu diễn 3D hướng tới giả lập ground truth chất lượng cao và nhất quán, đồng thời tính toán thân thiện. Nguyên tắc này cho phép ISM phù hợp với các mục tiêu cơ bản của phương pháp SDS trong khi tinh chỉnh phương pháp hiện có.

Đảo Ngược DDIM

Khuôn khổ LucidDreamer nhằm tạo ra giả lập ground truth nhất quán hơn phù hợp với các biểu diễn 3D. Do đó, thay vì tạo ra các biểu diễn 3D, khuôn khổ LucidDreamer sử dụng phương pháp đảo ngược DDIM để dự đoán nhiễu latent 3D và dự đoán một đường đi latent nhiễu đảo ngược theo cách lặp lại. Hơn nữa, chính sự đảo ngược của phép đảo ngược DDIM cho phép khuôn khổ LucidDreamer tăng cường sự nhất quán của giả lập ground truth đáng kể cho tất cả các khoảng thời gian.

Dòng Phát Sinh Nâng Cao

Khuôn khổ LucidDreamer cũng giới thiệu một dòng phát sinh nâng cao ngoài ISM để khám phá các yếu tố ảnh hưởng đến chất lượng trực quan của việc tạo 3D từ văn bản và giới thiệu Gaussian Splatting 3D hoặc 3DGS làm mô hình tạo 3D và mô hình tạo điểm đám mây 3D cho việc khởi tạo.

Gaussian Splatting 3D

Các công việc hiện có đã chỉ ra rằng việc tăng kích thước lô và độ phân giải kết xuất cho quá trình đào tạo cải thiện chất lượng trực quan đáng kể. Tuy nhiên, hầu hết các biểu diễn 3D có thể học được được áp dụng cho việc tạo 3D từ văn bản đều tốn thời gian và bộ nhớ. Mặt khác, phương pháp Gaussian Splatting 3D cung cấp kết quả hiệu quả trong cả tối ưu hóa và kết xuất, cho phép Dòng Phát Sinh Nâng Cao trong khuôn khổ LucidDreamer đạt được kích thước lô lớn cũng như độ phân giải kết xuất cao ngay cả khi hoạt động với tài nguyên tính toán hạn chế.

Khởi Tạo

Hầu hết các khuôn khổ tạo 3D từ văn bản hiện đại khởi tạo các biểu diễn 3D của chúng với các hình học hạn chế như hình tròn, hộp hoặc hình trụ, điều này thường dẫn đến đầu ra không mong muốn đối với các đối tượng không đối xứng trục. Mặt khác, vì khuôn khổ LucidDreamer giới thiệu Gaussian Splatting 3D làm biểu diễn 3D, khuôn khổ có thể áp dụng một cách tự nhiên cho nhiều khuôn khổ tạo điểm từ văn bản để tạo ra một khởi tạo thô với đầu vào của con người. Chiến lược khởi tạo cuối cùng tăng tốc độ hội tụ đáng kể.

LucidDreamer: Thử Nghiệm và Kết Quả

Tạo 3D từ Văn Bản

Hình trên minh họa kết quả được tạo ra bởi mô hình LucidDreamer với phương pháp khuếch tán ổn định ban đầu, trong khi hình tiếp theo thảo luận về kết quả tạo ra trên các điểm kiểm tra tinh chỉnh khác nhau.

Như có thể thấy, khuôn khổ LucidDreamer có khả năng tạo ra nội dung 3D nhất quán cao bằng cách sử dụng văn bản đầu vào và các gợi ý ngữ nghĩa. Hơn nữa, với việc sử dụng ISM, khuôn khổ LucidDreamer tạo ra hình ảnh tinh tế và thực tế hơn trong khi tránh các vấn đề phổ biến như quá bão hòa hoặc làm mịn quá mức, đồng thời vượt trội trong việc tạo ra các đối tượng thông thường cũng như hỗ trợ sáng tạo.

Tính Khả Tổng Quát của ISM

Để đánh giá tính khả tổng quát của ISM, một so sánh được thực hiện giữa ISM và SDS trong cả biểu diễn rõ ràng và ngầm, và kết quả được minh họa trong hình dưới đây.

So Sánh Chất Lượng

Để phân tích hiệu quả chất lượng của khuôn khổ LucidDreamer, nó được so sánh với các mô hình cơ sở hiện đại, và để đảm bảo so sánh công bằng, nó sử dụng khuôn khổ khuếch tán ổn định 2.1 cho quá trình cô lập, và kết quả được minh họa trong hình dưới đây. Như có thể thấy, khuôn khổ cung cấp kết quả chất lượng cao và chính xác về mặt hình học trong khi tiêu thụ ít tài nguyên và thời gian hơn.

Hơn nữa, để cung cấp một đánh giá toàn diện hơn, các nhà phát triển cũng thực hiện một nghiên cứu người dùng. Đánh giá này chọn 28 lời nhắc và sử dụng các phương pháp tạo 3D từ văn bản khác nhau cho mỗi lời nhắc để tạo ra các đối tượng. Kết quả sau đó được xếp hạng bởi người dùng dựa trên mức độ phù hợp với lời nhắc đầu vào và độ trung thực của nó.

Ứng Dụng của LucidDreamer

Do hiệu suất vượt trội của nó trên nhiều nhiệm vụ tạo 3D từ văn bản, khuôn khổ LucidDreamer có nhiều ứng dụng tiềm năng, bao gồm tạo hình ảnh đại diện không cần huấn luyện, tạo 3D từ văn bản cá nhân hóa và chỉnh sửa 2D và 3D không cần huấn luyện.

Hình trên bên trái minh họa khả năng của LucidDreamer trong việc chỉnh sửa 2D và 3D không cần huấn luyện, trong khi hình dưới bên trái minh họa khả năng của khuôn khổ trong việc tạo ra đầu ra 3D từ văn bản được cá nhân hóa với LoRA, và hình bên phải展示 khả năng của khuôn khổ trong việc tạo ra các hình ảnh đại diện 3D.

Lời Kết

Trong bài viết này, chúng ta đã thảo luận về LucidDreamer, một phương pháp mới sử dụng phương pháp Interval Score Matching (ISM) để vượt qua vấn đề làm mịn quá mức, và thảo luận về kiến trúc của mô hình và hiệu suất của nó so với các khuôn khổ tạo 3D từ văn bản hiện đại. Chúng ta cũng đã thảo luận về cách SDS hoặc Score Distillation Sampling, một phương pháp phổ biến được thực hiện trong nhiều mô hình tạo 3D từ văn bản, thường dẫn đến làm mịn quá mức của hình ảnh được tạo ra, và cách khuôn khổ LucidDreamer giải quyết vấn đề này bằng cách giới thiệu một phương pháp mới, phương pháp Interval Score Matching (ISM), để tạo ra hình ảnh 3D chất lượng cao và thực tế hơn. Kết quả và đánh giá chỉ ra hiệu quả của khuôn khổ LucidDreamer trên nhiều nhiệm vụ tạo 3D, và khuôn khổ này đã thể hiện hiệu suất tốt hơn so với các mô hình tạo 3D hiện đại. Hiệu suất vượt trội của khuôn khổ này mở ra nhiều ứng dụng thực tế, như đã thảo luận.