Việc mở rộng các biểu diễn văn bản và hình ảnh đã trở thành một trọng tâm nghiên cứu chính trong những năm gần đây. Các phát triển và nghiên cứu được thực hiện trong quá khứ gần đây đã dẫn đến nhiều cuộc cách mạng trong học tập ngôn ngữ và tầm nhìn. Tuy nhiên, mặc dù việc mở rộng biểu diễn văn bản và hình ảnh rất phổ biến, việc mở rộng biểu diễn cho các cảnh và đối tượng 3D chưa được thảo luận đầy đủ.

Hôm nay, chúng ta sẽ thảo luận về Uni3D, một mô hình nền tảng 3D nhằm khám phá các biểu diễn 3D thống nhất. Khung khổ Uni3D sử dụng một khung khổ ViT 2D được khởi tạo trước, được đào tạo từ đầu đến cuối, để căn chỉnh các tính năng hình ảnh-văn bản với các tính năng điểm đám mây 3D tương ứng.

Khung khổ Uni3D sử dụng các nhiệm vụ pretext và kiến trúc đơn giản để tận dụng sự phong phú của các mô hình 2D được đào tạo trước và các mô hình căn chỉnh hình ảnh-văn bản như khởi tạo và mục tiêu, tương ứng. Cách tiếp cận này giải phóng toàn bộ tiềm năng của các mô hình 2D và chiến lược để mở rộng chúng sang thế giới 3D.

Trong bài viết này, chúng ta sẽ đi sâu vào tầm nhìn máy tính 3D và khung khổ Uni3D, khám phá các khái niệm thiết yếu và kiến trúc của mô hình. Vậy, hãy bắt đầu.

Uni3D và Học biểu diễn 3D: Một Giới thiệu

Trong những năm gần đây, tầm nhìn máy tính đã nổi lên như một trong những lĩnh vực được đầu tư nhiều nhất trong ngành AI. Sau những tiến bộ đáng kể trong các khung khổ tầm nhìn máy tính 2D, các nhà phát triển đã chuyển sự chú ý của mình sang tầm nhìn máy tính 3D. Lĩnh vực này, đặc biệt là học biểu diễn 3D, kết hợp các khía cạnh của đồ họa máy tính, học máy, tầm nhìn máy tính và toán học để tự động hóa quá trình xử lý và hiểu biết về hình học 3D. Sự phát triển nhanh chóng của các cảm biến 3D như LiDAR, cùng với các ứng dụng rộng rãi trong ngành AR/VR, đã dẫn đến việc học biểu diễn 3D nhận được sự quan tâm ngày càng tăng. Các ứng dụng tiềm năng của nó tiếp tục phát triển hàng ngày.

Mặc dù các khung khổ hiện có đã thể hiện tiến bộ đáng kể trong kiến trúc mô hình 3D, mô hình hóa nhiệm vụ và mục tiêu học tập, hầu hết đều khám phá kiến trúc 3D trên quy mô tương đối nhỏ với dữ liệu, tham số và kịch bản nhiệm vụ hạn chế. Thách thức của việc học biểu diễn 3D có thể mở rộng, có thể áp dụng cho các ứng dụng thời gian thực trong các môi trường đa dạng, vẫn còn chưa được khám phá.

Tiếp theo, trong những năm gần đây, việc mở rộng các mô hình ngôn ngữ lớn được đào tạo trước đã giúp cách mạng hóa lĩnh vực xử lý ngôn ngữ tự nhiên, và các công việc gần đây đã chỉ ra sự dịch chuyển trong tiến bộ từ ngôn ngữ sang 2D sử dụng dữ liệu và mô hình mở rộng, tạo điều kiện cho các nhà phát triển thử nghiệm và tái tạo lại thành công này để học biểu diễn 3D có thể mở rộng và chuyển giao cho các ứng dụng trong thế giới thực.

Uni3D là một khung khổ đào tạo trước 3D có thể mở rộng và thống nhất được phát triển với mục tiêu học biểu diễn 3D lớn, thử nghiệm giới hạn của nó ở quy mô hơn một tỷ tham số, hơn 10 triệu hình ảnh ghép nối với hơn 70 triệu văn bản, và hơn một triệu hình dạng 3D. Hình ảnh dưới đây so sánh độ chính xác phân loại zero-shot với các tham số trong khung khổ Uni3D. Khung khổ Uni3D đã thành công trong việc mở rộng biểu diễn 3D từ 6 triệu đến hơn một tỷ.

Khung khổ Uni3D bao gồm một ViT 2D hoặc Bộ chuyển đổi tầm nhìn như một bộ mã hóa 3D, sau đó được đào tạo từ đầu đến cuối để căn chỉnh các tính năng hình ảnh-văn bản với các tính năng điểm đám mây 3D. Khung khổ Uni3D sử dụng các nhiệm vụ pretext và kiến trúc đơn giản để tận dụng sự phong phú của các mô hình 2D được đào tạo trước và các mô hình căn chỉnh hình ảnh-văn bản như khởi tạo và mục tiêu, tương ứng, từ đó giải phóng toàn bộ tiềm năng của các mô hình 2D và chiến lược để mở rộng chúng sang thế giới 3D. Sự linh hoạt và khả năng mở rộng của khung khổ Uni3D được đo lường theo

1. Mở rộng mô hình từ 6M đến hơn một tỷ tham số.
2. 2D khởi tạo để giám sát từ học tự giám sát.
3. Mô hình mục tiêu văn bản-hình ảnh mở rộng từ 150 triệu đến hơn một tỷ tham số.

Dưới khung khổ thống nhất và linh hoạt được cung cấp bởi Uni3D, các nhà phát triển quan sát thấy sự tăng cường hiệu suất khi mở rộng từng thành phần. Học biểu diễn 3D lớn cũng được hưởng lợi rất nhiều từ các chiến lược 2D có thể chia sẻ và mở rộng.

Như có thể thấy trong hình dưới đây, khung khổ Uni3D thể hiện sự tăng cường hiệu suất khi so sánh với các công việc trước đó trong các thiết lập vài-shot và zero-shot. Điều đáng chú ý là khung khổ Uni3D trả về một điểm số phân loại zero-shot hơn 88% trên ModelNet, tương đương với hiệu suất của một số phương pháp giám sát hiện đại.

Hơn nữa, khung khổ Uni3D cũng cung cấp độ chính xác và hiệu suất hàng đầu khi thực hiện các nhiệm vụ 3D đại diện khác như phân đoạn phần, và hiểu biết thế giới mở. Khung khổ Uni3D nhằm mục đích bắc cầu khoảng cách giữa tầm nhìn 2D và 3D bằng cách mở rộng các mô hình nền tảng 3D với một phương pháp đào tạo trước thống nhất và đơn giản để học biểu diễn 3D mạnh mẽ hơn trên nhiều nhiệm vụ, điều này cuối cùng có thể giúp hội tụ 2D và 3D trên nhiều phương thức.

Uni3D: Công việc Liên quan

Khung khổ Uni3D lấy cảm hứng và học hỏi từ các phát triển được thực hiện bởi các mô hình học biểu diễn 3D và mô hình nền tảng trước đó, đặc biệt là dưới các phương thức khác nhau.

Học biểu diễn 3D

Phương pháp học biểu diễn 3D sử dụng điểm đám mây cho sự hiểu biết 3D của đối tượng, và lĩnh vực này đã được các nhà phát triển khám phá rộng rãi trong quá khứ gần đây, và đã quan sát thấy rằng những điểm đám mây này có thể được đào tạo trước dưới sự giám sát tự giám sát bằng cách sử dụng các nhiệm vụ pretext 3D cụ thể, bao gồm cả mô hình hóa điểm đám mây, tự tái tạo, và học tương phản.

Điều đáng chú ý là những phương pháp này hoạt động với dữ liệu hạn chế, và chúng thường không điều tra các biểu diễn đa phương thức đến 3D từ 2D hoặc NLP. Tuy nhiên, thành công gần đây của khung khổ CLIP, trả về hiệu quả cao trong việc học các khái niệm trực quan từ văn bản thô bằng cách sử dụng phương pháp học tương phản, và sau đó tìm cách học biểu diễn 3D bằng cách căn chỉnh các tính năng hình ảnh, văn bản và điểm đám mây bằng cách sử dụng phương pháp học tương phản tương tự.

Mô hình Nền tảng

Các nhà phát triển đã làm việc chăm chỉ để thiết kế các mô hình nền tảng để mở rộng và thống nhất các biểu diễn đa phương thức. Ví dụ, trong lĩnh vực NLP, các nhà phát triển đã làm việc trên các khung khổ có thể mở rộng các mô hình ngôn ngữ được đào tạo trước, và điều này đang cách mạng hóa ngành NLP. Hơn nữa, các tiến bộ cũng có thể được quan sát trong lĩnh vực tầm nhìn 2D vì các nhà phát triển đang làm việc trên các khung khổ sử dụng kỹ thuật mở rộng dữ liệu và mô hình để giúp tiến bộ từ ngôn ngữ sang mô hình 2D, mặc dù các khung khổ như vậy khó được nhân rộng cho các mô hình 3D do sự hạn chế của dữ liệu 3D và các thách thức khi thống nhất và mở rộng các khung khổ 3D.

Bằng cách học hỏi từ hai lĩnh vực công việc trên, các nhà phát triển đã tạo ra khung khổ Uni3D, mô hình nền tảng 3D đầu tiên với hơn một tỷ tham số, sử dụng kiến trúc Bộ chuyển đổi tầm nhìn thống nhất cho phép các nhà phát triển mở rộng mô hình Uni3D bằng cách sử dụng các chiến lược 3D hoặc NLP thống nhất để mở rộng mô hình. Các nhà phát triển hy vọng rằng phương pháp này sẽ cho phép khung khổ Uni3D bắc cầu khoảng cách giữa tầm nhìn 2D và 3D, cũng như tạo điều kiện cho sự hội tụ đa phương thức.

Uni3D: Phương pháp và Kiến trúc

Hình ảnh trên thể hiện tổng quan chung của khung khổ Uni3D, một khung khổ đào tạo trước 3D có thể mở rộng và thống nhất cho việc học biểu diễn 3D lớn. Các nhà phát triển sử dụng hơn 70 triệu văn bản và 10 triệu hình ảnh ghép nối với hơn một triệu hình dạng 3D để mở rộng khung khổ Uni3D lên hơn một tỷ tham số. Khung khổ Uni3D sử dụng một ViT 2D hoặc Bộ chuyển đổi tầm nhìn như một bộ mã hóa 3D, sau đó được đào tạo từ đầu đến cuối để căn chỉnh các tính năng hình ảnh-văn bản với các tính năng điểm đám mây 3D, cho phép khung khổ Uni3D cung cấp hiệu quả và độ chính xác mong muốn trên nhiều chuẩn mực. Hãy cùng xem xét chi tiết cách thức hoạt động của khung khổ Uni3D.

Mở rộng Khung khổ Uni3D

Các nghiên cứu trước đây về học biểu diễn điểm đám mây đã tập trung chủ yếu vào việc thiết kế các kiến trúc mô hình cụ thể cung cấp hiệu suất tốt hơn trên nhiều ứng dụng, và hoạt động trên một lượng dữ liệu hạn chế do các tập dữ liệu nhỏ. Tuy nhiên, các nghiên cứu gần đây đã cố gắng khám phá khả năng sử dụng đào tạo trước có thể mở rộng trong 3D, nhưng không có kết quả đáng kể do sự hạn chế của dữ liệu 3D. Để giải quyết vấn đề khả năng mở rộng của các khung khổ 3D, khung khổ Uni3D tận dụng sức mạnh của một cấu trúc bộ chuyển đổi vanilla gần giống với Bộ chuyển đổi tầm nhìn, và có thể giải quyết các vấn đề mở rộng bằng cách sử dụng các chiến lược mở rộng 2D hoặc NLP thống nhất để mở rộng kích thước mô hình.

Các nghiên cứu trước đây về học biểu diễn điểm đám mây đã tập trung chủ yếu vào việc thiết kế các kiến trúc mô hình cụ thể cung cấp hiệu suất tốt hơn trên nhiều ứng dụng, và hoạt động trên một lượng dữ liệu hạn chế do các tập dữ liệu nhỏ. Tuy nhiên, các nghiên cứu gần đây đã cố gắng khám phá khả năng sử dụng đào tạo trước có thể mở rộng trong 3D, nhưng không có kết quả đáng kể do sự hạn chế của dữ liệu 3D. Để giải quyết vấn đề khả năng mở rộng của các khung khổ 3D, khung khổ Uni3D tận dụng sức mạnh của một cấu trúc bộ chuyển đổi vanilla gần giống với Bộ chuyển đổi tầm nhìn, và có thể giải quyết các vấn đề mở rộng bằng cách sử dụng các chiến lược mở rộng 2D hoặc NLP thống nhất để mở rộng kích thước mô hình.

Khởi tạo Uni3D

Một thách thức lớn khác mà các công việc trước đây gặp phải khi mở rộng biểu diễn 3D, đó là khó khăn trong việc hội tụ và quá trình đào tạo do kích thước lớn của mô hình. Một cách tiếp cận hiệu quả để vượt qua chướng ngại vật này là đào tạo trước các xương sống 3D riêng lẻ với các nhiệm vụ pretext 3D cụ thể, và khởi tạo các tham số đã được đào tạo trước. Tuy nhiên, cách tiếp cận này đi kèm với chi phí đào tạo cao, và cũng khó khăn khi thiết lập một khởi tạo mạnh mẽ cho việc học đa phương thức do sự hạn chế của dữ liệu 3D có sẵn cho mục đích đào tạo.

Khung khổ Uni3D tận dụng một bộ chuyển đổi vanilla, cấu trúc của nó gần giống với ViT. Với cách tiếp cận này, khung khổ Uni3D có thể tự nhiên áp dụng các mô hình lớn được đào tạo trước với các phương thức khác để khởi tạo khung khổ Uni3D.

Căn chỉnh Đa phương thức

Khung khổ Uni3D cố gắng học căn chỉnh đa phương thức trên hình ảnh, ngôn ngữ và điểm đám mây bằng cách sử dụng các mô hình tương tự như OpenShape và ULIP. Hơn nữa, để đảm bảo một so sánh công bằng với các phương pháp khác, khung khổ Uni3D sử dụng tập dữ liệu 3D được ghép từ OpenShape để đào tạo. Tập dữ liệu này bao gồm 4 tập dữ liệu 3D:

1. Objaverse.
2. ShapeNet.
3. 3D-FUTURE.
4. ABO.

Thử nghiệm và Kết quả

Khung khổ Uni3D được thử nghiệm trên nhiều thiết lập khác nhau, bao gồm cả hiệu suất của nó trong các nhiệm vụ phân loại zero-shot và few-shot, kết quả xung quanh việc hiểu biết thế giới mở, và nhiều hơn nữa. Hãy cùng xem xét chi tiết các kết quả này.

Phân loại Hình dạng Zero-Shot

Để đánh giá hiệu suất của khung khổ Uni3D trên các nhiệm vụ phân loại hình dạng zero-shot, các nhà phát triển thực hiện các thí nghiệm trên ba chuẩn mực, bao gồm ModelNet, ScanObjNN và Objaverse-LVIS. ModelNet và ScanObjNN là các tập dữ liệu được sử dụng rộng rãi cho các nhiệm vụ phân loại, và chúng bao gồm 15 và 40 loại đối tượng, trong khi chuẩn mực Objaverse-LVIS là một tập dữ liệu được làm sạch và chú thích, bao gồm hơn 40.000 đối tượng trên 1.100+ loại. So sánh giữa các khung khổ được thể hiện trong hình dưới đây, và như có thể thấy, khung khổ Uni3D vượt trội so với các khung khổ hiện đại trước đây trên nhiều thiết lập.

Thăm dò tuyến tính Few-Shot

Trong AI, thăm dò tuyến tính là một phương pháp phổ biến được sử dụng để đánh giá các biểu diễn mà một khung khổ hoặc mô hình học được. Để đánh giá khả năng thăm dò tuyến tính của Uni3D, các nhà phát triển đóng băng các tham số của khung khổ Uni3D bằng cách sử dụng các thiết lập chung như OpenShape. Sau đó, các nhà phát triển đào tạo một phân loại tuyến tính cho Uni3D bằng cách sử dụng các nhãn lớp few-shot. Hình dưới đây thể hiện khả năng thăm dò tuyến tính của các khung khổ khác nhau trên tập dữ liệu Objaverse-LVIS, và thể hiện hiệu suất trung bình của mô hình trên 10 hạt giống ngẫu nhiên. Như có thể thấy, khung khổ Uni3D vượt trội so với các phương pháp hiện có dưới nhiều thiết lập few-shot.

Hiểu biết Thế giới Mở

Để đánh giá khả năng của khung khổ Uni3D trong việc hiểu biết các hình dạng và đối tượng trong thế giới thực, các nhà phát triển sử dụng các tập dữ liệu ScanNet và CLIP để khám phá hiệu suất của Uni3D. Điều đáng chú ý là sự phân đoạn tức thời của mặt đất có sẵn, và mục tiêu chính là nhận ra loại của mỗi cảnh trong một thiết lập zero-shot. Kết quả được thể hiện trong hình dưới đây. Như có thể thấy, khung khổ Uni3D cung cấp kết quả xuất sắc khi thực hiện việc hiểu biết thế giới thực và nhận dạng. Khung khổ Uni3D vượt trội so với các khung khổ hiện có với một khoảng cách đáng kể, mặc dù không bao giờ được đào tạo trên các tập dữ liệu thế giới thực.

Tìm kiếm Đa phương thức

Các biểu diễn đa phương thức được học bởi khung khổ Uni3D có thể cho phép khung khổ này tìm kiếm các hình dạng 3D một cách tự nhiên từ văn bản hoặc hình ảnh. Để tìm kiếm các hình dạng 3D, mô hình tính toán sự tương đồng cosine giữa các biểu diễn của hình dạng 3D và các biểu diễn của một câu lệnh văn bản hoặc hình ảnh. Khung khổ sau đó sử dụng thuật toán KNN hoặc K Nearest Neighbour để tạo ra các hình dạng 3D tương tự nhất với câu lệnh, và kết quả được thể hiện trong hình dưới đây. Như có thể thấy, khung khổ Uni3D thành công trong việc sử dụng hình ảnh thế giới thực để tìm kiếm các hình dạng 3D. Hơn nữa, điều đáng chú ý là các hình ảnh đào tạo chỉ được sử dụng cho mục đích kết xuất, và khoảng cách giữa hình ảnh thế giới thực và hình ảnh đào tạo là đáng kể. Ngoài ra, mô hình cũng lấy hai hình ảnh đầu vào và tìm kiếm các hình dạng tương tự với cả hai hình ảnh đầu vào bằng cách sử dụng sự tương đồng cosine giữa biểu diễn trung bình của cả hai hình ảnh và các hình dạng 3D được nhúng.

Trong cột đầu tiên, khung khổ sử dụng hai hình ảnh câu lệnh để trả về các hình dạng 3D tương tự nhất với câu lệnh. Trong cột thứ hai, khung khổ sử dụng hai hình ảnh đầu vào để tìm kiếm các hình dạng 3D tương tự với cả hai hình ảnh đầu vào. Cuối cùng, trong cột cuối cùng, mô hình sử dụng câu lệnh văn bản và trả về các hình dạng 3D tương tự nhất với câu lệnh văn bản.

Suy nghĩ Cuối cùng

Trong bài viết này, chúng ta đã thảo luận về Uni3D, một khung khổ đào tạo trước 3D có thể mở rộng và thống nhất được phát triển với mục tiêu học biểu diễn 3D lớn, thử nghiệm giới hạn của nó ở quy mô hơn một tỷ tham số, hơn 10 triệu hình ảnh ghép nối với hơn 70 triệu văn bản, và hơn một triệu hình dạng 3D. Các nhà phát triển của khung khổ đã bao gồm một bộ chuyển đổi vanilla với cấu trúc tương đương với ViTs, cho phép họ mở rộng khung khổ Uni3D bằng cách sử dụng các chiến lược 2D hoặc NLP thống nhất. Hơn nữa, khung khổ Uni3D có thể tận dụng một loạt các khung khổ 2D được đào tạo trước và các chiến lược 2D để mở rộng sang thế giới 3D. Các kết quả thử nghiệm đã chứng minh tiềm năng lớn của khung khổ Uni3D, vì khung khổ này cung cấp kết quả chính xác và hiệu quả trên nhiều chuẩn mực, và vượt trội so với các khung khổ hiện đại trước đây.