Menskala representasi teks dan visual telah menjadi fokus penelitian utama dalam beberapa tahun terakhir. Pengembangan dan penelitian yang dilakukan di masa lalu telah menghasilkan banyak revolusi dalam pembelajaran bahasa dan visi. Namun, meskipun popularitas menskala representasi teks dan visual, menskala representasi untuk adegan dan objek 3D belum dibahas secara memadai.

Hari ini, kita akan membahas Uni3D, sebuah model fondasi 3D yang bertujuan untuk menjelajahi representasi 3D bersatu. Kerangka Uni3D menggunakan kerangka ViT yang diinisialisasi 2D, yang dipratinjau secara end-to-end, untuk menyelaraskan fitur gambar-teks dengan fitur awan titik 3D yang sesuai.

Kerangka Uni3D menggunakan tugas pretext dan arsitektur sederhana untuk memanfaatkan kelimpahan model 2D yang telah dipratinjau dan model yang diselaraskan dengan teks-gambar sebagai inisialisasi dan target, masing-masing. Pendekatan ini melepaskan potensi penuh model 2D dan strategi untuk menskala mereka ke dunia 3D.

Dalam artikel ini, kita akan lebih dalam membahas visi komputer 3D dan kerangka Uni3D, menjelajahi konsep-konsep penting dan arsitektur model. Jadi, mari kita mulai.

Uni3D dan Pembelajaran Representasi 3D: Pengantar

Dalam beberapa tahun terakhir, visi komputer telah muncul sebagai salah satu domain yang paling banyak diinvestasikan dalam industri AI. Setelah kemajuan signifikan dalam kerangka visi komputer 2D, pengembang telah beralih fokus ke visi komputer 3D. Bidang ini, terutama pembelajaran representasi 3D, menggabungkan aspek-aspek grafis komputer, pembelajaran mesin, visi komputer, dan matematika untuk mengautomasi pemrosesan dan pemahaman geometri 3D. Perkembangan cepat sensor 3D seperti LiDAR, serta aplikasi mereka yang luas dalam industri AR/VR, telah menghasilkan pembelajaran representasi 3D yang semakin populer. Aplikasi potensialnya terus berkembang setiap hari.

Meskipun kerangka yang ada telah menunjukkan kemajuan luar biasa dalam arsitektur model 3D, pemodelan tugas-orientasi, dan tujuan pembelajaran, sebagian besar dari mereka menjelajahi arsitektur 3D pada skala yang relatif kecil dengan data terbatas, parameter, dan skenario tugas. Tantangan pembelajaran representasi 3D yang dapat diskalakan, yang kemudian dapat diterapkan pada aplikasi waktu nyata dalam lingkungan yang beragam, masih belum banyak dijelajahi.

Melanjutkan, dalam beberapa tahun terakhir, menskala model bahasa besar yang dipratinjau telah membantu merevolusi domain pemrosesan bahasa alami, dan karya-karya terbaru telah menunjukkan terjemahan dalam kemajuan dari bahasa ke 2D menggunakan data dan penskalaan model, yang membuka jalan bagi pengembang untuk mencoba dan mengulangi kesuksesan ini untuk mempelajari representasi 3D yang dapat diskalakan dan diterapkan pada aplikasi dunia nyata.

Uni3D adalah kerangka prapengaturan 3D yang dapat diskalakan dan bersatu yang dikembangkan dengan tujuan untuk mempelajari representasi 3D besar-besaran yang menguji batasannya pada skala lebih dari satu miliar parameter, lebih dari 10 juta gambar yang dipasangkan dengan lebih dari 70 juta teks, dan lebih dari satu juta bentuk 3D. Gambar di bawah membandingkan akurasi klasifikasi zero-shot terhadap parameter dalam kerangka Uni3D. Kerangka Uni3D berhasil menskala representasi 3D dari 6 juta hingga lebih dari satu miliar.

Kerangka Uni3D terdiri dari ViT 2D atau Vision Transformer sebagai pengkode 3D yang kemudian dipratinjau secara end-to-end untuk menyelaraskan fitur gambar-teks dengan fitur awan titik 3D. Kerangka Uni3D menggunakan tugas pretext dan arsitektur sederhana untuk memanfaatkan kelimpahan model 2D yang telah dipratinjau dan model yang diselaraskan dengan teks-gambar sebagai inisialisasi dan target, masing-masing, sehingga melepaskan potensi penuh model 2D dan strategi untuk menskala mereka ke dunia 3D. Fleksibilitas dan skalabilitas kerangka Uni3D diukur dalam hal

1. Menskala model dari 6M hingga lebih dari satu miliar parameter.
2. Inisialisasi 2D ke teks yang disupervisi dari pembelajaran mandiri visual.
3. Model target teks-gambar yang diskalakan dari 150 juta hingga lebih dari satu miliar parameter.

Di bawah kerangka yang fleksibel dan bersatu yang ditawarkan oleh Uni3D, pengembang mengamati peningkatan kinerja yang konsisten ketika menskala setiap komponen. Pembelajaran representasi 3D besar-besaran juga sangat diuntungkan oleh strategi 2D yang dapat dibagikan dan diskalakan.

Seperti yang dapat dilihat pada gambar di bawah, kerangka Uni3D menampilkan peningkatan kinerja ketika dibandingkan dengan karya sebelumnya dalam pengaturan few-shot dan zero-shot. Perlu diperhatikan bahwa kerangka Uni3D mengembalikan skor akurasi klasifikasi zero-shot lebih dari 88% pada ModelNet, yang setara dengan kinerja beberapa metode pengawasan terbaik.

Selain itu, kerangka Uni3D juga menghasilkan akurasi dan kinerja terbaik ketika melakukan tugas 3D lainnya seperti segmentasi bagian dan pemahaman dunia terbuka. Kerangka Uni3D bertujuan untuk menjembatani kesenjangan antara visi 2D dan 3D dengan menskala model fondasi 3D dengan pendekatan prapengaturan yang bersatu dan sederhana untuk mempelajari representasi 3D yang lebih kuat di berbagai tugas, yang pada akhirnya dapat membantu dalam konvergensi 2D dan 3D di berbagai modality.

Uni3D: Karya Terkait

Kerangka Uni3D mengambil inspirasi dan belajar dari pengembangan yang dilakukan oleh karya sebelumnya dalam pembelajaran representasi 3D dan model fondasi, terutama di bawah modality yang berbeda.

Pembelajaran Representasi 3D

Metode pembelajaran representasi 3D menggunakan awan titik untuk memahami objek 3D, dan bidang ini telah banyak dijelajahi oleh pengembang dalam beberapa tahun terakhir. Perlu diperhatikan bahwa awan titik ini dapat dipratinjau secara mandiri menggunakan tugas pretext 3D khusus, termasuk mask point modeling, self-reconstruction, dan pembelajaran kontrastif.

Perlu diperhatikan bahwa metode ini bekerja dengan data terbatas dan sering tidak menyelidiki representasi multimodal ke 3D dari 2D atau NLP. Namun, kesuksesan terbaru kerangka CLIP yang mengembalikan efisiensi tinggi dalam mempelajari konsep visual dari teks mentah menggunakan metode pembelajaran kontrastif, dan kemudian berusaha untuk mempelajari representasi 3D dengan menyelaraskan fitur gambar, teks, dan awan titik menggunakan metode pembelajaran kontrastif yang sama.

Model Fondasi

Pengembang telah bekerja keras untuk merancang model fondasi untuk menskala dan mempersatukan representasi multimodal. Misalnya, di domain NLP, pengembang telah bekerja pada kerangka yang dapat menskala model bahasa yang dipratinjau, dan ini perlahan-lahan merevolusi industri NLP. Selain itu, kemajuan dapat dilihat di domain visi 2D karena pengembang bekerja pada kerangka yang menggunakan teknik penskalaan data dan model untuk membantu kemajuan bahasa ke model 2D, meskipun kerangka seperti itu sulit untuk direplikasi untuk model 3D karena ketersediaan data 3D yang terbatas dan tantangan yang dihadapi ketika mempersatukan dan menskala kerangka 3D.

Dengan belajar dari dua domain kerja di atas, pengembang telah menciptakan kerangka Uni3D, model fondasi 3D pertama dengan lebih dari satu miliar parameter yang menggunakan arsitektur Vision Transformer yang bersatu yang memungkinkan pengembang untuk menskala kerangka Uni3D menggunakan strategi 3D atau NLP yang bersatu untuk menskala model. Pengembang berharap bahwa metode ini akan memungkinkan kerangka Uni3D untuk menjembatani kesenjangan yang memisahkan visi 2D dan 3D serta memfasilitasi konvergensi multimodal.

Uni3D: Metode dan Arsitektur

Gambar di atas menunjukkan gambaran umum kerangka Uni3D, kerangka prapengaturan 3D yang dapat diskalakan dan bersatu untuk pembelajaran representasi 3D besar-besaran. Pengembang menggunakan lebih dari 70 juta teks dan 10 juta gambar yang dipasangkan dengan lebih dari satu juta bentuk 3D untuk menskala kerangka Uni3D hingga lebih dari satu miliar parameter. Kerangka Uni3D menggunakan ViT 2D atau Vision Transformer sebagai pengkode 3D yang kemudian dipratinjau secara end-to-end untuk menyelaraskan data gambar-teks dengan fitur awan titik 3D, memungkinkan kerangka Uni3D untuk menghasilkan efisiensi dan akurasi yang diinginkan di berbagai benchmark. Mari kita lihat lebih detail bagaimana kerangka Uni3D bekerja.

Menskala Kerangka Uni3D

Studi sebelumnya tentang pembelajaran representasi awan titik telah secara tradisional fokus pada merancang arsitektur model khusus yang menghasilkan kinerja yang lebih baik di berbagai aplikasi, dan bekerja dengan jumlah data yang terbatas karena dataset kecil. Namun, studi terbaru telah mencoba menjelajahi kemungkinan menggunakan prapengaturan yang dapat diskalakan dalam 3D, tetapi tidak ada hasil yang signifikan karena ketersediaan data 3D yang terbatas. Untuk memecahkan masalah skalabilitas kerangka 3D, kerangka Uni3D menggunakan struktur transformer vanilla yang hampir mirip dengan Vision Transformer, dan dapat memecahkan masalah skalabilitas dengan menggunakan strategi penskalaan 2D atau NLP yang bersatu untuk menskala ukuran model.

Studi sebelumnya tentang pembelajaran representasi awan titik telah secara tradisional fokus pada merancang arsitektur model khusus yang menghasilkan kinerja yang lebih baik di berbagai aplikasi, dan bekerja dengan jumlah data yang terbatas karena dataset kecil. Namun, studi terbaru telah mencoba menjelajahi kemungkinan menggunakan prapengaturan yang dapat diskalakan dalam 3D, tetapi tidak ada hasil yang signifikan karena ketersediaan data 3D yang terbatas. Untuk memecahkan masalah skalabilitas kerangka 3D, kerangka Uni3D menggunakan struktur transformer vanilla yang hampir mirip dengan Vision Transformer, dan dapat memecahkan masalah skalabilitas dengan menggunakan strategi penskalaan 2D atau NLP yang bersatu untuk menskala ukuran model.

Menginisialisasi Uni3D

Tantangan lain yang dihadapi oleh karya sebelumnya yang terlibat dalam menskala representasi 3D adalah kesulitan dalam konvergensi dan overfitting yang disebabkan oleh ukuran model yang besar. Pendekatan yang efektif untuk mengatasi hambatan ini adalah mempratinjau backbone 3D individu dengan tugas pretext 3D khusus, dan menginisialisasi parameter yang telah dipratinjau. Namun, pendekatan ini disertai dengan biaya pelatihan yang tinggi, dan juga sulit untuk membangun inisialisasi yang kuat untuk pembelajaran cross-modal karena ketersediaan data 3D yang terbatas untuk keperluan pelatihan.

Kerangka Uni3D menggunakan transformer vanilla, struktur yang sangat mirip dengan ViT. Dengan pendekatan ini, kerangka Uni3D dapat secara alami mengadopsi model besar yang telah dipratinjau dengan modalitas lain untuk menginisialisasi kerangka Uni3D.

Penyelarasan Multimodal

Kerangka Uni3D berusaha untuk mempelajari penyelarasan multimodal di seluruh gambar, bahasa, dan awan titik dengan menggunakan paradigma yang serupa dengan OpenShape dan ULIP. Selain itu, untuk memastikan perbandingan yang adil dengan metode lain, kerangka Uni3D menggunakan dataset 3D yang disatukan oleh OpenShape untuk keperluan pelatihan. Dataset yang disatukan oleh OpenShape ini terdiri dari 4 dataset 3D:

1. Objaverse.
2. ShapeNet.
3. 3D-FUTURE.
4. ABO.

Eksperimen dan Hasil

Kerangka Uni3D diuji di berbagai pengaturan dan berbagai tugas klasifikasi, termasuk kinerjanya dalam pengaturan zero-shot dan few-shot, hasil sekitar pemahaman dunia terbuka, dan lain-lain. Mari kita lihat lebih detail hasil-hasil ini.

Klasifikasi Bentuk Zero-Shot

Untuk mengevaluasi kinerja kerangka Uni3D dalam tugas klasifikasi bentuk zero-shot, pengembang melakukan eksperimen di tiga benchmark, termasuk ModelNet, ScanObjNN, dan benchmark Objaverse-LVIS. ModelNet dan ScanObjNN adalah dataset yang umum digunakan untuk tugas klasifikasi, dan terdiri dari 15 dan 40 kategori objek, masing-masing, sedangkan benchmark Objaverse-LVIS adalah dataset yang dibersihkan dan dianotasi yang terdiri dari lebih dari 40.000 objek di lebih dari 1.100 kategori. Perbandingan antara kerangka ini ditunjukkan pada gambar di bawah, dan seperti yang dapat dilihat, kerangka Uni3D secara signifikan outperforms kerangka sebelumnya dalam berbagai pengaturan.

Penyelidikan Linear Few-Shot

Dalam AI, penyelidikan linear adalah metode umum yang digunakan untuk mengevaluasi representasi yang dipelajari oleh kerangka atau model. Untuk mengevaluasi kemampuan penyelidikan linear Uni3D, pengembang membekukan parameter kerangka Uni3D menggunakan pengaturan yang umum seperti OpenShape. Setelah itu, pengembang melatih klasifikasi linear untuk Uni3D menggunakan label kelas few-shot. Gambar di bawah menunjukkan kemampuan penyelidikan linear dari berbagai kerangka pada dataset Objaverse-LVIS, dan menunjukkan kinerja rata-rata model di seluruh 10 biji acak. Seperti yang dapat dilihat, kerangka Uni3D outperforms metode yang ada secara signifikan dalam berbagai pengaturan few-shot.

Pemahaman Dunia Terbuka

Untuk mengevaluasi kemampuan kerangka Uni3D untuk memahami bentuk dan objek dunia nyata dalam waktu nyata, pengembang menggunakan dataset ScanNet dan CLIP untuk menjelajahi kinerja Uni3D. Perlu diperhatikan bahwa segmentasi instan ground truth tersedia, dan tujuan utama adalah untuk mengenali kategori setiap instan di sebuah adegan dalam pengaturan zero-shot. Hasilnya ditunjukkan pada gambar di bawah. Seperti yang dapat dilihat, kerangka Uni3D menghasilkan hasil yang luar biasa ketika melakukan pemahaman dunia nyata dan pengenalan. Kerangka Uni3D outperforms kerangka yang ada dengan margin yang signifikan, meskipun tidak pernah dilatih pada dataset dunia nyata.

Pengambilan Silang-Modal

Representasi multimodal yang dipelajari oleh kerangka Uni3D dapat memungkinkan kerangka untuk mengambil bentuk 3D secara alami dari teks atau gambar. Untuk mengambil bentuk 3D, model menghitung kesamaan kosinus antara embedding bentuk 3D dan embedding prompt teks atau gambar query. Kerangka kemudian menggunakan algoritma KNN atau K Nearest Neighbour untuk menghasilkan bentuk 3D yang paling mirip dengan query, dan hasilnya ditunjukkan pada gambar di bawah. Seperti yang dapat dilihat, kerangka Uni3D berhasil menggunakan gambar dunia nyata untuk mengambil bentuk 3D. Selain itu, perlu diperhatikan bahwa gambar pelatihan hanya untuk keperluan rendering, dan kesenjangan antara gambar dunia nyata dan gambar pelatihan sangat besar. Selain itu, model juga mengambil dua gambar input, dan mengambil bentuk yang mirip dengan kedua gambar input dengan menggunakan kesamaan kosinus antara rata-rata embedding kedua gambar dan bentuk 3D yang diembed. Hasilnya menarik karena menunjukkan kemampuan Uni3D untuk mempelajari representasi 3D yang beragam dan memahami sinyal 2D yang beragam.

Pada kolom pertama, kerangka menggunakan dua gambar query untuk mengembalikan bentuk 3D yang paling mirip dengan gambar query. Pada kolom kedua, kerangka menggunakan dua gambar input untuk mengambil bentuk yang mirip dengan kedua gambar input. Akhirnya, pada kolom terakhir, model menggunakan prompt teks query dan mengembalikan bentuk 3D yang paling mirip dengan prompt teks query.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas Uni3D, kerangka prapengaturan 3D yang dapat diskalakan dan bersatu yang dikembangkan dengan tujuan untuk mempelajari representasi 3D besar-besaran yang menguji batasannya pada skala lebih dari satu miliar parameter, lebih dari 10 juta gambar yang dipasangkan dengan lebih dari 70 juta teks, dan lebih dari satu juta bentuk 3D. Pengembang kerangka telah memasukkan transformer vanilla dengan struktur yang sangat mirip dengan ViT yang memungkinkan mereka untuk menskala kerangka Uni3D menggunakan strategi 2D atau NLP yang bersatu. Selain itu, kerangka Uni3D dapat memanfaatkan berbagai kerangka 2D yang telah dipratinjau dan strategi 2D ke dunia 3D. Hasil eksperimen telah menunjukkan potensi besar kerangka Uni3D karena kerangka Uni3D mengembalikan hasil yang akurat dan efisien di berbagai pengaturan, dan outperforms kerangka yang ada.