Keberhasilan luar biasa dari pelatihan skala besar diikuti dengan penyesuaian tugas khusus untuk pemodelan bahasa telah menetapkan pendekatan ini sebagai praktik standar. Serupa dengan itu, metode penglihatan komputer secara bertahap mengadopsi skala data ekstensif untuk pelatihan. Munculnya dataset besar, seperti LAION5B, Instagram-3.5B, JFT-300M, LVD142M, Visual Genome, dan YFCC100M, telah memungkinkan eksplorasi korpus data yang jauh melampaui cakupan benchmark tradisional. Salah satu pekerjaan yang menonjol dalam domain ini termasuk DINOv2, MAWS, dan AIM. DINOv2 mencapai kinerja terbaik dalam menghasilkan fitur self-supervised dengan menskalakan metode iBot kontrastif pada dataset LDV-142M. MAWS mempelajari penskalaan masked-autoencoders (MAE) pada miliaran gambar. AIM mengeksplorasi skalabilitas pelatihan visual autoregresif serupa dengan BERT untuk transformer penglihatan. Berbeda dengan metode ini, yang sebagian besar berfokus pada pelatihan gambar umum atau klasifikasi gambar zero-shot, Sapiens mengambil pendekatan yang secara khusus berfokus pada manusia: model Sapiens memanfaatkan koleksi besar gambar manusia untuk pelatihan, kemudian penyesuaian untuk berbagai tugas yang terkait dengan manusia. Pengejaran digitalisasi manusia 3D skala besar masih menjadi tujuan penting dalam penglihatan komputer.

Kemajuan signifikan telah dibuat dalam lingkungan yang terkendali atau studio, namun tantangan masih ada dalam memperluas metode ini ke lingkungan yang tidak terkendali. Untuk mengatasi tantangan ini, mengembangkan model yang dapat melakukan beberapa tugas dasar, seperti estimasi titik kunci, segmentasi bagian tubuh, estimasi kedalaman, dan prediksi normal permukaan dari gambar dalam pengaturan alami, sangat penting. Dalam pekerjaan ini, Sapiens bertujuan untuk mengembangkan model untuk tugas penglihatan manusia esensial ini yang umum untuk pengaturan di alam liar. Saat ini, model bahasa yang dapat diakses secara publik terbesar berisi sekitar 100M parameter, sedangkan model bahasa yang lebih umum digunakan berisi sekitar 7M parameter. Berbeda dengan itu, Transformer Penglihatan (ViT), meskipun memiliki arsitektur yang serupa, belum berhasil diskalakan hingga tingkat ini. Meskipun ada upaya terkenal dalam arah ini, termasuk pengembangan ViT-4B yang padat yang dilatih pada teks dan gambar, dan formulasi teknik untuk pelatihan stabil ViT-22B, backbone penglihatan yang umum digunakan masih berkisar antara 300M hingga 600M parameter dan sebagian besar dilatih pada resolusi gambar sekitar 224 piksel. Serupa dengan itu, model generasi gambar berbasis transformer yang ada, seperti DiT, menggunakan kurang dari 700M parameter dan beroperasi pada ruang laten yang sangat terkompresi. Untuk mengatasi kesenjangan ini, Sapiens memperkenalkan koleksi model ViT besar dengan resolusi tinggi yang dilatih secara asli pada resolusi gambar 1024 piksel pada jutaan gambar manusia.

Sapiens memperkenalkan keluarga model untuk empat tugas penglihatan manusia yang mendasar: estimasi pose 2D, segmentasi bagian tubuh, estimasi kedalaman, dan prediksi normal permukaan. Model Sapiens secara asli mendukung inferensi resolusi tinggi 1K dan sangat mudah disesuaikan untuk tugas individu dengan hanya menyesuaikan model yang telah dilatih sebelumnya pada lebih dari 300 juta gambar manusia di alam liar. Sapiens mengamati bahwa, dengan anggaran komputasi yang sama, pelatihan self-supervised pada dataset gambar manusia yang dikurasi secara signifikan meningkatkan kinerja untuk berbagai tugas yang terkait dengan manusia. Model yang dihasilkan menunjukkan generalisasi yang luar biasa ke data di alam liar, bahkan ketika data yang dilabeli langka atau sepenuhnya sintetis. Desain model yang sederhana juga membawa skalabilitas – kinerja model di seluruh tugas meningkat seiring dengan peningkatan jumlah parameter dari 0,3 hingga 2 miliar. Sapiens secara konsisten melampaui baseline yang ada di berbagai benchmark yang terkait dengan manusia, mencapai perbaikan signifikan atas hasil terbaik sebelumnya: 7,6 mAP pada Humans-5K (pose), 17,1 mIoU pada Humans-2K (part-seg), 22,4% relative RMSE pada Hi4D (kedalaman), dan 53,5% relative kesalahan sudut pada THuman2 (normal).

Sapiens : Pemecahan Dalam Model Penglihatan Manusia

Tahun-tahun terakhir telah menyaksikan langkah luar biasa menuju generasi manusia fotorealistik dalam 2D dan 3D. Keberhasilan metode ini sangat berkat estimasi yang kuat dari berbagai aset seperti titik kunci 2D, segmentasi bagian tubuh yang halus, kedalaman, dan normal permukaan. Namun, estimasi yang kuat dan akurat dari aset-aset ini masih menjadi area penelitian yang aktif, dan sistem yang rumit untuk meningkatkan kinerja untuk tugas individu sering menghambat adopsi yang lebih luas. Selain itu, mendapatkan anotasi ground-truth yang akurat di alam liar sangat sulit untuk diskalakan. Tujuan Sapiens adalah untuk menyediakan kerangka kerja dan model yang seragam untuk menginfer aset-aset ini di alam liar, membuka akses ke berbagai aplikasi yang terkait dengan manusia untuk semua orang.

Sapiens berpendapat bahwa model manusia-sentris seperti ini harus memenuhi tiga kriteria: generalisasi, aplikasi yang luas, dan fidelitas tinggi. Generalisasi memastikan ketahanan terhadap kondisi yang tidak terlihat, memungkinkan model untuk berkinerja konsisten di berbagai lingkungan. Aplikasi yang luas menunjukkan kemampuan model untuk digunakan dalam berbagai tugas dengan modifikasi minimal. Fidelitas tinggi menunjukkan kemampuan model untuk menghasilkan output yang presisi dan resolusi tinggi, penting untuk tugas generasi manusia yang setia. Makalah ini merincikan pengembangan model yang memenuhi atribut-atribut ini, yang secara kolektif disebut Sapiens.

Mengikuti wawasan ini, Sapiens menggunakan dataset besar dan arsitektur model yang dapat diskalakan, kunci untuk generalisasi. Untuk aplikasi yang lebih luas, Sapiens mengadopsi pendekatan pelatihan sebelum penyesuaian, memungkinkan adaptasi pasca-pelatihan untuk tugas spesifik dengan penyesuaian minimal. Pendekatan ini menimbulkan pertanyaan kritis: jenis data apa yang paling efektif untuk pelatihan? Dengan keterbatasan komputasi, apakah penekanan harus diletakkan pada mengumpulkan sebanyak mungkin gambar manusia, atau lebih baik untuk melatih pada dataset yang kurang dikurasi untuk lebih mencerminkan variabilitas dunia nyata? Metode yang ada sering mengabaikan distribusi data pelatihan dalam konteks tugas hilir. Untuk mempelajari pengaruh distribusi data pelatihan pada tugas khusus manusia, Sapiens mengumpulkan dataset Humans-300M, yang menampilkan 300 juta gambar manusia yang beragam. Gambar-gambar yang tidak berlabel ini digunakan untuk melatih keluarga transformer penglihatan dari awal, dengan jumlah parameter yang berkisar dari 300M hingga 2M.

Di antara berbagai metode self-supervisi untuk mempelajari fitur visual umum dari dataset besar, Sapiens memilih pendekatan masked-autoencoder (MAE) karena kesederhanaan dan efisiensinya dalam pelatihan. MAE, memiliki model inferensi satu-langsung dibandingkan dengan strategi kontrastif atau multi-inferensi, memungkinkan pemrosesan volume gambar yang lebih besar dengan sumber daya komputasi yang sama. Untuk fidelitas yang lebih tinggi, berbeda dengan metode sebelumnya, Sapiens meningkatkan resolusi input asli pelatihannya menjadi 1024 piksel, menghasilkan peningkatan sekitar 4× dalam FLOPs dibandingkan dengan backbone penglihatan terbesar yang ada. Setiap model dilatih pada 1,2 triliun token. Untuk penyesuaian pada tugas yang terkait dengan manusia, Sapiens menggunakan arsitektur encoder-decoder yang konsisten. Encoder diinisialisasi dengan bobot dari pelatihan, sedangkan decoder, sebuah kepala ringan dan spesifik tugas, diinisialisasi secara acak. Kedua komponen kemudian disesuaikan secara berakhir. Sapiens fokus pada empat tugas kunci: estimasi pose 2D, segmentasi bagian tubuh, kedalaman, dan estimasi normal, seperti yang ditunjukkan pada gambar berikut.

Konsisten dengan studi sebelumnya, Sapiens menegaskan dampak kritis kualitas label pada kinerja model di alam liar. Benchmark publik sering mengandung label yang berisik, memberikan sinyal supervisi yang tidak konsisten selama penyesuaian model. Pada saat yang sama, penting untuk menggunakan anotasi yang presisi dan halus untuk sejalan dengan tujuan utama Sapiens dari digitalisasi manusia 3D. Untuk ini, Sapiens mengusulkan himpunan titik kunci 2D tubuh utuh yang lebih padat untuk estimasi pose dan kosakata kelas yang terperinci untuk segmentasi bagian tubuh, melampaui cakupan dataset sebelumnya. Secara khusus, Sapiens memperkenalkan koleksi komprehensif 308 titik kunci yang mencakup tubuh, tangan, kaki, permukaan, dan wajah. Selain itu, Sapiens memperluas kosakata kelas segmentasi menjadi 28 kelas, mencakup bagian tubuh seperti rambut, lidah, gigi, bibir atas/bawah, dan torso. Untuk memastikan kualitas dan konsistensi anotasi serta tingkat otomatisasi yang tinggi, Sapiens menggunakan setup pengambilan multi-view untuk mengumpulkan anotasi pose dan segmentasi. Sapiens juga menggunakan data sintetis yang terkait dengan manusia untuk estimasi kedalaman dan normal, memanfaatkan 600 pemindaian terperinci dari RenderPeople untuk menghasilkan peta kedalaman dan normal permukaan resolusi tinggi. Sapiens menunjukkan bahwa kombinasi pelatihan skala besar dengan anotasi berkualitas tinggi yang terbatas menghasilkan generalisasi yang kuat di alam liar. Secara keseluruhan, metode Sapiens menunjukkan strategi efektif untuk mengembangkan model diskriminatif yang sangat presisi yang dapat berkinerja dalam skenario dunia nyata tanpa kebutuhan untuk mengumpulkan koleksi anotasi yang mahal dan beragam.

Sapiens : Metode dan Arsitektur

Sapiens mengikuti pendekatan masked-autoencoder (MAE) untuk pelatihan. Model dilatih untuk merekonstruksi gambar manusia asli yang diberikan observasi parsial. Seperti semua autoencoder, model Sapiens memiliki encoder yang memetakan gambar yang terlihat ke representasi laten dan decoder yang merekonstruksi gambar asli dari representasi laten ini. Dataset pelatihan terdiri dari gambar tunggal dan multi-manusia, dengan setiap gambar diubah ukurannya menjadi ukuran tetap dengan rasio aspek yang konsisten. Serupa dengan ViT, gambar dibagi menjadi patch non-tumpang tindih dengan ukuran patch yang tetap. Sebagian patch dipilih secara acak dan dimasker, meninggalkan sisanya terlihat. Rasio patch yang dimasker terhadap patch yang terlihat, yang dikenal sebagai rasio pemaskeran, tetap konsisten sepanjang pelatihan.

Model Sapiens menunjukkan generalisasi di berbagai karakteristik gambar, termasuk skala, tanaman, usia dan etnis subjek, dan jumlah subjek. Setiap token patch dalam model ini mewakili 0,02% dari area gambar dibandingkan dengan 0,4% dalam ViT standar, sebuah reduksi 16× – menyediakan alasan antar-token yang halus untuk model. Bahkan dengan rasio masker yang ditingkatkan sebesar 95%, model Sapiens mencapai rekonstruksi yang masuk akal dari anatomi manusia pada sampel yang dipegang. Rekonstruksi model Sapiens yang telah dilatih sebelumnya pada gambar manusia yang tidak terlihat ditunjukkan pada gambar berikut.

Selanjutnya, Sapiens menggunakan dataset besar milik sendiri untuk pelatihan, yang terdiri dari sekitar 1 miliar gambar di alam liar, fokus secara eksklusif pada gambar manusia. Prapengolahan melibatkan membuang gambar dengan tanda air, teks, penggambaran artistik, atau elemen tidak wajar. Sapiens kemudian menggunakan pendeteksi kotak pembatas orang luar untuk menyaring gambar, mempertahankan gambar dengan skor deteksi di atas 0,9 dan dimensi kotak pembatas yang melebihi 300 piksel. Lebih dari 248 juta gambar dalam dataset ini mengandung beberapa subjek.

Estimasi Pose 2D

Kerangka Sapien menyesuaikan encoder dan decoder dalam P di seluruh beberapa kerangka, termasuk K = 17 [67], K = 133 [55] dan kerangka yang sangat terperinci, dengan K = 308, seperti yang ditunjukkan pada gambar berikut.

Dibandingkan dengan format yang ada dengan paling banyak 68 titik kunci wajah, anotasi Sapien terdiri dari 243 titik kunci wajah, termasuk titik kunci perwakilan di sekitar mata, bibir, hidung, dan telinga. Desain ini dirancang untuk menangkap detail nuansa ekspresi wajah di dunia nyata dengan hati-hati. Dengan titik kunci ini, kerangka Sapien mengannotasi 1 juta gambar secara manual pada resolusi 4K dari pengaturan pengambilan indoor. Serupa dengan tugas sebelumnya, kita menetapkan saluran output decoder estimator normal N menjadi 3, sesuai dengan komponen xyz vektor normal pada setiap piksel. Data sintetis yang dihasilkan juga digunakan sebagai pengawasan untuk estimasi normal permukaan.

Sapien : Eksperimen dan Hasil

Sapiens-2B dilatih menggunakan 1024 GPU A100 selama 18 hari dengan PyTorch. Sapiens menggunakan optimizer AdamW untuk semua eksperimen. Jadwal pembelajaran termasuk pemanasan linier singkat, diikuti dengan annealing kosinus untuk pelatihan dan penurunan linier untuk penyesuaian. Semua model dilatih dari awal pada resolusi 1024 × 1024 dengan ukuran patch 16. Untuk penyesuaian, gambar input diubah ukurannya menjadi rasio 4:3, yaitu 1024 × 768. Sapiens menerapkan augmentasi standar seperti pemotongan, penskalaan, flipping, dan distorsi fotometrik. Latar belakang acak dari gambar COCO non-manusia ditambahkan untuk tugas segmentasi, kedalaman, dan prediksi normal. Pentingnya, Sapiens menggunakan tingkat pembelajaran diferensial untuk melestarikan generalisasi, dengan tingkat pembelajaran yang lebih rendah untuk lapisan awal dan tingkat yang lebih tinggi untuk lapisan berikutnya. Penurunan tingkat pembelajaran lapisan ditetapkan menjadi 0,85 dengan penurunan berat 0,1 untuk encoder.

Spesifikasi desain Sapiens dirinci dalam tabel berikut. Mengikuti pendekatan tertentu, Sapiens memprioritaskan penskalaan model dengan lebar daripada kedalaman. Secara khusus, model Sapiens-0,3B, meskipun arsitektur yang sama dengan ViT-Large tradisional, terdiri dari 20 kali lebih banyak FLOPs karena resolusi yang lebih tinggi.

Sapiens disesuaikan untuk estimasi pose wajah, tubuh, kaki, dan tangan (K = 308) menggunakan anotasi fidelitas tinggi. Untuk pelatihan, Sapiens menggunakan set pelatihan dengan 1M gambar, dan untuk evaluasi, menggunakan set tes, bernama Humans5K, dengan 5K gambar. Evaluasi mengikuti pendekatan top-down, di mana Sapiens menggunakan pendeteksi kotak pembatas luar untuk menghasilkan inferensi pose tunggal manusia. Tabel 3 menunjukkan perbandingan model Sapiens dengan metode yang ada untuk estimasi pose tubuh utuh. Semua metode dievaluasi pada 114 titik kunci umum antara kosakata 308 titik kunci Sapiens dan kosakata 133 titik kunci dari COCO-WholeBody. Sapiens-0,6B melampaui state-of-the-art saat ini, DWPose-l, dengan +2,8 AP. Berbeda dengan DWPose, yang menggunakan kerangka guru-murid yang kompleks dengan distilasi fitur yang dirancang untuk tugas, Sapiens mengadopsi arsitektur encoder-decoder umum dengan pelatihan skala besar yang terkait dengan manusia.

Menariknya, bahkan dengan jumlah parameter yang sama, model Sapiens menunjukkan kinerja yang lebih baik dibandingkan dengan model lain. Sebagai contoh, Sapiens-0,3B melebihi VitPose+-L dengan +5,6 AP, dan Sapiens-0,6B melampaui VitPose+-H dengan +7,9 AP. Di dalam keluarga Sapiens, hasil menunjukkan korelasi langsung antara ukuran model dan kinerja. Sapiens-2B menetapkan state-of-the-art baru dengan 61,1 AP, perbaikan signifikan sebesar +7,6 AP atas hasil sebelumnya. Meskipun disesuaikan dengan anotasi dari studio pengambilan indoor, Sapiens menunjukkan generalisasi yang kuat ke skenario dunia nyata, seperti yang ditunjukkan pada gambar berikut.

Sapiens disesuaikan dan dievaluasi menggunakan kosakata segmentasi 28 kelas. Set pelatihan terdiri dari 100K gambar, sedangkan set tes, Humans-2K, terdiri dari 2K gambar. Sapiens dibandingkan dengan metode segmentasi bagian tubuh yang ada yang disesuaikan pada set pelatihan yang sama, menggunakan checkpoint pratrain yang disarankan oleh setiap metode sebagai inisialisasi. Serupa dengan estimasi pose, Sapiens menunjukkan generalisasi dalam segmentasi, seperti yang ditunjukkan pada tabel berikut.

Menariknya, model terkecil, Sapiens-0,3B, melampaui metode segmentasi state-of-the-art yang ada seperti Mask2Former dan DeepLabV3+ dengan 12,6 mIoU karena resolusi yang lebih tinggi dan pelatihan skala besar yang terkait dengan manusia. Selain itu, meningkatkan ukuran model lebih lanjut meningkatkan kinerja segmentasi. Sapiens-2B mencapai kinerja terbaik, dengan 81,2 mIoU dan 89,4 mAcc pada set tes, seperti yang ditunjukkan pada gambar berikut.

Kesimpulan

Sapiens mewakili langkah signifikan menuju kemajuan model penglihatan manusia ke dalam ranah model dasar. Model Sapiens menunjukkan kemampuan generalisasi yang kuat di berbagai tugas yang terkait dengan manusia. Kinerja state-of-the-art ini dikaitkan dengan: (i) pelatihan skala besar pada dataset yang dikurasi khusus untuk memahami manusia, (ii) backbone transformer penglihatan skala besar dan resolusi tinggi, dan (iii) anotasi berkualitas tinggi pada data studio dan sintetis yang ditingkatkan. Model Sapiens memiliki potensi untuk menjadi blok bangunan kunci untuk berbagai tugas hilir dan menyediakan akses ke backbone penglihatan berkualitas tinggi untuk komunitas yang lebih luas.