Menyiarkan Avatar AI Seperti Tahun 1999

Penelitian baru menyajikan cara untuk menyiarkan avatar 3D yang sangat mirip dengan kehidupan dan muncul hampir seketika, serta memperjelas secara real-time, bukan memaksa pengguna menunggu unduhan besar selesai.

Dalam banyak hal, tuntutan sumber daya yang sangat besar dari kecerdasan buatan dan sistem rendering yang dibantu kecerdasan buatan telah mengembalikan kesiapan konsumen sekitar dua puluh tahun ke belakang. Hanya pada tahun 2023, alokasi RAM 64GB di laptop atau PC desktop tampak seperti kelebihan; sekarang, dengan popularitas RAM dan/atau offloading CPU yang tumbuh, 64GB cukup modest untuk kebutuhan AI lokal; dan elemen-elemen PC yang dulunya biasa dan terjangkau ini terus melonjak harga karena perusahaan berjuang untuk memenuhi permintaan layanan AI.

Skala dan keserakahan AI serta proses dan lingkungannya biasanya melampaui perangkat keras tingkat konsumen, dan bahkan menjalankan model lokal yang “ringan” sebagai versi GGUF akan biasanya membebani sistem rata-rata.

Even layanan AI berbasis teks seperti ChatGPT mengalami tekanan yang signifikan baik pada tingkat klien maupun server. Oleh karena itu, ketika AI ditugaskan untuk menyampaikan pengalaman multimedia online secara real-time, kita dapat mengharapkan kompromi yang cukup serius dalam latency dan/atau kualitas – serupa dengan perjuangan awal internet dengan streaming media, dan ikon “buffering” yang sangat dibenci dari RealPlayer dan QuickTime.

Terakhir kali bahwa masalah multimedia dan jaringan menciptakan gesekan dalam pengalaman pengguna, perangkat keras tingkat konsumen masih berevolusi melalui Hukum Moore, menjadi lebih baik secara eksponensial setiap tahun, bahkan ketika sistem operasi, jaringan, dan infrastruktur pendukung lainnya berkembang untuk memenuhi permintaan; dan selama sepuluh tahun terakhir, kemampuan teknologi konsumen telah melampaui tuntutan multimedia (mungkin bahkan sampai pada titik di mana perlu memulai kembali untuk mempertahankan penjualan).

Tetapi kelebihan kemampuan lokal ini mungkin akan segera berakhir, karena perangkat keras lokal menjadi lebih rendah spesifikasi dan lebih mahal, dan karena layanan berbasis AI menuntut sumber daya server-side dan lokal yang lebih tinggi.

Mendapatkan Kepala

Kembali di era sebelum broadband, bahkan sebelum video streaming yang dapat digunakan, pengguna web terbiasa dengan gambar yang perlahan-lahan menjadi fokus, karena JPEG progresif memungkinkan pengguna yang kekurangan bandwidth untuk melihat gambar yang sedang diunduh, terkadang sangat lambat, karena lebih banyak data gambar diunduh secara lokal.

Sekarang, tampaknya kita mungkin akan mengalami pengalaman serupa dengan avatar AI yang dibantu Gaussian Splat:

Klik untuk memutar. Dari proyek ProgressiveAvatars, perbandingan antara avatar Gaussian yang disiarkan. Sumber

Di atas kita melihat dua versi avatar Gaussian Splat – representasi manusia yang diaktifkan sebagian oleh teknik rendering non-AI yang berasal dari awal 1990-an, dan juga oleh metode yang lebih modern, seperti model wajah parametri FLAME, dan pendekatan pelatihan berbasis AI:

Gaussian Splatting menggunakan representasi Gaussian dari warna dan informasi 3D sebagai pengganti piksel atau voxel, dan memetakan tekstur ultra-realistik ini ke mesh CGI tradisional, yang sendiri difasilitasi oleh ‘parametri manusia’, wajah CGI dan/atau tubuh, dalam sistem seperti FLAME dan STAR. Sumber

Di sebelah kiri dalam video di atas kita dapat melihat bahwa implementasi tradisional dari avatar Gaussian Splat terlihat cukup mengerikan ketika kita menunggu data untuk diunduh. Di sebelah kanan, implementasi baru dari Tiongkok, yang disebut ProgressiveAvatars, dapat menyelesaikan masalah ini dengan lebih elegan ketika data diunduh, menampilkan gambar manusia yang tidak menakutkan dari awal.

Penulis menyatakan bahwa metode mereka adalah yang pertama untuk benar-benar ‘menyiarkan’ avatar Gaussian, dan pasti yang pertama untuk melakukannya dengan cara progresif, di mana gambar avatar dapat dibangun secara elegan, dan area yang paling penting – seperti mata dan bibir – dapat diprioritaskan, sehingga avatar dapat menjadi interaktif bahkan ketika hanya sebagian diunduh:

Click to play. Dari situs proyek ProgressiveAvatars, ilustrasi dari pengunduhan yang sadar akan perhatian.

Sebelumnya, pendekatan ‘level of detail’ (LOD) telah digunakan dalam upaya sebelumnya untuk memperkecil ‘GSplat’ avatar, serupa dengan optimasi game, di mana versi yang lebih detail dari seseorang diunduh sesuai dengan apakah mereka menduduki cukup viewport atau perhatian pengguna untuk membuatnya sepadan dengan usaha.

Tentu saja, ini memerlukan redundansi ‘cadangan’ avatar yang cukup besar, dan penulis membingkai pendekatan mereka sebagai sistem yang lebih rasional. Dengan implikasi, metode semacam ini juga memungkinkan perubahan dilakukan pada figur GSplat (yaitu, kustomisasi) tanpa perlu mengirimkan perubahan tersebut melalui rantai ‘kembar’ LOD yang berbeda.

Domain yang Muncul

Jika ini tampak seperti masalah yang tidak signifikan, maka streaming video juga tampak seperti itu di masa lalu, ketika mendapatkan plugin awal untuk bekerja didelegasikan kepada nerd terdekat. Selain itu, potensi untuk representasi berbasis AI yang disiarkan melampaui avatar manusia, memperluas ke pembuatan kota, game, dan versi 3D dari hampir semua domain online – seperti Virtual Try-On, untuk berbelanja pakaian:

Klik untuk memutar. Dari proyek 2024, tampilan kasar dari masa depan ‘try-on’ online. Proyek lain mencoba menambahkan gerakan dan interaktivitas – aspek yang menuntut untuk disiarkan dan dikelola. Sumber

Hanya seperti pendekatan LOD telah digunakan terutama oleh pengembangan game, banyak pertimbangan lain yang dulunya menjadi milik pengembangan game kemungkinan akan memasuki representasi berbasis splat. Misalnya, kebanyakan GSplat awal ini menggambarkan seorang manusia tunggal yang menggemaskan dan berbicara; tetapi banyak situasi akan diperlukan yang menampilkan beberapa manusia, serta fitur lingkungan dan atmosfer – skenario di mana sistem ‘triage’ yang sangat performant akan menentukan di mana data streaming perlu diprioritaskan, untuk menjaga pengguna tetap dalam momen.

Makalah baru ini berjudul ProgressiveAvatars: Progressive Animatable 3D Gaussian Avatars, dan berasal dari tiga peneliti di Universitas Sains dan Teknologi Tiongkok di Hefei.

Metode

Pendekatan ini awalnya menggunakan video kepala seseorang. Untuk setiap bingkai, model wajah parametri FLAME yang standar difit, sehingga bentuk dan ekspresi berubah seiring waktu, sementara struktur mesh dasar tetap tidak berubah. Karena topologi dasar tidak berubah, template FLAME yang stabil dapat digunakan kembali dan diperbarui, bukan dibangun dari awal setiap saat, seperti yang terjadi pada karya sebelumnya:

Video kepala pertama kali difit dengan mesh FLAME yang dilacak, setelah itu 3D Gaussians dilampirkan ke setiap wajah dan tumbuh secara hierarkis di mana gradien ruang layar menunjukkan detail yang hilang. Selama pelatihan, subdivisi adaptif ini membangun representasi multi-level di bawah pengawasan multi-view, dan pada inferensi, skor kepentingan per-wajah menentukan Gaussians mana yang disiarkan terlebih dahulu, memungkinkan avatar muncul dengan cepat dan memperjelas secara progresif ketika level detail yang lebih tinggi ditambahkan.

Di atas struktur dasar ini, detail ditambahkan dalam lapisan; permukaan secara implisit dibagi menjadi hierarki, dan Gaussians tiga dimensi kecil dilampirkan ke wajah pada setiap level detail.

Walaupun lapisan yang lebih kasar awal menangkap bentuk kepala dan gerakan secara keseluruhan, lapisan yang lebih halus menyediakan kerutan, deformasi halus, dan tekstur frekuensi tinggi. Gambar kemudian dirender dari Gaussians ini menggunakan rasterizer Gaussian yang dapat dibedakan dan dilatih melawan footage ground truth multi-view, sehingga avatar belajar untuk mereproduksi penampilan orang yang sebenarnya.

Selama pelatihan, hierarki ini tumbuh secara otomatis: wilayah yang memerlukan lebih banyak detail dibagi lebih lanjut, dipandu oleh sinyal ruang layar, sehingga upaya komputasi terkonsentrasi di mana mata pengguna paling mungkin melihat kesalahan.

Selama inferensi, hierarki ini memungkinkan penyiangan progresif, di mana versi kasar dari avatar dapat ditampilkan terlebih dahulu, dan, ketika lapisan tambahan diunduh, Gaussians baru dapat ditambahkan tanpa mengubah apa yang sudah ditampilkan, memungkinkan avatar kepala yang dapat dianimasikan muncul dengan cepat, dan menjadi lebih tajam dan detail ketika lebih banyak data tiba.

Penulis mengamati bahwa seluruh sistem bergantung pada prioritisasi data yang masuk:

Ketika semua Gaussians pada level tertentu tersedia, model penuh dirender dengan fidelitas maksimum; tetapi selama penyiangan, mengirimkan Gaussians dengan kontribusi tertinggi terlebih dahulu memungkinkan hasil parsial awal untuk mendekati gambar akhir, sedangkan mengirimkan Gaussians dengan kontribusi rendah terlebih dahulu mengganggu keseimbangan warna dan menekankan komponen kecil.

Data dan Pengujian

Untuk pengujian, metode baru ini dievaluasi pada dataset NeRSemble, yang terdiri dari video multi-view untuk setiap subjek yang diliput, dengan parameter yang dikalibrasi di semua view:

Contoh interpretasi yang beragam dari subjek yang termasuk dalam dataset NeRSemble yang digunakan dalam pengujian untuk ProgressiveAvatars. Sumber

Sejalan dengan metodologi GaussianAvatars asli, gambar di-downsample ke 802x550px dan masker foreground yang dihasilkan, serta pembagian pelatihan/uji asli proyek diadopsi.

Optimizer Adam digunakan untuk pembaruan parameter, dengan tingkat pembelajaran 1×10^-2 pada semua koordinat barysentris. Pelatihan berjalan selama 60.000 iterasi, dengan hierarki yang diperluas secara otomatis setiap 2.000 iterasi.

Awalnya, penulis menguji rekonstruksi dan animasi – tugas mengubah video datar menjadi sistem 3D yang menyadari (x/y/z), menggunakan representasi CGI kanon FLAME sebagai mesh jangkar. Untuk ini, semua baseline dilatih dari awal, dan kerangka kerja pesaing yang diuji adalah GaussianAvatars yang disebutkan sebelumnya, dan PointAvatar.

Untuk pengujian ini, metrik yang digunakan adalah Rasio Sinyal-ke-Noise Puncak (PSNR), Indeks Kesamaan Struktural (SSIM), dan Kesamaan Gambar yang Dipelajari (LPIPS):

Perbandingan kualitatif pada sintesis pandangan baru dan sintesis ekspresi baru. Baseline GaussianAvatars bergelut dengan detail halus di sekitar mata, kerutan, dan tekstur kulit, sedangkan metode yang diusulkan sudah mempertahankan struktur wajah kunci pada sekitar lima persen data yang disiarkan dan berkembang menuju kebenaran ketika lebih banyak Gaussians disiarkan, mendekati model penuh dan gambar referensi (kebenaran).

Mengenai hasil ini, penulis menyatakan:

‘[Metode kami] merekonstruksi detail yang lebih tajam di beberapa wilayah, terutama di sekitar leher, bahu, dan pakaian. Wilayah-wilayah ini relatif kasar dibagi dalam template FLAME dibandingkan dengan zona wajah yang memiliki saliensi tinggi (misalnya, daerah periokular).

‘Akibatnya, metode sebelumnya sering mengalokasikan terlalu sedikit 3D Gaussians ke wilayah-wilayah ini untuk menangkap detail skala kecil mereka dengan setia. Sebaliknya, strategi pertumbuhan adaptif kami meningkatkan jumlah Gaussians dan memperbarui hierarki hanya di mana diperlukan, membuat alokasi tidak sensitif terhadap pembagian non-seragam FLAME.’

Penulis lebih lanjut mencatat bahwa pendekatan mereka setara dengan metode yang ada, menghasilkan avatar yang dapat digunakan dengan alokasi bandwidth yang sepele 5%:

Perbandingan kuantitatif pada sintesis pandangan baru dan sintesis ekspresi baru menggunakan PSNR, SSIM, dan LPIPS. Pada transmisi penuh, metode yang diusulkan mencapai PSNR tertinggi pada kedua tugas dan tetap kompetitif dengan GaussianAvatars pada metrik perseptual, sedangkan pengaturan 5% menggambarkan perdagangan kualitas di bawah keterbatasan bandwidth yang ekstrem.

Peneliti kemudian menguji rendering progresif itu sendiri. Ini dilakukan pada NVIDIA RTX 4090, dengan 24Gb VRAM, pada resolusi 550x802px. Dalam skenario ini, penulis menunjukkan bahwa anggaran 25% akan menggunakan semua ‘level 1’ Gaussians, serta subset dari level 2 Gaussians, yang memberikan gambaran tentang cara Gaussians berkumpul dalam grup yang lebih tinggi, dan bahwa grup dengan nomor yang lebih rendah pada dasarnya membangun kanvas dasar:

Kinerja di bawah anggaran transmisi yang berbeda untuk sintesis pandangan baru dan sintesis ekspresi baru, menunjukkan bahwa kualitas secara bertahap mendekati atau melampaui GaussianAvatars ketika lebih banyak Gaussians dan data disiarkan, sementara kecepatan waktu nyata dipertahankan, pada RTX 4090.

Penulis mengomentari:

‘Dengan hanya 2,60 MB yang disiarkan (5% anggaran), avatar sudah mencapai kualitas yang wajar. Ketika Gaussians level yang lebih tinggi disiarkan, struktur halus seperti kancing baju, gigi, dan rambut secara bertahap menjadi lebih tajam sementara stabilitas temporal dipertahankan.

‘Pada 100% transmisi, pendekatan kami mencapai kualitas rendering yang setara dengan metode SOTA. Secara khusus, kecepatan bingkai tidak turun secara signifikan, kemungkinan karena beban 3DGS belum mencapai batas GPU.’

Namun, penulis menunjukkan bahwa dalam skenario VR multi-pengguna, jumlah 3D Gaussians akan dengan cepat tumbuh ke titik di mana rasterisasi GPU menjadi bottleneck. Dalam skenario yang lebih berat ini, pendekatan yang diusulkan menawarkan keuntungan dengan memungkinkan sistem untuk memperdagangkan jumlah primitif melawan kualitas visual, mengurangi beban tanpa menghancurkan render.

Walaupun makalah ini tidak merinci, situs proyek menampilkan perbandingan pengujian tambahan, juga menampilkan proyek avatar hibrida MeGA:

Klik untuk memutar. Salah satu dari serangkaian video tambahan dari situs proyek makalah, ini membandingkan pendekatan baru dalam hal sintesis pandangan baru.

Kesimpulan

Gaussian Splatting mungkin atau mungkin tidak bertahan, atau bahkan diingat lebih dari RealPlayer sekarang, dalam kaitannya dengan fajar streaming interaktif: pengalaman perwakilan 3D yang disadari AI, termasuk video chat, belanja virtual, navigasi rute, dan aplikasi hiburan yang beragam. Ini bisa jadi teknologi atau pendekatan alternatif yang menang, atau bahwa GSplat membuktikan menjadi representasi video AI yang paling dapat diandalkan.

Jika tidak ada yang lain, makalah menarik ini mengumumkan sedikit ruang lingkup domain baru ini, sambil mengingatkan kita, mungkin dengan nostalgia, tentang internet yang kekurangan bandwidth di masa lalu.

* Dengan ‘3D’, saya tidak bermaksud jenis pengalaman yang memerlukan kacamata khusus, melainkan pengalaman di mana konten multimedia memiliki beberapa pemahaman tentang koordinat X/Y/Z.

Mula-mula dipublikasikan pada hari Rabu, 18 Maret 2026