Pandangan Pribadi tentang Kecenderungan Literatur Penglihatan Komputer pada 2024

Saya telah terus-menerus mengikuti penelitian penglihatan komputer (CV) dan sintesis gambar di Arxiv dan tempat lain selama sekitar lima tahun, sehingga tren menjadi jelas seiring waktu, dan mereka berubah ke arah baru setiap tahun.

Oleh karena itu, ketika 2024 hampir berakhir, saya pikir sudah waktunya untuk melihat beberapa karakteristik baru atau berkembang di Arxiv dalam bagian Penglihatan Komputer dan Pengenalan Pola. Pengamatan ini, meskipun diberitahu oleh ratusan jam mempelajari adegan, adalah sekadar anekdot.

Munculnya Timur Asia

Pada akhir 2023, saya telah menyadari bahwa sebagian besar literatur di kategori “sintesis suara” berasal dari Cina dan wilayah lain di Asia Timur. Pada akhir 2024, saya harus mengamati (secara anekdot) bahwa ini sekarang juga berlaku untuk penelitian sintesis gambar dan video.

Ini tidak berarti bahwa Cina dan negara-negara tetangga selalu menghasilkan karya terbaik (memang, ada beberapa bukti yang bertentangan); juga tidak memperhitungkan kemungkinan tinggi di Cina (seperti di Barat) bahwa beberapa sistem baru yang paling menarik dan kuat sedang dikembangkan adalah milik perusahaan, dan dikecualikan dari literatur penelitian.

Namun, ini menunjukkan bahwa Asia Timur mengungguli Barat dalam hal volume. Apa yang itu berarti tergantung pada seberapa besar Anda percaya pada viabilitas persistensi gaya Edison, yang biasanya terbukti tidak efektif di hadapan hambatan yang tidak dapat diatasi.

Ada banyak hambatan dalam AI generatif, dan tidak mudah untuk mengetahui mana yang dapat diatasi dengan mengatasi arsitektur yang ada, dan mana yang perlu dipertimbangkan dari awal.

Peneliti dari Asia Timur tampaknya menghasilkan jumlah kertas penglihatan komputer yang lebih besar, saya telah menyadari peningkatan frekuensi proyek-proyek “Frankenstein” – inisiatif yang merupakan perpaduan karya sebelumnya, sambil menambahkan sedikit novasi arsitektur (atau mungkin hanya jenis data yang berbeda).

Tahun ini, jumlah yang jauh lebih besar dari entri Asia Timur (terutama Cina atau kolaborasi yang melibatkan Cina) tampaknya didorong oleh kuota daripada dorongan mutu, secara signifikan meningkatkan rasio sinyal-ke-bisingan dalam bidang yang sudah terlalu banyak.

Saat yang sama, jumlah kertas Asia Timur yang lebih besar juga menarik perhatian dan penghargaan saya pada 2024. Jadi, jika ini semua permainan angka, itu tidak gagal – tapi juga tidak murah.

Peningkatan Volume Pengajuan

Volume kertas, di seluruh negara asal, tampaknya telah meningkat pada 2024.

Hari publikasi paling populer bergeser sepanjang tahun; saat ini adalah Selasa, ketika jumlah pengajuan ke bagian Penglihatan Komputer dan Pengenalan Pola sering sekitar 300-350 dalam satu hari, dalam “periode puncak” (Mei-Agustus dan Oktober-Desember, yaitu musim konferensi dan “kuota tahunan” masing-masing).

Di luar pengalaman saya, Arxiv sendiri melaporkan rekor jumlah pengajuan pada Oktober 2024, dengan 6000 pengajuan baru total, dan bagian Penglihatan Komputer adalah kategori kedua yang paling banyak diajukan setelah Pembelajaran Mesin.

Namun, karena bagian Pembelajaran Mesin di Arxiv sering digunakan sebagai kategori “tambahan” atau agregat, ini berarti bahwa Penglihatan Komputer dan Pengenalan Pola sebenarnya adalah kategori Arxiv yang paling banyak diajukan.

Statistik Arxiv sendiri menunjukkan bahwa ilmu komputer adalah pemimpin yang jelas dalam pengajuan:

Ilmu Komputer (CS) mendominasi statistik pengajuan di Arxiv selama lima tahun terakhir. Sumber: https://info.arxiv.org/about/reports/submission_category_by_year.html

Universitas Stanford Laporan Indeks AI 2024, meskipun tidak dapat melaporkan statistik terbaru, juga menekankan peningkatan yang signifikan dalam pengajuan kertas akademis sekitar pembelajaran mesin dalam beberapa tahun terakhir:

Dengan angka yang tidak tersedia untuk 2024, laporan Stanford menunjukkan peningkatan volume pengajuan kertas pembelajaran mesin. Sumber: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Kerangka Diffusi&Mesin Berkembang

Satu tren lain yang jelas muncul bagi saya adalah peningkatan besar dalam kertas yang menangani pemanfaatan Model Diffusi Laten (LDM) sebagai generator model CGI berbasis mesin, “tradisional”.

Proyek-proyek seperti ini termasuk InstantMesh3D, 3Dtopia, Diffusi², V3D, MVEdit, dan GIMDiffusion, di antara banyak penawaran serupa.

Pembangunan dan penyempurnaan mesin melalui proses berbasis Diffusi di 3Dtopia. Sumber: https://arxiv.org/pdf/2403.02234

Strand penelitian yang muncul ini dapat dianggap sebagai pengakuan implisit tentang ketidakmampuan sistem generatif seperti model diffusi, yang hanya dua tahun yang lalu dipromosikan sebagai pengganti potensial untuk semua sistem yang sekarang dicoba untuk diisi oleh model diffusi>mesin; mengurangi diffusi ke peran sebagai alat dalam teknologi dan alur kerja yang berasal dari tiga puluh atau lebih tahun yang lalu.

Stability.ai, asal model Stable Diffusion sumber terbuka, baru saja merilis Stable Zero123, yang dapat, di antara hal lain, menggunakan Neural Radiance Fields (NeRF) interpretasi gambar AI yang dihasilkan sebagai jembatan untuk membuat model CGI berbasis mesin eksplisit yang dapat digunakan dalam arena CGI seperti Unity, dalam permainan video, realitas tambahan, dan dalam platform lain yang memerlukan koordinat 3D eksplisit, bukan koordinat implisit dari fungsi kontinu.

Klik untuk memutar. Gambar yang dihasilkan dalam Stable Diffusion dapat diubah menjadi mesin CGI rasional. Di sini kita melihat hasil dari alur kerja gambar>CGI menggunakan Stable Zero 123. Sumber: https://www.youtube.com/watch?v=RxsssDD48Xc

Semantik 3D

Ruang AI generatif membuat perbedaan antara sistem 2D dan 3D implementasi visi dan sistem generatif. Misalnya, kerangka landmark wajah, meskipun merepresentasikan objek 3D (wajah) dalam semua kasus, tidak semua perlu menghitung koordinat 3D yang dapat diakses.

Sistem FANAlign populer, FANAlign, yang secara luas digunakan dalam arsitektur deepfake era 2017 (di antara lainnya), dapat menampung kedua pendekatan ini:

Di atas, landmark 2D dihasilkan berdasarkan fitur dan garis wajah yang dikenali. Di bawah, mereka dirasionalisasi ke dalam ruang 3D X/Y/Z. Sumber: https://github.com/1adrianb/face-alignment

Jadi, sama seperti ‘deepfake’ telah menjadi istilah yang samar dan dibajak, ‘3D’ juga telah menjadi istilah yang membingungkan dalam penelitian penglihatan komputer.

Bagi konsumen, ini biasanya menandakan media stereo (seperti film di mana pemirsa harus memakai kacamata khusus); bagi praktisi efek visual dan pemodel, ini memberikan perbedaan antara karya seni 2D (seperti sketsa konseptual) dan model berbasis mesin yang dapat dimanipulasi dalam ‘program 3D’ seperti Maya atau Cinema4D.

Namun, dalam penglihatan komputer, ini hanya berarti bahwa sistem koordinat Kartesius ada di suatu tempat dalam ruang laten model – tidak bahwa itu dapat diakses atau dimanipulasi langsung oleh pengguna; setidaknya, tidak tanpa sistem CGI interpretatif pihak ketiga seperti 3DMM atau FLAME.

Oleh karena itu, konsep diffusi>3D tidak akurat; tidak hanya gambar apa pun (termasuk foto nyata) dapat digunakan sebagai input untuk menghasilkan model CGI generatif, tetapi istilah yang kurang ambigu adalah ‘mesin’.

Namun, untuk memperburuk keambiguan, diffusi diperlukan untuk menafsirkan foto sumber menjadi mesin, dalam sebagian besar proyek yang muncul. Jadi, deskripsi yang lebih baik mungkin gambar-ke-mesin, sementara gambar>diffusi>mesin adalah deskripsi yang lebih akurat.

Tapi itu adalah penjualan yang sulit di rapat dewan, atau dalam rilis publisitas yang dirancang untuk memikat investor.

Bukti Jalan Buntu Arsitektur

Bahkan dibandingkan dengan 2023, tanaman kertas terakhir 12 bulan ini menunjukkan keputusasaan yang tumbuh untuk menghilangkan batasan praktis yang keras pada generasi berbasis diffusi.

Hambatan utama tetap generasi video yang konsisten secara naratif dan temporal, dan mempertahankan penampilan konsisten karakter dan objek – tidak hanya di seluruh klip video yang berbeda, tetapi bahkan di seluruh runtime klip video yang dihasilkan.

Inovasi epokal terakhir dalam sintesis berbasis diffusi adalah munculnya LoRA pada 2022. Sementara sistem yang lebih baru seperti Flux telah memperbaiki beberapa masalah outlier, seperti ketidakmampuan Stable Diffusion sebelumnya untuk mereproduksi konten teks di dalam gambar yang dihasilkan, dan kualitas gambar secara keseluruhan telah ditingkatkan, sebagian besar kertas yang saya pelajari pada 2024 pada dasarnya hanya memindahkan makanan di sekitar piring.

Jalan buntu ini telah terjadi sebelumnya, dengan Jaringan Adversarial Generatif (GAN) dan dengan Lapangan Radiasi Saraf (NeRF), keduanya gagal memenuhi potensi awal yang tampaknya – dan keduanya semakin banyak digunakan dalam sistem yang lebih konvensional (seperti penggunaan NeRF dalam Stable Zero 123, lihat di atas). Ini juga tampaknya terjadi dengan model diffusi.

Penelitian Gaussian Splatting Berubah

Tampaknya pada akhir 2023 bahwa metode rasterisasi 3D Gaussian Splatting (3DGS), yang debut sebagai teknik pencitraan medis pada awal 1990-an, akan tiba-tiba mengungguli sistem berbasis autoencoder dalam tantangan sintesis gambar manusia (seperti simulasi dan rekreasi wajah, serta transfer identitas).

Kertas ASH 2023 berjanji manusia 3DGS penuh, sementara Gaussian Avatars menawarkan detail yang jauh lebih baik (dibandingkan dengan metode autoencoder dan kompetitor lainnya), bersama dengan cross-reenactment yang mengesankan.

Namun, tahun ini telah relatif singkat dalam momen terobosan seperti itu untuk sintesis manusia 3DGS; sebagian besar kertas yang menangani masalah ini baik merupakan turunan dari karya di atas, atau gagal melebihi kemampuan mereka.

Sebaliknya, penekanan pada 3DGS telah berubah untuk meningkatkan kemampuan arsitektur dasarnya, yang menyebabkan serangkaian kertas yang menawarkan lingkungan luar 3DGS yang ditingkatkan. Perhatian khusus telah diberikan pada pendekatan Simultaneous Localization and Mapping (SLAM) 3DGS, dalam proyek seperti Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, di antara banyak lainnya.

Proyek-proyek yang mencoba melanjutkan atau memperluas sintesis manusia berbasis splat termasuk MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM, dan Topo4D. Meskipun ada yang lain, tidak satu pun dari mereka mencapai dampak awal kertas yang muncul pada akhir 2023.

‘Era Weinstein’ dari Sampel Uji dalam Penurunan (Lambat)

Penelitian dari Asia Tenggara secara umum (dan Cina khususnya) sering menampilkan contoh uji yang bermasalah untuk diterbitkan dalam artikel ulasan, karena mereka menampilkan materi yang sedikit ‘berani’.

Apakah ini karena ilmuwan peneliti di wilayah tersebut mencoba menarik perhatian untuk output mereka masih diperdebatkan; namun, selama 18 bulan terakhir, sejumlah kertas yang meningkat tentang AI generatif (gambar dan/atau video) telah beralih ke menggunakan wanita muda dan setengah telanjang dan gadis-gadis dalam contoh proyek. Contoh-contoh yang mendekati NSFW termasuk UniAnimate, ControlNext, dan bahkan kertas yang sangat ‘kering’ seperti Evaluasi Konsistensi Gerakan dengan Jarak Gerakan Video Fréchet (FVMD).

Ini mengikuti tren umum dari subreddit dan komunitas lain yang berkumpul di sekitar Model Diffusi Laten (LDM), di mana Aturan 34 tetap sangat berlaku.

Pertarungan Wajah Selebriti

Jenis contoh yang tidak pantas ini tumpang tindih dengan pengakuan yang tumbuh bahwa proses AI tidak boleh secara sewenang-wenang mengeksploitasi kesamaan selebriti – terutama dalam studi yang tidak kritis menggunakan contoh menampilkan selebriti yang menarik, seringkali perempuan, dan meletakkan mereka dalam konteks yang dipertanyakan.

Salah satu contoh adalah AnyDressing, yang, selain menampilkan karakter anime gaya muda, juga secara bebas menggunakan identitas selebriti klasik seperti Marilyn Monroe, dan saat ini seperti Anne Hathaway (yang telah mengutuk penggunaan semacam itu dengan sangat vokal).

Penggunaan sewenang-wenang selebriti saat ini dan ‘klasik’ masih cukup umum dalam kertas dari Asia Tenggara, meskipun praktik ini sedikit menurun. Sumber: https://crayon-shinchan.github.io/AnyDressing/

Di barat kertas, praktik ini telah menurun secara signifikan sepanjang 2024, dipimpin oleh rilis yang lebih besar dari FAANG dan badan penelitian tingkat tinggi lainnya seperti OpenAI. Sadar akan potensi litigasi di masa depan, pemain korporat besar ini tampaknya semakin tidak mau untuk menggambarkan bahkan orang fiksi yang realistis secara fotografi.

Meskipun sistem yang mereka ciptakan (seperti Imagen dan Veo2) jelas mampu menghasilkan output tersebut, contoh dari proyek AI generatif barat sekarang cenderung menuju gambar dan video yang “imut”, Disney, dan sangat “aman”.

Meskipun mengklaim kemampuan Imagen untuk menghasilkan output ‘realistis secara fotografi’, sampel yang dipromosikan oleh Google Research biasanya fantastis, ‘keluarga’ – manusia realistis secara fotografi dengan hati-hati dihindari, atau contoh minimal disediakan. Sumber: https://imagen.research.google/

Mencuci Wajah

Dalam literatur CV barat, pendekatan yang tidak jujur ini sangat jelas dalam sistem penyesuaian – metode yang dapat menghasilkan kesamaan konsisten dari orang tertentu di seluruh contoh multiple (yaitu, seperti LoRA dan DreamBooth yang lebih tua).

Contoh termasuk penanaman visual ortogonal, LoRA-Composer, InstructBooth Google, dan banyak lagi.

InstructBooth Google meningkatkan faktor keimutan hingga 11, meskipun sejarah menunjukkan bahwa pengguna lebih tertarik membuat manusia realistis daripada karakter yang imut atau berbulu. Sumber: https://sites.google.com/view/instructbooth

Namun, meningkatnya contoh “imut” terlihat dalam benang penelitian CV dan sintesis lainnya, dalam proyek seperti Comp4D, V3D, DesignEdit, UniEdit, FaceChain (yang mengakui harapan pengguna yang lebih realistis di halaman GitHub), dan DPG-T2I, di antara banyak lainnya.

Kemudahan dengan mana sistem seperti LoRAs dapat dibuat oleh pengguna rumahan dengan perangkat keras yang relatif sederhana telah menyebabkan ledakan model selebriti yang dapat diunduh secara gratis di domain civit.ai dan komunitas. Penggunaan tidak sah seperti itu tetap memungkinkan melalui open-sourcing arsitektur seperti Stable Diffusion dan Flux.

Meskipun seringkali memungkinkan untuk menembus fitur keamanan sistem teks-ke-gambar (T2I) dan teks-ke-video (T2V) untuk menghasilkan materi yang dilarang oleh ketentuan penggunaan platform, kesenjangan antara kemampuan sistem yang terbatas (seperti RunwayML dan Sora) dan kemampuan sistem yang tidak terbatas (seperti Stable Video Diffusion, CogVideo dan penerapan lokal Hunyuan), tidak benar-benar menutup, seperti yang banyak orang percaya.

Sebaliknya, sistem ini, baik yang milik perusahaan maupun open-source, berpotensi menjadi sama tidak berguna: sistem T2V yang mahal dan hyperscale mungkin menjadi berlebihan terhambat karena ketakutan akan litigasi, sementara kurangnya infrastruktur lisensi dan pengawasan dataset dalam sistem open-source dapat mengunci mereka sepenuhnya dari pasar saat peraturan yang lebih ketat diterapkan.

Dipublikasikan pertama kali pada hari Selasa, 24 Desember 2024