Munculnya model GPT, bersama dengan model bahasa besar lainnya atau model AR, telah membuka era baru dalam bidang pembelajaran mesin dan kecerdasan buatan. Model GPT dan autoregressif sering menunjukkan kecerdasan umum dan fleksibilitas yang dianggap sebagai langkah signifikan menuju kecerdasan buatan umum atau AGI, meskipun memiliki beberapa masalah seperti halusinasi. Namun, masalah yang membingungkan dengan model besar ini adalah strategi pembelajaran mandiri yang memungkinkan model untuk memprediksi token berikutnya dalam urutan, strategi sederhana namun efektif. Karya terbaru telah menunjukkan kesuksesan model autoregressif besar, menyoroti kemampuan umum dan skalabilitasnya. Skalabilitas adalah contoh dari hukum skala yang ada, yang memungkinkan peneliti untuk memprediksi kinerja model besar dari kinerja model yang lebih kecil, menghasilkan alokasi sumber daya yang lebih baik. Di sisi lain, kemampuan umum sering dibuktikan dengan strategi pembelajaran seperti zero-shot, one-shot, dan few-shot, menyoroti kemampuan model yang tidak terlatih untuk menyesuaikan diri dengan tugas yang beragam dan tidak terlihat. Bersama, kemampuan umum dan skalabilitas mengungkapkan potensi model autoregressif untuk belajar dari sejumlah besar data yang tidak berlabel.

Dengan membangun pada hal yang sama, dalam artikel ini, kita akan membahas tentang Visual AutoRegressif atau kerangka VAR, pola generasi baru yang mendefinisikan kembali pembelajaran autoregressif pada gambar sebagai prediksi skala berikutnya atau “next-scale prediction”. Meskipun sederhana, pendekatan ini efektif dan memungkinkan transformer autoregressif untuk mempelajari distribusi visual dengan lebih baik, serta meningkatkan kemampuan umum. Selain itu, model Visual AutoRegressif memungkinkan model autoregressif GPT-style untuk mengungguli model difusi dalam pembangkitan gambar untuk pertama kalinya. Eksperimen juga menunjukkan bahwa kerangka VAR meningkatkan baseline autoregressif secara signifikan, dan mengungguli model Diffusion Transformer atau DiT dalam beberapa dimensi, termasuk efisiensi data, kualitas gambar, skalabilitas, dan kecepatan inferensi. Lebih lanjut, mengembangkan model Visual AutoRegressif menunjukkan hukum skala yang serupa dengan yang diamati pada model bahasa besar, serta menampilkan kemampuan generalisasi zero-shot dalam tugas hilir, termasuk pengeditan, in-painting, dan out-painting.

Artikel ini bertujuan untuk membahas kerangka Visual AutoRegressif secara mendalam, dan kita akan menjelajahi mekanisme, metodologi, arsitektur kerangka, serta perbandingannya dengan kerangka state-of-the-art. Kita juga akan membahas bagaimana kerangka Visual AutoRegressif menunjukkan dua sifat penting dari LLM: Hukum Skala dan generalisasi zero-shot. Jadi, mari kita mulai.

Model AutoRegressif Visual: Pembangkitan Gambar yang Dapat Diskalakan

Polanya yang umum di antara model bahasa besar terbaru adalah implementasi strategi pembelajaran mandiri, pendekatan sederhana namun efektif yang memprediksi token berikutnya dalam urutan. Berkat pendekatan ini, model autoregressif dan model bahasa besar saat ini telah menunjukkan skalabilitas dan kemampuan umum yang luar biasa, sifat yang mengungkapkan potensi model autoregressif untuk belajar dari sejumlah besar data yang tidak berlabel, sehingga merangkum esensi dari Kecerdasan Buatan Umum. Selain itu, peneliti di bidang penglihatan komputer telah bekerja paralel untuk mengembangkan model autoregressif besar atau model dunia dengan tujuan untuk mencapai atau mengungguli skalabilitas dan kemampuan umum mereka, dengan model seperti DALL-E dan VQGAN sudah menunjukkan potensi model autoregressif dalam bidang pembangkitan gambar. Model ini sering mengimplementasikan tokenizer visual yang merepresentasikan atau mengapproximasi gambar kontinu menjadi grid token 2D, yang kemudian diratakan menjadi urutan 1D untuk pembelajaran autoregressif, sehingga memirror proses pemodelan bahasa sekuen.

Namun, peneliti belum menjelajahi hukum skala dari model ini, dan apa yang lebih frustrasi adalah kenyataan bahwa kinerja model ini sering kali tertinggal di belakang model difusi dengan margin yang signifikan, seperti yang ditunjukkan dalam gambar berikut. Jarak kinerja ini menunjukkan bahwa dibandingkan dengan model bahasa besar, kemampuan model autoregressif dalam penglihatan komputer belum terexplorasi.

Di satu sisi, model autoregressif tradisional memerlukan urutan data yang ditentukan, sedangkan di sisi lain, model Visual AutoRegressif atau VAR merekonseptualisasi bagaimana untuk mengurutkan gambar, dan ini adalah yang membedakan VAR dari metode AR yang ada. Secara umum, manusia menciptakan atau memahami gambar dalam cara hierarkis, menangkap struktur global diikuti oleh detail lokal, pendekatan multi-skala, coarse-to-fine yang menunjukkan urutan gambar secara alami. Lebih lanjut, dengan mengambil inspirasi dari desain multi-skala, kerangka VAR mendefinisikan pembelajaran autoregressif untuk gambar sebagai prediksi skala berikutnya, bukan pendekatan konvensional yang mendefinisikan pembelajaran sebagai prediksi token berikutnya. Pendekatan yang diimplementasikan oleh kerangka VAR dimulai dengan mengkodekan gambar menjadi peta token multi-skala. Kerangka ini kemudian memulai proses autoregressif dari peta token 1×1, dan berkembang dalam resolusi secara progresif. Pada setiap langkah, transformer memprediksi peta token resolusi yang lebih tinggi yang diberikan pada semua peta sebelumnya, metodologi yang kerangka VAR sebut sebagai pemodelan VAR.

Kerangka VAR berusaha untuk memanfaatkan arsitektur transformer GPT-2 untuk pembelajaran autoregressif visual, dan hasilnya terlihat pada benchmark ImageNet di mana model VAR meningkatkan baseline AR secara signifikan, mencapai FID 1,80, dan skor inisiensi 356, serta perbaikan 20x dalam kecepatan inferensi. Yang lebih menarik adalah bahwa kerangka VAR berhasil mengungguli kinerja kerangka DiT atau Diffusion Transformer dalam hal skor FID & IS, skalabilitas, kecepatan inferensi, dan efisiensi data. Selain itu, model Visual AutoRegressif menunjukkan hukum skala yang kuat yang serupa dengan yang diamati pada model bahasa besar.

Untuk merangkum, kerangka VAR berusaha untuk membuat kontribusi berikut.

1. Kerangka ini mengusulkan kerangka generatif visual baru yang menggunakan pendekatan autoregressif multi-skala dengan prediksi skala berikutnya, berbeda dengan prediksi token berikutnya, menghasilkan desain algoritma autoregressif untuk tugas penglihatan komputer.
2. Kerangka ini berusaha untuk memvalidasi hukum skala untuk model autoregressif, serta potensi generalisasi zero-shot yang meniru sifat menarik dari LLM.
3. Kerangka ini menawarkan terobosan dalam kinerja model autoregressif visual, memungkinkan kerangka autoregressif GPT-style untuk mengungguli model difusi yang ada dalam tugas sintesis gambar untuk pertama kalinya.

Selain itu, juga penting untuk membahas hukum skala yang ada, yang secara matematis menggambarkan hubungan antara ukuran dataset, parameter model, perbaikan kinerja, dan sumber daya komputasi model pembelajaran mesin. Pertama, hukum skala ini memfasilitasi penerapan kinerja model yang lebih besar dengan menskalakan ukuran model, biaya komputasi, dan ukuran dataset, sehingga menghemat biaya yang tidak perlu dan mengalokasikan anggaran pelatihan dengan memberikan prinsip. Kedua, hukum skala telah menunjukkan peningkatan kinerja yang konsisten dan tidak jenuh. Melanjutkan dengan prinsip hukum skala dalam model bahasa neural, beberapa LLM memuat prinsip bahwa meningkatkan skala model cenderung menghasilkan hasil kinerja yang ditingkatkan. Generalisasi zero-shot di sisi lain merujuk pada kemampuan model, terutama LLM, untuk melakukan tugas yang tidak dilatih secara eksplisit. Dalam domain penglihatan komputer, minat dalam membangun kemampuan zero-shot dan pembelajaran dalam konteks model dasar.

Model bahasa bergantung pada algoritma WordPiece atau pendekatan Byte Pair Encoding untuk tokenisasi teks. Model generatif visual yang berbasis pada model bahasa juga bergantung pada pengkodean gambar 2D menjadi urutan token 1D. Karya awal seperti VQVAE menunjukkan kemampuan untuk merepresentasikan gambar sebagai token diskrit dengan kualitas rekonstruksi yang moderat. Penerus VQVAE, kerangka VQGAN mengintegrasikan kerugian perseptual dan adversarial untuk meningkatkan kualitas gambar, serta menggunakaan decoder-only transformer untuk menghasilkan token gambar dalam cara autoregressif standar. Model difusi di sisi lain telah lama dianggap sebagai pemimpin dalam tugas sintesis visual, diberikan keragamannya dan kualitas generasi yang unggul. Perkembangan model difusi telah berpusat pada meningkatkan teknik sampling, peningkatan arsitektur, dan sampling yang lebih cepat. Model difusi laten menerapkan difusi dalam ruang laten yang meningkatkan efisiensi pelatihan dan inferensi. Model transformer difusi menggantikan arsitektur U-Net tradisional dengan arsitektur berbasis transformer, dan telah diterapkan dalam model sintesis gambar atau video terbaru seperti SORA, dan Stable Diffusion.

Visual AutoRegressif : Metodologi dan Arsitektur

Pada intinya, kerangka VAR memiliki dua tahap pelatihan yang terpisah. Pada tahap pertama, autoencoder kuantisasi multi-skala atau VQVAE mengkodekan gambar menjadi peta token, dan kerugian rekonstruksi gabungan diimplementasikan untuk tujuan pelatihan. Pada gambar di atas, embedding adalah kata yang digunakan untuk mengkonversi token diskrit menjadi vektor embedding kontinu. Pada tahap kedua, transformer dalam model VAR dilatih dengan meminimalkan kerugian cross-entropy atau memaksimalkan kemungkinan menggunakan pendekatan prediksi skala berikutnya. VQVAE yang dilatih kemudian menghasilkan peta token ground truth untuk kerangka VAR.

Pemodelan Autoregressif melalui Prediksi Token Berikutnya

Untuk urutan token diskrit yang diberikan, di mana setiap token adalah integer dari kosakata dengan ukuran V, model autoregressif token berikutnya mengusulkan bahwa probabilitas mengamati token saat ini hanya bergantung pada prefiksnya. Menganggap ketergantungan token unidireksional memungkinkan kerangka VAR untuk memecah peluang urutan menjadi produk dari probabilitas kondisional. Melatih model autoregressif melibatkan optimasi model di seluruh dataset, dan proses optimasi ini dikenal sebagai prediksi token berikutnya, dan memungkinkan model yang dilatih untuk menghasilkan urutan baru. Selain itu, gambar adalah sinyal kontinu 2D secara inheren, dan menerapkan pendekatan pemodelan autoregressif pada gambar melalui proses optimasi prediksi token berikutnya memiliki beberapa prasyarat. Pertama, gambar perlu di-tokenkan menjadi token diskrit. Biasanya, autoencoder kuantisasi diimplementasikan untuk mengkonversi peta fitur gambar menjadi token diskrit. Kedua, urutan token 1D harus didefinisikan untuk pemodelan autoregressif unidireksional.

Token gambar dalam token diskrit diatur dalam grid 2D, dan tidak seperti kalimat bahasa alami yang secara inheren memiliki urutan kiri ke kanan, urutan token gambar harus didefinisikan secara eksplisit untuk pemodelan autoregressif unidireksional. Pendekatan autoregressif sebelumnya meratakan grid 2D token diskrit menjadi urutan 1D menggunakan metode seperti row-major raster scan, z-curve, atau spiral order. Setelah token diskrit diratakan, model AR mengekstrak set urutan dari dataset, dan kemudian melatih model autoregressif untuk memaksimalkan kemungkinan menjadi produk dari T probabilitas kondisional menggunakan prediksi token berikutnya.

Pemodelan AutoRegressif Visual melalui Prediksi Skala Berikutnya

Kerangka VAR merekonseptualisasi pemodelan autoregressif pada gambar dengan bergeser dari prediksi token berikutnya ke pendekatan prediksi skala berikutnya, proses di mana bukan token tunggal, unit autoregressif adalah peta token seluruhnya. Model pertama kali mengkuantisasi peta fitur menjadi peta token multi-skala, masing-masing dengan resolusi yang lebih tinggi dari sebelumnya, dan diakhiri dengan mencocokkan resolusi peta fitur asli. Selain itu, kerangka VAR mengembangkan pengkodean kuantisasi multi-skala baru untuk mengkodekan gambar menjadi peta token diskrit multi-skala, yang diperlukan untuk pembelajaran VAR. Kerangka VAR menggunakan arsitektur yang sama dengan VQGAN, tetapi dengan lapisan kuantisasi multi-skala yang dimodifikasi, dengan algoritma yang ditunjukkan dalam gambar berikut.

Visual AutoRegressif : Hasil dan Eksperimen

Kerangka VAR menggunakan arsitektur VQVAE vanilla dengan skema kuantisasi multi-skala dengan K konvolusi tambahan, dan menggunakan kodebook yang sama untuk semua skala dan dimensi laten 32. Fokus utama terletak pada algoritma VAR karena desain arsitektur model dipertahankan sederhana namun efektif. Kerangka ini mengadopsi arsitektur transformer decoder-only standar yang serupa dengan yang diimplementasikan pada model GPT-2, dengan satu-satunya modifikasi adalah penggantian normalisasi lapisan tradisional dengan normalisasi adaptif atau AdaLN. Untuk sintesis kondisional kelas, kerangka VAR mengimplementasikan embedding kelas sebagai token awal, serta kondisi lapisan normalisasi adaptif.

Hasil Pembangkitan Gambar State-of-the-Art

Ketika dipasangkan dengan kerangka generatif yang ada, termasuk GAN atau Jaringan Adversarial Generatif, model prediksi tersembunyi BERT-style, model difusi, dan model autoregressif GPT-style, kerangka Visual AutoRegressif menunjukkan hasil yang menjanjikan yang dirangkum dalam tabel berikut.

Seperti yang dapat dilihat, kerangka Visual AutoRegressif tidak hanya mampu mengungguli skor FID dan IS, tetapi juga menunjukkan kecepatan pembangkitan gambar yang luar biasa, setara dengan model state-of-the-art. Selain itu, kerangka VAR juga mempertahankan skor presisi dan recall yang memuaskan, yang mengonfirmasi konsistensi semantiknya. Namun, kejutan yang sebenarnya adalah kinerja luar biasa yang ditampilkan oleh kerangka VAR pada tugas kemampuan AR tradisional, membuatnya menjadi model autoregressif pertama yang mengungguli model Diffusion Transformer, seperti yang ditunjukkan dalam tabel berikut.

Hasil Generalisasi Tugas Zero-Shot

Untuk tugas in-painting dan out-painting, kerangka VAR memaksa token ground truth di luar mask, dan membiarkan model menghasilkan token hanya di dalam mask, tanpa informasi label kelas yang disuntikkan ke dalam model. Hasilnya ditunjukkan dalam gambar berikut, dan seperti yang dapat dilihat, model VAR mencapai hasil yang dapat diterima pada tugas hilir tanpa menyesuaikan parameter atau memodifikasi arsitektur jaringan, menunjukkan kemampuan generalisasi kerangka VAR.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang kerangka generatif visual baru yang disebut Model AutoRegressif Visual (VAR) yang 1) secara teoretis menangani beberapa masalah yang melekat pada model AR gambar standar, dan 2) membuat model AR berbasis bahasa mengungguli model difusi yang ada dalam hal kualitas gambar, keragaman, efisiensi data, dan kecepatan inferensi. Di satu sisi, model autoregressif tradisional memerlukan urutan data yang ditentukan, sedangkan di sisi lain, model Visual AutoRegressif atau VAR merekonseptualisasi bagaimana untuk mengurutkan gambar, dan ini adalah yang membedakan VAR dari metode AR yang ada. Dengan menskalakan VAR hingga 2 miliar parameter, pengembang kerangka VAR mengamati hubungan yang jelas antara kinerja uji dan parameter model atau komputasi pelatihan, dengan koefisien Pearson mendekati −0.998, menunjukkan kerangka yang kuat untuk prediksi kinerja. Hukum skala ini dan kemungkinan generalisasi tugas zero-shot, sebagai ciri khas LLM, telah diverifikasi awal dalam model transformer VAR kami.