GPT modellerinin ve diğer oto-regressif veya AR büyük dil modellerinin ortaya çıkışı, makine öğrenimi ve yapay zeka alanında yeni bir dönem başlattı. GPT ve oto-regressif modeller genellikle genel zeka ve çok yönlülük sergiler, ki bu da genel yapay zeka veya AGI’ye doğru önemli bir adım olarak kabul edilir, ancak bazı sorunlar gibi hallucinations gibi sorunlar vardır. Ancak, bu büyük modellerin tuhaf problemi, modelin bir dizi中的 bir sonraki token’ı tahmin etmesine olanak tanıyan self-supervised öğrenme stratejisi, basit ancak etkili bir stratejidir. Recent works, bu büyük oto-regressif modellerin başarısını gösterdi, genellemelerini ve ölçeklenebilirliklerini vurguladı. Ölçeklenebilirlik, var olan ölçekleme yasalarının bir örneğidir, bu da araştırmacılara büyük modelin performansını küçük modellerin performansından tahmin etmelerine olanak tanır, böylece kaynakların daha iyi dağıtılmasını sağlar. Diğer yandan, genellemeye genellikle zero-shot, one-shot ve few-shot öğrenme gibi öğrenme stratejileri ile ulaşılır, bu da denetimsiz ancak eğitilmiş modellerin çeşitli ve görülmemiş görevlere uyum sağlama yeteneğini vurgular. Birlikte, genellemeye ve ölçeklenebilirlik, oto-regressif modellerin büyük miktarda etiketsiz veri öğrenme potansiyelini ortaya koyar.

Aynı zamanda, bu makalede, Visual AutoRegressive veya VAR çerçevesi hakkında konuşacağız, bu, görsel öğrenme için yeni bir modelleme deseni, “next-ölçek tahmini” veya “coarse-to-fine” olarak tanımlanan bir yaklaşım. Basit olmasına rağmen, bu yaklaşım etkili ve oto-regressif transformer’lerin görsel dağılımları daha iyi öğrenmelerine olanak tanır, ayrıca genellemeyi geliştirir. Ayrıca, Visual AutoRegressive modelleri, GPT-stil oto-regressif modellerin ilk kez difüzyon modellerini görüntü oluşturma görevlerinde geçmesini sağlar. Deneyler ayrıca, VAR çerçevesinin oto-regressif temel modelleri önemli ölçüde geliştirdiğini ve Diffusion Transformer veya DiT çerçevesini veri verimliliği, görüntü kalitesi, ölçeklenebilirlik ve çıkarım hızı gibi birçok boyutta geçtiğini gösterir. Ayrıca, Visual AutoRegressive modellerinin ölçeklenmesi, büyük dil modellerinde gözlenenlere benzer güç yasalarını gösterir ve ayrıca aşağı akış görevlerinde, düzenleme, in-painting ve out-painting gibi görevlerde zero-shot genellemeye sahip olduğunu gösterir.

Bu makale, Visual AutoRegressive çerçevesini derinlemesine kapsayacak, mekanizmasını, metodolojisini, mimarisini ve diğer çerçevelerle karşılaştırmayı探acağız. Ayrıca, Visual AutoRegressive çerçevesinin LLM’lerin iki önemli özelliğini nasıl gösterdiğini konuşacağız: Ölçekleme Yasaları ve zero-shot genellemeye.

Görsel Oto-Regressif Modelleme: Ölçeklenebilir Görüntü Oluşturma

Son zamanlardaki büyük dil modellerinin ortak bir özelliği, self-supervised öğrenme stratejisinin uygulanmasıdır, bu da bir dizi中的 bir sonraki token’ı tahmin etmesini sağlar. Bu yaklaşım sayesinde, oto-regressif ve büyük dil modelleri, şaşırtıcı bir ölçeklenebilirlik ve genellemeye sahip, bu da oto-regressif modellerin büyük miktarda etiketsiz veri öğrenme potansiyelini ortaya koyar. Ayrıca, bilgisayar görüşü alanında çalışan araştırmacılar, büyük oto-regressif veya dünya modelleri geliştirmeye çalışıyorlar, ki bu modeller DALL-E ve VQGAN gibi modeller already göstermiştir. Bu modeller genellikle, bir görseli 2D token’lar halinde temsil eden görsel bir tokenleştirici uygular, daha sonra bu token’lar 1D diziye düzleştirilir, bu da dilsel modelleme sürecini taklit eder.

Ancak, araştırmacılar bu modellerin ölçekleme yasalarını henüz keşfetmedi, ayrıca bu modellerin performansı genellikle difüzyon modellerinin gerisinde kalıyor, aşağıdaki görselde gösterildiği gibi. Performans farkı, büyük dil modellerine kıyasla, bilgisayar görüşünde oto-regressif modellerin yeteneklerinin henüz keşfedilmediğini gösterir.

Bir yandan, geleneksel oto-regressif modeller, veri için belirli bir sırayı gerektirir, diğer yandan, Visual AutoRegressive veya VAR modeli, bir görselin nasıl sıralanacağını yeniden düşünür, bu da VAR’ı mevcut AR yöntemlerinden ayıran özelliktir. İnsanlar genellikle bir görseli hiyerarşik bir şekilde oluşturur veya algılar, global yapıyı yerel ayrıntılardan önce yakalar, bu da görsel için doğal bir sırayı öneren çok ölçekli, coarse-to-fine bir yaklaşım. Ayrıca, çok ölçekli tasarımlardan esinlenen VAR çerçevesi, görsel öğrenmeyi next-ölçek tahmini olarak tanımlar, geleneksel yaklaşımların next-token tahmini olarak tanımladığından farklıdır. VAR çerçevesi, bir görseli multi-ölçek token haritalarına kodlayarak başlar, daha sonra oto-regressif süreci 1×1 token haritasından başlar ve ilerledikçe çözünürlüğü artırır. Her adımda, transformer, önceki token haritalarına bağlı olarak bir sonraki daha yüksek çözünürlüklü token haritasını tahmin eder, bu da VAR çerçevesinin VAR modellemesi olarak adlandırdığı bir metodolojidir.

VAR çerçevesi, GPT-2’nin transformer mimarisini görsel oto-regressif öğrenme için kullanmaya çalışır ve sonuçlar, ImageNet benchmark’ünde VAR modelinin AR temel modelini önemli ölçüde geliştirdiğini, 1.80 FID ve 356 inception skoru elde ettiğini ve 20 kat daha hızlı çıkarım hızına sahip olduğunu gösterir. Ayrıca, VAR çerçevesi, DiT veya Diffusion Transformer çerçevesinin performansını FID ve IS skorları, ölçeklenebilirlik, çıkarım hızı ve veri verimliliği açısından geçer. Ayrıca, Visual AutoRegressive modeli, büyük dil modellerinde gözlenenlere benzer güç yasalarını gösterir.

Özetle, VAR çerçevesi aşağıdaki katkıları sağlar.

1. Yeni bir görsel oluşturma çerçevesi önerir, bu da next-ölçek tahmini yaklaşımını kullanır, geleneksel next-token tahmini yaklaşımından farklıdır, bu da görsel öğrenme için oto-regressif algoritmayı tasarlar.
2. Oto-regressif modeller için ölçekleme yasalarını ve zero-shot genellemeye sahip olmasını sağlar, bu da LLM’lerin çekici özelliklerini taklit eder.
3. Görsel oto-regressif modellerin performansında bir đột phá sağlar, bu da GPT-stil oto-regressif çerçevelerin ilk kez difüzyon modellerini görüntü sentezleme görevlerinde geçmesini sağlar.

Ayrıca, mevcut güç yasaları hakkında konuşmak önemlidir, bu da makine öğrenimi modellerinin ilişkisini matematiksel olarak tanımlar, veri büyüklüğü, model parametreleri, performans geliştirmeleri ve hesaplama kaynakları. İlk olarak, bu güç yasaları, daha büyük bir modelin performansını tahmin etmeyi sağlar, bu da model büyüklüğü, hesaplama maliyeti ve veri büyüklüğünü ölçeklendirerek kaynakları daha iyi dağıtmayı sağlar. İkinci olarak, güç yasaları, performansın tutarlı ve doyumsuz bir şekilde arttığını gösterir. Büyük dil modellerindeki ölçekleme yasalarının ilkeleri ile ilerleyerek, birçok LLM, model ölçeklendirilmesinin performans sonuçlarını geliştirdiğini gösterir. Zero-shot genellemeye gelince, bu, bir modelin, özellikle bir LLM’nin, açıkça eğitilmemiş görevleri gerçekleştirebilme yeteneğidir. Bilgisayar görüşü alanında, zero-shot ve bağlam içi öğrenme yeteneklerine sahip temel modeller oluşturmak için ilgi vardır.

Dil modelleri, WordPiece algoritmaları veya Byte Pair Encoding yaklaşımını metin tokenleştirme için kullanır. Görsel oluşturma modelleri, dil modellerine dayanarak, 2D görselleri 1D token dizilerine dönüştürmek için ağır olarak tokenleştirme kullanır. İlk çalışmalar, VQVAE gibi, görselleri orta kalitede yeniden inşa edebilen diskret token’lar olarak temsil etme yeteneğini gösterdi. VQVAE’nin ardılı, VQGAN çerçevesi, algısal ve karşıt kayıpları kullanarak görüntü sadakatini geliştirdi ve standart raster-tarama oto-regressif bir transformer kullanarak görüntü token’larını üretti. Difüzyon modelleri, uzun süredir görsel sentez görevlerinde en iyisi olarak kabul edildi, çeşitlilikleri ve superior oluşturma kalitelerinden dolayı. Difüzyon modellerinin gelişimi, örnek alma tekniklerinin geliştirilmesi, mimari geliştirmeleri ve daha hızlı örnek alma üzerine odaklandı. Latent difüzyon modelleri, latent uzayda difüzyon uygular, bu da eğitim verimliliğini ve çıkarımı geliştirir. Diffusion Transformer modelleri, geleneksel U-Net mimarisini transformer tabanlı bir mimari ile değiştirir ve recent görüntü veya video sentezleme modellerinde, SORA ve Stable Diffusion gibi modellerde kullanılır.

Görsel Oto-Regressif: Metodoloji ve Mimarisi

VAR çerçevesinin çekirdeğinde, iki ayrı eğitim aşaması vardır. İlk aşamada, multi-ölçek quantized oto-encoder veya VQVAE, bir görseli token haritalarına kodlar, ve bileşik yeniden inşa kaybı eğitim için uygulanır. Yukarıdaki görselde, gömme, diskret token’ları sürekli vektörler olarak dönüştürmek için kullanılan bir terimdir. İkinci aşamada, VAR modelinin transformer’i, ya cross-entropy kaybını en aza indirerek veya next-ölçek tahmini yaklaşımını kullanarak olasılığı en üst düzeyde çıkararak eğitilir. Eğitimli VQVAE, VAR çerçevesi için token haritası ground truth’ünü üretir.

Oto-Regressif Modelleme via Next-Token Tahmini

Verilen bir dizi diskret token için, her token bir sözlükten integer değeridir, next-token oto-regressif modeli,当前 token’ın olasılığının yalnızca ön eki bağlı olduğunu varsayar. Tek yönlü token bağımlılığı varsayımı, VAR çerçevesinin olasılıkları koşullu olasılıkların ürününe ayırmasına olanak tanır. Oto-regressif modeli eğitmek, modeli bir veri kümesi üzerinde optimize etmeyi içerir, bu da next-token tahmini olarak bilinen bir süreçtir, bu da eğitilen modelin yeni diziler oluşturmasına olanak tanır. Ayrıca, görseller 2D sürekli sinyallerdir, bu da next-token tahmini yaklaşımını görseller üzerinde uygulamak için bazı ön koşullar gerektirir. İlk olarak, görsel token’lara dönüştürülmelidir. Genellikle, bir quantized oto-encoder uygulanır. İkinci olarak, token’lar için 1D sıralama tanımlanmalıdır. Önceki oto-regressif yaklaşımlar, 2D token gridini row-major raster tarama, z-curve veya spiral sıralama gibi yöntemler kullanarak 1D diziye düzleştirdi.

VAR çerçevesi, oto-regressif modellemeyi next-ölçek tahmini yaklaşımına kaydırarak, bir token yerine, oto-regressif birimin tüm token haritası olduğunu varsayar. Model, görseli multi-ölçek token haritalarına kodlar, her biri önceki haritanın çözünürlüğünden daha yüksek çözünürlüğe sahiptir ve sonunda orijinal feature haritalarının çözünürlüğüne ulaşır. Ayrıca, VAR çerçevesi, next-ölçek tahmini için gerekli olan multi-ölçek token haritalarını kodlamak için yeni bir multi-ölçek quantization encoder geliştirir.

Görsel Oto-Regressif Modelleme via Next-Ölçek Tahmini

Görsel Oto-Regressif: Sonuçlar ve Deneyler

VAR çerçevesi, vanilla VQVAE mimarisini multi-ölçek quantization şeması ile kullanır, K ek convolution ve tüm ölçeklerde paylaşılan bir kod kitabıyla ve 32’lik bir latent boyut ile. VAR algoritmasına odaklanıldığından, model mimarisi tasarımı basit ancak etkili tutulur. Çerçeve, GPT-2 modellerinde uygulanan standart bir decoder-only transformer mimarisini benimser, tek değişiklik geleneksel layer normalization için adaptive normalization veya AdaLN’nin uygulanmasıdır. Sınıf koşullu sentez için, VAR çerçevesi, sınıf gömme’lerini başlangıç token’ı olarak ve adaptive normalization katmanının koşulu olarak uygular.

En İyi Görüntü Oluşturma Sonuçları

Mevcut generatif çerçevelerle, GAN’lar veya Generative Adversarial Networks, BERT-stil masked prediction modelleri, difüzyon modelleri ve GPT-stil oto-regressif modellerle karşılaştırıldığında, Visual AutoRegressive çerçevesi umut verici sonuçlar gösterir, aşağıdaki tabloda özetlenmiştir.

Gördüğünüz gibi, Visual AutoRegressive çerçevesi sadece FID ve IS skorlarını en iyi şekilde sağlayamaz, aynı zamanda state of the art modellerle karşılaştırılabilir bir görüntü oluşturma hızı gösterir. Ayrıca, VAR çerçevesi, tatmin edici bir doğruluk ve geri çağırma skorları gösterir, bu da semantik tutarlılığını onaylar. Ancak真正 sürpriz, VAR çerçevesinin geleneksel AR yetenekleri görevlerinde sergilediği mükemmel performans, bu da ilk kez bir oto-regressif modelin Diffusion Transformer modelini geçmesini sağlar, aşağıdaki tabloda gösterildiği gibi.

Sıfır-Shot Görev Genellemesi Sonucu

In-painting ve out-painting görevleri için, VAR çerçevesi, maskenin dışında ground truth token’ları zorlar ve modelin yalnızca maskenin içindeki token’ları üretmesine izin verir, hiçbir sınıf etiketi bilgisi modeline enjekte edilmez. Sonuçlar aşağıdaki görselde gösterilir ve VAR modelinin, parametreleri ayarlamadan veya ağ mimarisini değiştirmeden, aşağı akış görevlerinde kabul edilebilir sonuçlar elde ettiğini gösterir, bu da VAR çerçevesinin genellemesini gösterir.

Son Düşünceler

Bu makalede, Visual AutoRegressive modelleme adlı yeni bir görsel oluşturma çerçevesi hakkında konuştuk, bu 1) geleneksel görüntü oto-regressif (AR) modellerinde bazı sorunları teorik olarak ele alır ve 2) dil modeli tabanlı AR modellerinin ilk kez difüzyon modellerini görüntü sentezleme görevlerinde geçmesini sağlar. Bir yandan, geleneksel oto-regressif modeller, veri için belirli bir sırayı gerektirir, diğer yandan, Visual AutoRegressive veya VAR modeli, bir görselin nasıl sıralanacağını yeniden düşünür, bu da VAR’ı mevcut AR yöntemlerinden ayıran özelliktir. VAR’ı 2 milyar parametreye ölçeklendirdiğinde, geliştiriciler, test performansı ve model parametreleri veya eğitim hesaplama arasında açık bir güç yasası ilişkisi gözlemledi, Pearson katsayısı -0.998’e yaklaştı, bu da performans tahmini için güçlü bir çerçeve olduğunu gösterdi. Bu ölçekleme yasaları ve sıfır-shot görev genellemesi olasılığı, LLM’lerin özellikleri olarak, şimdi VAR transformer modellerimizde ilk kez doğrulandı.