Google Araştırması, Yapay Zeka Yaklaşımlarında Hiper Ölçeklendirme için Bir Darboğaz Belirledi

Google Araştırması’ndan yeni bir makale, çok yüksek hacimli veri setlerinin oluşturulmasına yönelik mevcut eğilimin, etkili yapay zeka sistemleri geliştirmeye karşı üretken olmayabileceğini belirtiyor. Aslında, araştırma, daha iyi makine öğrenimi ürünlerinin, daha az doğru (yani teknik olarak “daha kötü”) veri setlerinden eğitim görmesiyle ortaya çıkabileceğini gösteriyor.

Eğer araştırmacılar tarafından elde edilen ilkeler geçerli ise, bu, ‘hiper ölçekli’ veri setlerinin, Örneğin最近 yayımlanan LAION-400M (400 milyon metin/görüntü çifti içeren) ve GPT-3 nöral dil motorunun arkasındaki veriler gibi, geleneksel ve popüler makine öğrenimi mimarileri ve yöntemlerinde bir tür ‘termal sınır’a tabi olabileceği anlamına gelir. Burada, veri setinin hacmi, aşağı akış uygulamalarını doygunluğa ulaştırır ve faydalı bir şekilde genelleştirmelerini engeller.

Araştırmacılar, ayrıca, dengesizliği gidermek için hiper ölçekli veri seti mimarisini yeniden düşünmek için alternatif yöntemler öneriyorlar.

Makalede şöyle deniyor:

‘Bu olguların ortaya çıkmasına neden olan nedenleri daha derinlemesine incelemek için, temsil edilenlerin modellerin katmanları boyunca nasıl evrildiğine bağlı olarak doygunluk davranışının ortaya çıktığını gösteriyoruz. Aşağı akış ve yukarı akış performansının birbirleriyle çeliştiği daha aşırı bir senaryoyu sunuyoruz. Yani, aşağı akış performansını iyileştirmek için, yukarı akış doğruluğunu olumsuz etkilememiz gerekiyor.’

Çalışma, Exploring the Limits of Large Scale Pre-training adlı bir makale ve Google Araştırması’ndan dört yazar tarafından yayımlanmıştır.

‘Doygunluk’ Araştırması

Yazarlar, makine öğrenimi > veri ilişkileri konusunda, hiper ölçekli veri çağındaki baskın varsayımları sorguluyorlar: model ve veri boyutunun önemli ölçüde performansını iyileştireceği (GPT-3’ün piyasaya sürülmesinden bu yana yerleşmiş bir inanç); ve bu iyileştirilmiş performansın, lineer (yani arzu edilen) bir şekilde aşağı akış görevlerine geçeceği, böylece piyasaya sürülen cihazlarda kullanılan algoritmaların, otherwise ungovernably büyük veri setlerinden ve undistilled eğitimli modellerden tamamen yararlanacağı anlamına gelir.

‘Bu görüşler,’ araştırmacılar not ediyor, ‘büyük bir korpusun performansını iyileştirmek için harcama yapmanın ve araştırma çabası sarf etmenin, birçok aşağı akış görevini neredeyse bedava çözmeyi sağlayacağı anlamına gelir.’

Ancak makale, hesaplama kaynaklarının eksikliği ve model değerlendirme için kullanılan ‘ekonomik’ yöntemlerin, veri hacmi ve faydalı yapay zeka sistemleri arasındaki ilişki dinamiklerine ilişkin yanlış bir izlenime yol açabileceğini iddia ediyor. Yazarlar, bu alışkanlığı ‘büyük bir eksiklik’ olarak tanımlıyor, çünkü araştırma topluluğu genellikle yerel (pozitif) sonuçların faydalı sonraki uygulamalara çevrileceğini varsayar:

‘Hesaplama sınırlamaları nedeniyle, farklı hiperparametre değerleri için performans rapor edilmez. Ölçekleme grafikleri, her ölçek için sabit veya basit bir ölçekleme fonksiyonu tarafından belirlenen hiperparametre seçimiyle daha favorable görünür.’

Araştırmacılar, ayrıca, birçok ölçekleme çalışmasının mutlak ölçeklere karşı değil, devlet-sanat (SotA) karşı olarak ölçüldüğünü, ‘çalışılan aralığın dışında ölçeklemenin geçerli olacağı için bir neden olmadığını’ gözlemliyorlar.

Ön Eğitim

Makale, ‘ön eğitim’ uygulamasını ele alıyor, bu, hesaplama kaynaklarını tasarruf etmek ve büyük ölçekli verilerden sıfırdan bir modeli eğitmek için thường gereksiz zaman dilimlerini azaltmaya yönelik bir önlemdir. Ön eğitim anlık görüntüleri, bir domaine ait verilerin eğitimi sırasında nasıl genelleştirileceğini ele alır ve genellikle Doğal Dil İşleme (NLP) gibi çeşitli makine öğrenimi sektörlerinde ve uzmanlıklarında kullanılır.

Önceki akademik araştırmalar, ön eğitimin model dayanıklılığını ve doğruluğunu önemli ölçüde iyileştirebileceğini buldu, ancak yeni makale, ön eğitim şablonlarındaki özelliklerin karmaşıklığının, daha kısa eğitimli ön eğitim şablonlarında bile, daha sonraki işlemlerde daha faydalı olabileceğini öne sürüyor.

Ancak bu, araştırmacıların mevcut en iyi uygulamaları kullanarak öğrenme oranlarına bağımlı kaldıkları sürece gerçekleşemez, çünkü araştırma, bu uygulamaların nihai uygulamaların doğruluğunu önemli ölçüde etkileyebileceğini kếtüller.

Çalışma

Doygunluk etkisini belirlemek için yazarlar, 10 milyon ile 10 milyar parametre arasında değişen Vision Transformers, ResNets ve MLP-Mixers üzerinde 4800 deney gerçekleştirdiler. Deneyler, ilgili sektörlerdeki en yüksek hacimli veri setleriyle eğitildi, bunlar arasında ImageNet21K ve Google’ın kendi JFT-300M veri setleri de bulunuyordu.

Çalışmanın sonuçları, makaleye göre, ‘veri çeşitliliği’nin, veri setini, model parametrelerini ve hesaplama süresini ‘büyütme’ girişimlerinde ek bir eksen olarak dikkate alınması gerektiğini gösteriyor. Şu anda, AI pipeline’ının yukarı akış bölümüne yönelik eğitim kaynaklarına ve araştırmacıların dikkatine yönelik ağır konsantrasyon, aşağı akış uygulamalarına bir parametre ‘kar fırtınası’ ile sonuçlanıyor ve bu da dağıtılan algoritmaların özelliklerini gezinme ve çıkarım yapma veya dönüşümler gerçekleştirmede yeteneklerini azaltıyor.

Makale şöyle bitiriyor:

‘Kapsamlı bir çalışmayla, yukarı akış görevinin performansını, ölçekleme veya hiperparametre ve mimari seçimlerle iyileştirdikçe, aşağı akış görevlerinin performansı doygunluk davranışını gösterir. Ayrıca, ölçeklemenin tek bir modelin her şeye uyan çözüme yol açmadığına dair güçlü ampirik kanıtlar sunuyoruz.’