İncelenen AI Modelinden Zararın Kolayca Geri Kazanılacağı Bulundu

Amerika Birleşik Devletleri’nden yapılan yeni bir araştırmaya göre, bir AI temel modelini kendi verilerinize göre ince ayarlayarak özgün modelin işlevselliğini azaltmaya veya bozmaya gerek yoktur ve nispeten basit bir çözümle özgün modelin yetenekleri restore edilebilir ve aslında çıkış kalitesini iyileştirebilir.

Çeşitli modellerde yazarların yeni post-educational ayarlamasıyla performans kazançları. Makaledeki daha fazla ayrıntı. Kaynak: http://export.arxiv.org/pdf/2409.16223

Bunun anlamı önemli, sadece teknoloji devlerinin dikkatleri, generative sistemlerin “hizmet olarak” kiralanmasının finansal kazançlarına odaklananlar için değil, aynı zamanda açık kaynaklı modelleri indirerek özelleştiren ve bu şekilde kişiselleştirilmiş AI yazma ve görüntü/video oluşturma sistemlerine daha ucuz ve kısıtlamaları daha az bir şekilde erişmek isteyen artan sayıda “kord kesen” hobi için de önemlidir.

Makale yazarları, yöntemlerinin potansiyeline olan heyecanlarını gizlemiyorlar; bu, 2023 gönderisine Holistic Transfer: Partial Target Data ile Bozulmayan İnce Ayar (birçok katkıda bulunan ile birlikte) göre önemli ilerlemeler sağlıyor.

Onlar diyor ki:

‘Bulunanlar cesaret verici ve derin anlamı olan sonuçlar! Basit bir post-işlem ayarlamasıyla, ince ayarlanmış modelin eksik sınıfların daha düşük doğruluğunu potentially adres edebileceğini ve önceden eğitilmiş modelin yeteneklerini geri getirebileceğini ve tüm sınıflar üzerinde özelliklerin kalitesini iyileştirebileceğini gösteriyorlar.’

Yeni çalışmaya göz atmadan önce, bu çalışmanın çözmeye çalıştığı sorunu görelim.

Neden Önemli

İlk geniş çaplı ince ayar dalgası, Ağustos 2002’de Stability.ai’nin Stable Diffusion metin-görüntü modelinin yayınlanmasının ardından gerçekleşti. İlk modeller, hyperscale LAION veri kümesinin bir alt kümesinde eğitildi ve herkesin indirebileceği şekilde sunuldu.

Özgün modelin olağanüstü generatif özelliklerine özel içerik (kendi kimlik, sanat stilleri veya ünlülerin temsili gibi) eklemek isteyen kullanıcılar, DreamBooth gibi tekniklere başvurmak zorunda kaldılar – Google Research tarafından geliştirilen bir özelleştirme yönteminin bir uzantısı, bu, kullanıcıya, freely-available modeli, ince ayarlayarak, yeni verileri eğitmeye izin verdi.

2022’den Google’un resmi DreamBooth uygulaması için kullanıcı süreci örnekleri. Kullanıcı, birkaç görüntüyü seçer ve Stable Diffusion’un eğitim verisinde olmayan benzersiz bir ad seçer. Kaynak: https://dreambooth.github.io/

Bu şekilde, belirli bir kişi veya özel bir sanat stili oluşturmak için çok iyi olan ancak genel kullanıma ‘bozulmuş’ bir model kopyasını elde etmek mümkündü.

Bu, üç farklı kişiyi resmedebilmesi için Stable Diffusion’u ince ayarlamak isteyen bir kullanıcı için, her biri yaklaşık 2-4GB veya daha büyük olan üç farklı model oluşturmak zorunda kalacağı anlamına geliyordu.

Bu modelleri ikinci kez ince ayarlamaya çalışmak, yalnızca genel performansı daha da bozmakla kalmaz, aynı zamanda önceki ince ayar oturumundan çıkışları da olumsuz etkiler.

Her durumda, ünlü DreamBooth modelleri kısa sürede internet üzerinde yayılacak ve principalmente civit.ai alanında toplanacaktı. Sonunda, Low-Rank Adaptation (LoRA) gibi daha az zahmetli yöntemler, popülerlikte ince ayarlamayı geçecekti (ancak LoRA çıkışının tam bir ince ayar kadar etkili olup olmadığı tartışmalı kalıyor ve NVIDIA, apparentemente daha etkili bir yaklaşım olan DoRA‘yı açık kaynak olarak yayınladı).

LoRA, Parameter-Efficient Fine-Tuning (PEFT) kategorisine girer, bu da yalnızca modelin eğitilmiş parametrelerinin bir alt kümesini etkiler.

Bazı kullanıcılar, açık kaynaklı Stable Diffusion kontrol noktalarını, binlerce görüntüde ince ayarlayarak, temel naturelerini değiştirmek istediler.

Bu, temelde, kullanıcıların eğittiği alana adanmış bir temel model üretti. Bu amaç için, LoRA gibi “hafif” yöntemler muhtemelen menos etkili olacaktı, çünkü modelin ağırlıkları, yeni eğitim verilerine karşı ciddi bir önyargıya ihtiyaç duyacaktı.

Yerel Sohbet

Büyük Dil Modelleri (LLM) ile ilgili ilgi son zamanlarda arttıkça, API tabanlı hizmetlerin (ve bunlarla ilişkili maliyetlerin) büyüyen çıkışlarını tránh etmek isteyen kullanıcılar, artık açık kaynaklı modelleri indirip ince ayarlıyorlar, Llama 3 gibi, böylece kişiselleştirilmiş AI yazma ve görüntü/video oluşturma sistemlerine daha ucuz ve kısıtlamaları daha az bir şekilde erişebilirler.

Burada da, LoRA’lar tam bir ince ayar yerine kullanılabilir. Daha önce de iddia ettiğimiz gibi, ince ayar, kullanıcıların özel ihtiyaçlarına uyarlanmış LLM’ler üretmek için daha iyi bir yöntemdir. İnce ayar, daha fazla donanım gereksinimi olabilir ve daha uzun sürebilir, ancak kullanıcıların yeni verilerini özümsemesi için daha derin bir genellemeye sahiptir.

İnce ayarın sorunu, yıkıcı bir süreç olması ve daha sonra ek veri üzerinde artırımsal olarak eğitilememesidir, như yukarıda not edildi.

Modelin özelliklerine ve önyargılarına enjekte edilen özellikler, apparentemente veri kümesindeki orijinal ağırlık dengesini bozar, bu da modelin ya kullanıcı tarafından sağlanan verilere aşırı bir şekilde yansıtmasına veya orijinal temel modelden (yeni verilere bağlı olmayan görevlerde) daha kötü performans göstermesine neden olur.

Bunu, belirli model kısımlarını eğitim sırasında dondurarak bir ölçüde telafi etmek mümkündür; ancak bu, modelin dondurulmuş kısmının yeni ince ayarlanmış verilere iyi genellememesi nedeniyle azaltılmış genel işlevselliğe yol açabilir.

Özgün modelin yeteneklerini ince ayarlanmış modelde korumanın ve aynı zamanda modelin ince ayar verilerine dayalı çıkış üretme yeteneğini iyileştirmenin daha kolay bir yolu olsaydı, gerçekten harika olurdu.

Bu, hobi severlerden ve erken benimseyenlerden, yerel LLM’ler ve diğer tür generatif modelleri kullananlara kadar, tüm potansiyel kullanıcılar için faydalı olacaktır. Ayrıca, çok pahalı AI modellerini iteratif ve yıkıcı olmayan bir şekilde iyileştirebilen FAANG düzeyindeki şirketler için de faydalı olacaktır.

Post-İşlem Ayarlaması

Bu, bizi yeni makaleye getiriyor, İnce Ayar Fine, Ayarlıysa adlı ve Ohio Eyalet Üniversitesi, Wisconsin-Madison Üniversitesi ve Rensselaer Polytechnic Enstitüsü’nden 11 araştırmacının katkıda bulunduğu bir çalışma.

Araştırmacılar, bir temel modeli ince ayarladığında neyin hasar gördüğünü bulmaya çalıştılar. İnce ayarlanmış model ile orijinal model arasındaki tek büyük farkın, ince ayar sınıfları ve modelin orijinal sınıfları arasında logit ölçeklerinde büyük bir uyumsuzluk olduğunu kếtülediler.

Logit bağlantıları, bir mantıksal regresyon sürecinde başarı olasılığını öngörür, tahmini değerleri (çok kesin olabilir) sıfır veya bir olarak çevirir.

Yazarlar, bu açığın neredeyse kasıtlı olarak geri döndürülebilir bir kalibrasyon tekniği ile telafi edilebileceğini keşfettiler ve bu sonraki çözüm, aslında ince ayar verilerinin çıkış kalitesini iyileştirir. Dolayısıyla, bu teknikle, yalnızca orijinal temel modelin yeteneklerini elde edersiniz, sondern aynı zamanda kendi ince ayarlanmış verilerinizi daha iyi entegre edersiniz.

(Makale, bu tekniğin bir modeli birden fazla kez ince ayarlayarak etkili kalmasını ima etse de, bu olasılığı incelemiyor)

İnce ayar后的 model hasarını araştırmalarıyla ilgili bulgularını tartışırken, yazarlar diyor ki:

‘Şaşırtıcı bir şekilde, ince ayarlanmış modelin diğer sınıflar arasındaki ilişkiyi unuttuğunu veya bu sınıfları tanıyabilme özelliklerini bozduğunu bulmadık.

‘Aksine, ince ayarlanmış model, bu sınıflar için genellikle daha ayırt edici özellikler üretir, hatta ince ayar sırasında eksik olsalar bile!

‘Aslında, doğruluğu bozan şey, ince ayar sınıfları ve diğer sınıflar arasındaki logit ölçeklerinin uyumsuzluğudur, bu da basit bir post-işlem ayarlamasının orijinal eğitilmiş modelin yeteneklerini geri getirebileceğini ve aynı zamanda tüm sınıflar üzerinde özellik iyileştirmesini ortaya çıkarabileceğini ima eder.’

Yazarlar, bu teorisini test etmek için sonuçlarını bir GitHub deposunda tekrar üretilebilir halde yayınladılar.

Araştırmalarında, temel modelin mimarisinde hasar gören tek kısmın, ince ayar sırasında eksik sınıfları ince ayar sınıfları olarak yanlış sınıflandıran ikili sınıflandırıcı olduğunu buldular.

Makale diyor ki*:

‘[Tüm eksik sınıfların logitlerine bir kalibrasyon önyargı faktörü ekleyerek 4, 40], ince ayarlanmış model, eksik sınıf doğruluğunu erfolgreich bir şekilde geri kazanabilir ve aşağı akış alanında uygun bir genel iyileşme elde edebilir.

‘Sonuç, birçok benchmarkte, Holistic Transfer gibi güçlü bir referans noktasını, ImageNet ve varyantları dahil olmak üzere, ImageNet, ImageNet-R, ImageNet-Sketch, Office-Home ve VTAB dahil, Complicated eğitim ve hiperparametre ayarlaması olmadan geçer.’

Çalışmadan sonuçlar: Yazarlara göre, post-işlem ayarlaması yapılmış bir ince ayarlanmış model, problemdeki state-of-the-art yaklaşımı geçebilir.

Yazarlar, post-kalibre edilmiş ince ayarlanmış bir modelin iyileştirilmiş performansını ‘beklenmedik iyi huylu davranışlar’ olarak sınıflandırır ve temel bir Stochastic Gradient Descent (SGD) optimizatörü kullanıldığında, daha popüler güncel optimizatörlerle (örneğin, Adam) karşı daha iyi bir sonuç elde edildiğini gözlemlediler.

‘Ancak,’ not ediyorlar ‘yeterince küçük öğrenme oranları ve ağırlık çürümesi ile, iyi huylu davranışlar ortaya çıkıyor ve devam ediyor.’

Minor Repairs

İnce ayarlamadan kaynaklanan logit uyumsuzluklarını onarmak için, yazarlar, zero-shot öğrenme tekniğinden bir yöntem ödünç aldılar, tüm eksik sınıfların logitlerine sabit bir faktör eklediler. Bu, yeni bir sınıflandırma kuralı oluşturdu.

Yazarlar, bu sürecin, ihmal edilen eksik sınıfları, ince ayarlanmış sınıfların aynı tahmin kalitesine ‘terfi ettirdiğini’ ve orijinal performansı restore ettiğini ve aynı zamanda eklenen verilerin çıkış performansını iyileştirdiğini belirtiyorlar.

Testlerde, post-ayarlama tekniği, çeşitli ince ayarlanmış modellerin performansı geri kazandı. Tablodaki ‘Oracle’, eksik sınıf verilerini de dikkate alan bir ince ayarlanmış sınıflandırıcıya işaret eder.

Onlar ayrıca, post-işlem ayarlamasının ‘potansiyel olarak herhangi bir modele uygulanabilir’ olduğunu ve katmanları (örneğin, sınıflandırıcı ve omurga) donduran yöntemlerin kendi önerdikleri yaklaşıma kıyasla kötü performans gösterdiğini gözlemlediler.

Conclusion

Bu işbirliğinden elde edilen bulgular önemli görünüyor. Bir AI modelini hyperscale bir veri kümesinde eğitmek, bir yolcu uçağının kalkışına benzer bir taahhüttür. Eğitim kesintiye uğrayabilir ve hasar, periyodik olarak ağırlıkları kaydetme yoluyla (bununla birlikte önemli depolama maliyeti) telafi edilebilir, ancak eğitim başladıktan sonra sonuçları değiştirmek için çok az şey yapılabilir.

Çalışmanın etkileyici olan yanı, araştırmacıların genel AI model eğitimi ilkesini keşfetmiş gibi görünmeleri ve çözümün şaşırtıcı bir şekilde zarif olmasıdır.

İnce ayarlamadan sonra temel model doğruluğunu korumanın ekonomik etkileri de önemlidir. Bugüne kadar, çok milyonlarca dolarlık modellerin eksikliklerini gidermek için en yaygın yöntem, çıkışları推測 zamanında filtrelemek veya çıkarımı bu tür zayıflıkları önlemek için kontrol etmekti.

Ek olarak, bu teknik, tüketici düzeyindeki ince ayarlanmış generatif modellerin yeteneklerini önemli ölçüde iyileştirebilir ve çıkış kalitesinde bir artış sağlayabilir.

* Yazarların inline alıntılarını hyperlinklere çevirim.

İlk olarak 1 Ekim 2024 Salı günü yayınlandı