Yapay zeka modelleri ve platformları

AWS, sunucusuz SageMaker özelleştirmesine tam ağırlık eğitimi getiriyor

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarTam ince ayar her ağırlığı güncellerken LoRA önceden eğitilmiş ağırlıkları dondurur ve…
Daha fazla göster
  • Tam ince ayar her ağırlığı güncellerken LoRA önceden eğitilmiş ağırlıkları dondurur ve düşük dereceli adaptörler ekler.
  • 5e-5 veya daha yüksek agresif öğrenme oranları, MMLU doğruluğunun %3,6'ya düşmesiyle felaket unutmaya yol açtı.
  • Sunucusuz çalışma altyapı yönetimini ortadan kaldırır ancak eğitilen ağırlık sayısını azaltmaz.

Amazon Web Services, 18 Kasım 2026’da SageMaker AI Serverless Model Customization için tam ince ayar (FFT) desteğini duyurdu ve 100.000’den fazla eğitim örneği kullanan bir kodlama deneyinde anlamsal doğruluğun %90,0 olduğunu bildirdi; ancak agresif ayarların genel bilgi düzeyinde ciddi kayıplara yol açtığı konusunda uyarıda bulundu.

Müşteriler bir temel model, veri kümesi ve hiperparametreler sağlar; hizmet, GPU tahsisi, küme kurulumu veya dağıtık eğitim yapılandırması gerektirmeden işlem kaynaklarını ayırır ve kontrol noktalarını yönetir. AWS’nin SageMaker Python SDK örneğinde yöntem değiştirmek, bir şeyi başka bir şeyle değiştirmek anlamına gelir TrainingType.FULL ile TrainingType.LORA; iş yapılandırmasının geri kalanı değiştirilmeden kalır.

FFT, modelin tüm ağırlıklarını günceller. LoRA ise önceden eğitilmiş ağırlıkları sabit tutar ve düşük rütbeli adaptör matrisleri ekler; bu, GPU kapasitesi gereksinimlerini azaltırken güncellemeleri daha küçük bir temsil alanıyla sınırlar. AWS’nin açıklamasına göre tam rütbeli eğitim, eğitilebilir parametre sayısını artırmakla yetinmek yerine, veri kümeleri büyüdükçe daha karmaşık alan uyarlamalarını yakalayabilir.

Kontrollü Kodlama Testleri

AWS, yöntemleri Qwen3-4B temel modeline uygulanan denetimli ince ayar (SFT) ile karşılaştırdı; istemler, hedefler ve değerlendirme kodu aynıydı. Magicoder-Evol-Instruct-110K veri kümesi; algoritma tasarımı, hata ayıklama, veri yapıları ve sistem programlamayı kapsayan kodlama talimatı-yanıt çiftleri içeriyordu. Veri bölünmesinde 99.000 kayıt eğitim, 5.500 kayıt doğrulama ve 5.500 kayıt ayrılmış test kümesi için kullanıldı.

Değerlendirmelerde görev performansı ile bilginin korunması birbirinden ayrı ele alındı. Amazon Nova Pro, üretilen kodu özgün istemle birlikte inceleyerek mantıksal doğruluğu değerlendiren bir LLM hakemi olarak görev yaptı. PRIMECODE, referans çözümlere benzerliği deterministik BLEU, ROUGE-1/2/L ve F1 ölçütleriyle ölçerken MMLU, 57 akademik alandaki genel bilgiyi sınadı.

AWS, anlamsal doğruluk puanının üçüncü dönemde zirveye çıktığını ve daha uzun eğitimin test edilen tüm varyantların performansını düşürdüğünü bildirdi. Radar karşılaştırmasında FFT, gösterilen tüm kalite boyutlarında LoRA’yı ve temel modeli geride bıraktı; en büyük farklar BLEU ve ROUGE-2’de görüldü. Bu da farkın tek bir ölçütle sınırlı olmadığını gösteriyordu.

AWS, birden fazla temel modelde öğrenme oranını, yığın boyutunu, ısınma oranını, dönem sayısını ve veri kümesi ölçeğini değiştirerek onlarca özelleştirme deneyi gerçekleştirdiğini söyledi; iş gönderiminden değerlendirmeye kadar her çalıştırma birkaç saat sürdü. Ortaya çıkan modeller, incelenmek veya dağıtıma alınmak üzere SageMaker Model Registry’de sürümlenmiş Model Packages olarak otomatik biçimde kaydedildi.

Tam İnce Ayarda Bilgi Kaybı Riski

AWS, FFT’nin her durumda üstün olmadığını vurguladı: Hem FFT hem de LoRA, MATH kesin eşleşme ölçütünde temel modelden daha düşük performans gösterdi. Ayrıca, LLM hakeminin yaptığı ayrı bir karşılaştırmada LoRA %81,5 ile FFT’nin %79,5’lik sonucunu geçti.

Agresif öğrenme oranları ciddi kayıplara yol açtı. AWS’nin testlerinde 5e-5 veya üzerindeki oranlarda MATH puanları %2–3’e, MMLU doğruluğu ise %3,6’ya düştü. Bu sonuçlar, alana özgü eğitimin önceden eğitilmiş bilgilerin üzerine yazmasıyla daha geniş yeteneklerin kaybolması anlamına gelen yıkıcı unutmanın kanıtıydı. Risk haritasında büyük veri kümeleri için 2e-5 daha güvenli bir ayar olarak belirlendi; bu oranı %5 ısınma ve 8’lik genel yığın boyutuyla birleştiren temel yapılandırma, test edilen yapılandırmalar arasında MMLU ile ölçülen genel bilgiyi en iyi koruyan seçenek oldu.

Yığın boyutu da bilginin korunmasını etkiledi. Öğrenme oranı sabit tutulduğunda daha küçük yığınlar, daha yüksek öğrenme oranına benzer biçimde davranan daha gürültülü güncellemeler üretti ve unutma riskini artırdı. Daha büyük yığınlar gürültüyü azalttı ancak optimizasyon adımlarının sayısını da düşürerek modelin yetersiz öğrenmesine yol açabilirdi.

Dağıtıma Alma Konusundaki Ödünleşimler

AWS’nin desteklenen model listesine göre FFT ile SFT; DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B ve NVIDIA Nemotron 3 Nano (A3B) dâhil olmak üzere açık ağırlıklı modeller için kullanılabiliyor.

FFT belgelerinde, yöntemin LoRA ile aynı veri kümesi biçimlerini kullandığı ancak daha fazla işlem kaynağı ve daha uzun eğitim gerektirdiği, modelin tüm ağırlıklarını içeren daha büyük çıktılar ürettiği ve sürekli özelleştirmeyle uyumlu olmadığı belirtiliyor. Ayrıca çıkarım sırasında adaptör yükünü ortadan kaldırıyor.

Sunucusuz çalışma, altyapıyı kimin tahsis edip kontrol noktalarını kimin yönettiğini değiştirir; eğitilen ağırlıkların sayısını azaltmaz. Dolayısıyla bu lansman, daha kapsamlı özelleştirmeyi yürütmeyi kolaylaştırırken işlem maliyeti ve kalite dengesi, göreve özgü kazanımların daha ağır eğitim yükünü ve genel yeteneklerdeki olası kayıpları telafi edip etmemesine bağlı kalır.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.