Baseten, Sunucusuz Loops’u Eğitim Sonrası Kullanım İçin Genel Kullanıma Sunuyor

Baseten, 6 Kasım 2026’da Serverless Loops’un genel kullanıma sunulduğunu duyurdu. Böylece açık modellerde gözetimli ince ayar ve pekiştirmeli öğrenme için sunduğu yönetilen SDK’yı herkesin kullanımına açtı. Hizmet, token başına eğitim ücreti alıyor ve kontrol noktalarından doğrudan Baseten Dedicated Inference’a geçiş olanağı sağlıyor.

Loops, iş bölümüne dayalı bir yapıyla çalışıyor: kullanıcılar eğitim sinyalini sağlarken Baseten GPU’ları, çekirdekleri, model mimarilerini ve dağıtık eğitim arka ucunu yönetiyor. Python SDK, temel modelin ağırlıklarını sabit tutarak LoRA adaptörlerini eğitiyor. Kullanıcılar temel modeli, LoRA derecesini, öğrenme oranını, kayıp fonksiyonunu, verileri veya ortamı ve algoritmayı seçiyor; Baseten ise eğitici bileşeni, örnekleyiciyi, ağırlık eşitlemesini ve destekleyici altyapıyı çalıştırıyor.

Uyumluluk paketi, mevcut betiklerini taşıyan ekiplerin Tinker içe aktarımlarını ve temel eğitim ve örnekleme çağrılarını koruyor. Taşıma kılavuzu, kimlik doğrulamayı Baseten API anahtarına göre değiştirmeyi, kontrol noktalarını sayfalandırılmış dosya URL’leri olarak döndürmeyi, görüntü girdilerinin satır içinde verilmesini zorunlu kılmayı ve LoRA modülü kapsamını model ailesine göre belirlemeyi gerektiriyor. Uyumluluk, eğitim API’sini kapsarken altyapıya özgü bazı ayrıntıları ekiplerin düzenlemesine bırakıyor.

Sunucusuz Modeller ve Ücretlendirme

Sunucusuz kataloğunda üç model bulunuyor: Qwen/Qwen3.6-35B-A3B ve zai-org/GLM-5.3-Flash metin ve görüntü için, ayrıca zai-org/GLM-5.3 yalnızca metin için. Her biri en fazla 262.144 tokenlık bir dizi uzunluğunu destekliyor. GLM-5.3’ün uzun bağlam yapılandırması şunları desteklemiyor: cross_entropy veya dpo kayıp fonksiyonlarını. Özel mod, daha geniş model kataloğunu kapsıyor, GPU süresi üzerinden ücretlendiriliyor ve çoğaltma, sıcak yeniden kullanım ve spot kapasite için denetim seçenekleri sunuyor.

Sunucusuz çalıştırmalar, GPU rezervasyonu gerektirmeden paylaşımlı kapasiteden yararlanıyor ve eğitim ile örneklemede kullanılan token’lar üzerinden ücretlendiriliyor. Sonuçları okumak, ödül fonksiyonunu değiştirmek veya boşta beklemek için harcanan süreden token ücreti alınmıyor. Varsayılan mod seçimi; desteklenmeyen bir model, LoRA derecesi veya dizi uzunluğu söz konusu olduğunda ya da bir çalıştırma başka bir çalıştırmanın dağıtımlarını yeniden kullandığında özel kapasiteye geçebiliyor. Kapsamı sunucusuz olarak ayarlamak ise desteklenmeyen bir isteğin başarısız olmasına yol açıyor.

Bir modelin etkinleştirilmesi, kaynakların tahsis edileceğini garanti etmiyor. Çalışma alanına özgü erişim, kullanılamayan GPU’lar ve kuruluşun eğitici bileşenlerine koyduğu sınırlar, bir çalıştırmayı yine de engelleyebilir. Bu da token başına ücret modeline, yayımlanan kataloğun ötesinde uygulamaya dönük kapasite sınırları getiriyor.

Kontrol Noktaları ve Üretim Çıkarımı

Hızlı başlangıç dört temel işlemi gösteriyor: forward_backward kayıp ve gradyan işlemleri için, optim_step adaptör güncellemeleri için, sample üretim için ve save_state yeniden başlatılabilir eğitim için. Örnekleyici ağırlıklarının yayımlanması, dağıtıma hazır bir kontrol noktası ve bu kontrol noktasına sabitlenmiş bir örnekleme istemcisi oluşturuyor. Ayrı bir save_state işlem, modelin ve optimize edicinin durumunu koruyor. Sunucusuz kapasitenin devreye girmesi gerektiğinden ilk örnekleme isteği birkaç dakika sürebiliyor; bu, kısa deneylerde dikkate alınması gereken pratik bir nokta.

Bir örnekleyici kontrol noktası, eğitilmiş LoRA adaptörü yüklenmiş temel model olarak dağıtılıyor. Dağıtım temel ağırlıkları indirdiği için kontrol noktaları çalıştırmaları sona erdikten sonra da kullanılabiliyor ve Hugging Face erişim belirteciyle CLI, REST API veya kontrol paneli üzerinden dağıtılabiliyor. Ortaya çıkan OpenAI uyumlu uç nokta, etkin olduğu süre boyunca GPU kullanımı için ücretlendiriliyor. Dağıtımı silmek, kontrol noktasını silmeden GPU ücretini durduruyor; Loops çalıştırmasını devre dışı bırakmak ise dağıtımı kaldırmıyor.

Baseten, genel kullanıma sunulma öncesinde geçici ağ hatalarının ve GPU arızalarının ele alınışını iyileştirdiğini, başlangıç yükünü azalttığını ve eğiticiler ile örnekleyiciler arasındaki ağırlık aktarımını hızlandırdığını belirtiyor. Baseten’e göre bu değişiklikler, eşzamanlı olarak daha fazla müşteri iş yükünün çalıştırılmasını sağlıyor; şirketin üretim çıkarım yığını da günde 15 milyardan fazla isteğe hizmet veriyor. Üretim süreci otomatik ölçeklendirme, dağıtım yönetimi ve çıkarım ölçümlerini içerirken kullanıcılar ağırlıkları Hugging Face Safetensors biçiminde indirebiliyor.

Doğrulama ve İlk Müşteri İş Yükleri

Baseten, hizmeti sayısal testlerle ve perakende, havayolu ve bankacılık alanlarındaki τ-bench görevlerini kullanan uçtan uca pekiştirmeli öğrenme deneyleriyle doğruladığını, ardından görülmemiş zorlu görevlerde değerlendirme yaptığını belirtiyor. τ-bench projesi, aracıların kurumsal alanlarda kullanıcılarla sohbet edip edemediğini, araçları çağırıp çağıramadığını, bilgi getirip getiremediğini ve politikalara uyup uymadığını ölçen bir kıyaslama sunuyor; sonuçlar doğrulanabilir veritabanı çıktılarıyla karşılaştırılıyor.

Baseten, NVIDIA’nın Nemotron Super 3.5 VL modelini metin ve görüntü görevleri için eğitim sonrası aşamada eğittiğini; böylece niyet sınıflandırma doğruluğunu %76,8’den %94’e çıkardığını ve fiş verisi çıkarımında doğrulama F1 puanını %87’ye ulaştırdığını bildiriyor. Çalışma, görsel nesne sayımı için pekiştirmeli öğrenmeyi de içeriyordu. Datadog, SRE aracısı için eğitim fikirlerini sınamak amacıyla çok turlu ajan tabanlı pekiştirmeli öğrenme kullanıyor; Ambience Healthcare ise klinik transkripsiyon hatalarını düzeltmek ve tıbbi terminoloji ile biçimlendirmeyi doğru şekilde yakalamak için modelleri eğitim sonrası aşamada eğitti.

LangChain Labs, LangSmith Engine için ajan izleriyle modellere eğitim sonrası ince ayar yapıyor. Bu çalışmalar arasında, bir sorunu teşhis etmek için bir GitHub deposunu okuyan ve pull request için istem ya da kod değişikliği taslağı hazırlayan modeller de var. İzleri hata türü ve önem derecesine göre sınıflandırmak veya mevcut sorunlarla eşleştirmek için daha küçük, açık ağırlıklı bir modele geçilebiliyor. LangChain’in iş akışı, uygulama davranışının nasıl eğitim hedefine dönüştüğünü; model boyutunun ve göreve özgü uzmanlaşmanın işin gereksinimlerine göre nasıl seçildiğini gösteriyor.

Müşteri hesapları, genel kullanıma sunulma duyurusundan önceki kullanımı belgeliyor ve öngörülen altyapı döngüsünü ortaya koyuyor: uygulama verileri eğitim girdisine dönüşüyor, kontrol noktaları değerlendiriliyor ve seçilen modeller üretime doğru ilerliyor. Altyapı ekipleri için maliyet sınırı da aynı ölçüde açık. Desteklenen sunucusuz çalıştırmalar GPU rezervasyonu ve boşta kalma süresindeki token ücretlerini ortadan kaldırırken, canlı bir çıkarım uç noktası GPU’su için ücretlendirme yapmayı sürdürüyor; sunucusuz seçeneklerin nerelerde geçerli olduğunu ise sunucusuz katalog ve çalışma alanı kapasitesi belirliyor.