Baseten Menghadirkan Serverless Loops secara Umum untuk Pascapelatihan

Pada 6 November 2026, Baseten mengumumkan bahwa Serverless Loops kini tersedia secara umum, sehingga SDK terkelolanya untuk penyempurnaan terawasi dan pembelajaran penguatan pada model terbuka dapat digunakan semua orang. Layanan ini menerapkan penagihan pelatihan per token dan menyediakan jalur langsung dari checkpoint ke Baseten Dedicated Inference.

Loops dirancang dengan pembagian tugas: pengguna menyediakan sinyal pelatihan, sedangkan Baseten mengoperasikan GPU, kernel, arsitektur model, dan backend pelatihan terdistribusi. Python SDK melatih adapter LoRA dengan bobot model dasar tetap beku. Pengguna memilih model dasar, peringkat LoRA, laju pembelajaran, fungsi loss, data atau lingkungan, serta algoritme; Baseten menjalankan pelatih, sampler, sinkronisasi bobot, dan infrastruktur pendukung.

Paket kompatibilitas mempertahankan impor Tinker serta pemanggilan inti untuk pelatihan dan sampling bagi tim yang memigrasikan skrip yang sudah ada. Panduan migrasi tetap mengharuskan perubahan autentikasi menjadi kunci API Baseten, mengembalikan checkpoint sebagai URL file berpaginasi, mewajibkan masukan gambar sebaris, serta menetapkan cakupan modul LoRA berdasarkan keluarga model. Kompatibilitas ini mencakup API pelatihan, tetapi beberapa detail khusus infrastruktur tetap perlu disesuaikan oleh tim.

Model Tanpa Server dan Penagihan

Katalog tanpa server mencakup tiga model: Qwen/Qwen3.6-35B-A3B dan zai-org/GLM-5.3-Flash untuk teks dan visi, serta zai-org/GLM-5.3 khusus untuk teks. Masing-masing mendukung panjang urutan maksimum 262.144 token. Konfigurasi konteks panjang GLM-5.3 tidak mendukung cross_entropy atau dpo loss. Mode khusus mencakup katalog model yang lebih luas, mengenakan biaya berdasarkan waktu penggunaan GPU, serta menyediakan kontrol untuk replika, penggunaan ulang instans aktif, dan kapasitas spot.

Eksekusi tanpa server menggunakan kapasitas bersama tanpa memerlukan reservasi GPU dan mengenakan biaya berdasarkan token yang digunakan dalam pelatihan dan sampling. Waktu yang digunakan untuk membaca hasil, mengubah fungsi reward, atau tidak melakukan apa pun tidak dikenai biaya token. Pemilihan mode bawaan dapat beralih ke kapasitas khusus jika model, peringkat LoRA, atau panjang urutan tidak didukung, atau jika suatu eksekusi menggunakan kembali deployment milik eksekusi lain. Sebaliknya, mengatur cakupan ke mode tanpa server akan menyebabkan permintaan yang tidak didukung gagal.

Pengaktifan model tidak menjamin penyediaan kapasitas. Akses khusus ruang kerja, GPU yang tidak tersedia, dan batas pelatih yang ditetapkan organisasi tetap dapat menghambat eksekusi, sehingga model bayar per token memiliki sejumlah batas kapasitas praktis di luar katalog yang dipublikasikan.

Checkpoint dan Inferensi Produksi

Panduan mulai cepat menyediakan empat operasi inti: forward_backward untuk menghitung loss dan gradien, optim_step untuk memperbarui adapter, sample untuk menghasilkan keluaran dan save_state untuk pelatihan yang dapat dilanjutkan. Menerbitkan bobot sampler akan membuat checkpoint yang dapat di-deploy dan klien sampling yang terikat pada checkpoint tersebut. Operasi terpisah save_state mempertahankan status model dan pengoptimal. Permintaan sampling pertama dapat memerlukan waktu beberapa menit saat kapasitas tanpa server mulai aktif, hal yang perlu dipertimbangkan untuk eksperimen singkat.

Checkpoint sampler di-deploy sebagai model dasar dengan adapter LoRA terlatih yang telah dimuat. Checkpoint tetap tersedia setelah eksekusinya berakhir dan dapat di-deploy melalui CLI, REST API, atau dasbor menggunakan token akses Hugging Face, karena proses deployment mengunduh bobot dasar. Endpoint yang dihasilkan dan kompatibel dengan OpenAI mengenakan biaya GPU selama aktif. Menghapus deployment tersebut menghentikan biaya GPU tanpa menghapus checkpoint; menonaktifkan eksekusi Loops tidak menghapus deployment.

Untuk peluncuran ketersediaan umum (GA), Baseten meningkatkan penanganan kesalahan jaringan sementara dan kegagalan GPU, mengurangi overhead saat memulai, serta mempercepat transfer bobot antara pelatih dan sampler. Baseten menyatakan bahwa perubahan tersebut mendukung lebih banyak beban kerja pelanggan secara bersamaan dan bahwa tumpukan inferensi produksinya menangani lebih dari 15 miliar permintaan setiap hari. Jalur produksi mencakup penskalaan otomatis, pengelolaan deployment, dan metrik inferensi, sementara pengguna dapat mengunduh bobot dalam format Safetensors Hugging Face.

Validasi dan Beban Kerja Awal Pelanggan

Baseten menyatakan telah memvalidasi layanan ini melalui pengujian numerik dan eksperimen pembelajaran penguatan menyeluruh menggunakan tugas τ-bench di bidang ritel, penerbangan, dan perbankan, yang kemudian diikuti evaluasi pada tugas sulit yang tidak disertakan dalam pelatihan. Proyek τ-bench menjelaskan sebuah tolok ukur untuk mengukur apakah agen mampu berkomunikasi dengan pengguna, memanggil alat, mengambil pengetahuan, dan mengikuti kebijakan di berbagai bidang usaha, dengan hasil yang diperiksa berdasarkan hasil basis data yang dapat diverifikasi.

Baseten melaporkan bahwa NVIDIA melakukan pascapelatihan pada Nemotron Super 3.5 VL untuk tugas teks dan visi, sehingga akurasi klasifikasi maksud meningkat dari 76.8% menjadi 94% dan F1 validasi untuk ekstraksi tanda terima mencapai 87%; pekerjaan tersebut juga mencakup pembelajaran penguatan untuk menghitung objek visual. Datadog menggunakan pembelajaran penguatan agen multi-giliran untuk menguji gagasan pelatihan bagi agen SRE-nya, sedangkan Ambience Healthcare melakukan pascapelatihan model untuk memperbaiki kesalahan transkripsi klinis serta menangkap terminologi dan format medis secara akurat.

LangChain Labs melakukan pascapelatihan model menggunakan jejak agen untuk LangSmith Engine, termasuk pekerjaan yang membaca repositori GitHub untuk mendiagnosis masalah dan menyusun draf prompt atau perubahan kode untuk permintaan tarik. Model ini dapat beralih ke model berbobot terbuka yang lebih kecil untuk mengklasifikasikan jejak berdasarkan jenis dan tingkat keparahan kegagalan, atau mencocokkannya dengan masalah yang sudah ada. Alur kerja LangChain menunjukkan bagaimana perilaku aplikasi menjadi sasaran pelatihan, dengan ukuran model dan spesialisasi tugas yang dipilih sesuai kebutuhan pekerjaan.

Akun pelanggan mendokumentasikan penggunaan sebelum pengumuman ketersediaan umum (GA) dan menunjukkan alur infrastruktur yang dimaksud: data aplikasi menjadi masukan pelatihan, checkpoint dievaluasi, lalu model terpilih diarahkan menuju produksi. Bagi tim infrastruktur, batas biayanya juga sama jelasnya. Proses serverless yang didukung tidak memerlukan reservasi GPU dan menghindari biaya token selama waktu menganggur, sementara endpoint inferensi aktif tetap dikenai biaya untuk GPU-nya; katalog serverless dan kapasitas ruang kerja menentukan kapan opsi serverless dapat digunakan.