Baseten Membawa Keahlian Inferensi ke Koalisi Nemotron NVIDIA

Baseten mengumumkan pada 5 November 2026 bahwa mereka bergabung dengan Koalisi NVIDIA Nemotron, dengan menyumbangkan wawasan dari beban kerja perusahaan serta keahlian dalam pelatihan lanjutan dan inferensi untuk pengembangan model terbuka. Keanggotaan ini memperluas kolaborasinya dengan NVIDIA, mencakup peluncuran model, pembelajaran penguatan, kustomisasi, dan inferensi khusus.

NVIDIA meluncurkan koalisi tersebut pada 16 Maret 2026 untuk menghimpun penelitian, keahlian, data, dan komputasi bagi pengembangan model terbuka terdepan. Dalam pengumuman peluncurannya, NVIDIA menyatakan bahwa proyek pertama akan berupa model dasar yang dikembangkan bersama oleh Mistral AI dan NVIDIA, dilatih di NVIDIA DGX Cloud, dirilis sebagai sumber terbuka agar dapat dikhususkan oleh para pengembang dan organisasi, serta digunakan sebagai landasan bagi keluarga Nemotron 4 yang akan datang.

Baseten menjadi mitra peluncuran sejak hari pertama untuk Nemotron 3.5 Super VL dan Nemotron 3 Ultra. Perannya dalam koalisi ini tidak hanya mencakup penyajian model yang telah selesai, tetapi juga lingkungan pelatihan dan pengetahuan operasional yang dibentuk oleh penggunaan di perusahaan. Fokus praktisnya adalah kustomisasi untuk memenuhi kebutuhan bisnis tertentu, dengan kualitas penerapan, biaya, dan fleksibilitas diperlakukan sebagai hal-hal yang saling terkait.

Pelatihan untuk Beban Kerja Produksi

Perusahaan tersebut mengembangkan lingkungan pembelajaran penguatan untuk menangani hierarki instruksi yang kompleks, mengabaikan informasi yang tidak relevan, dan mengikuti preferensi gaya yang terperinci. Lingkungan lainnya dirancang untuk penalaran dan perencanaan jangka panjang melalui analisis statistik terhadap kumpulan data biologis yang kompleks, pembuktian teorema matematika, dan permainan kompetitif. Tugas-tugas ini mencerminkan cara instruksi dalam lingkungan produksi disampaikan melalui perintah sistem, definisi alat, tindak lanjut dari pengguna, respons alat, dan pesan kesalahan.

Pekerjaan multimodalnya mencakup tugas penalaran visual dan spasial serta pemanggilan alat dalam beberapa putaran yang memerlukan pemahaman visual. Baseten melaporkan bahwa pelatihan lanjutan meningkatkan hasil pada MMMU-Pro, tolok ukur penalaran multimodal tingkat pakar. Sebuah makalah terkait yang diajukan pada 5 Oktober 2026 menjelaskan proyektor berparameter 50 juta yang menghubungkan enkoder visi Kimi K2.6 ke GLM 5.2 dan GLM 5.3 sembari mempertahankan bobot pralatih tetap, dengan evaluasi pada MMMU-Pro dan BLINK.

Hasil Kustomisasi Terukur

Laporan penelitian CodeRabbit tanggal 11 Agustus 2026 menguraikan proyek bersama NVIDIA dan Baseten untuk mengustomisasi Nemotron 3.5 Lightning agar dapat mengarahkan peninjauan kode melalui penyetelan halus terawasi, yang dilanjutkan dengan pembelajaran penguatan menggunakan imbalan yang dapat diverifikasi. Dalam evaluasi tetap yang terdiri atas 1.000 tugas, tingkat kesesuaian rute secara persis meningkat dari 75,8% pada model dasar menjadi 80,4% setelah penyetelan halus terawasi dan 80,7% setelah pelatihan dengan imbalan. Kappa Cohen, ukuran tingkat kesepakatan di luar yang dapat terjadi secara kebetulan, naik dari 0,429 menjadi 0,461, lalu 0,544.

CodeRabbit menganggap perubahan akhir sebesar 0,3 poin persentase dalam kesesuaian rute sebagai tidak menunjukkan regresi, bukan sebagai peningkatan yang meyakinkan secara statistik, karena interval kepercayaan berpasangannya melintasi nol. Perbandingan penyajian modelnya memperkirakan pengurangan biaya sebesar 50,4% pada throughput jenuh: evaluasi yang sama menghabiskan biaya $2,34 pada model dasar dan $1,16 pada satu A100 Baseten. Pemeriksaan beban berkelanjutan dan lalu lintas produksi masih akan dilakukan pada tahap berikutnya.

Harvey menawarkan contoh kustomisasi yang berbeda. Baseten melaporkan bahwa platform AI hukum tersebut melatih lanjutan Nemotron di Baseten untuk alur kerja khusus yang melayani puluhan ribu pengacara setiap hari. Penelitian yang diterbitkan Harvey dan Baseten pada 8 September 2026 memuat ruang data M&A ke dalam lingkungan Python dan memungkinkan agen utama mendelegasikan peninjauan dengan cakupan terbatas kepada subagen. Harvey melaporkan bahwa pada tujuh model yang diuji dengan 50 ruang data yang disisihkan, kerangka kerja tersebut meningkatkan rata-rata tingkat kelulusan kriteria rubrik dari 23,3% menjadi 62,4%.

Laporan Harvey juga menyebutkan bahwa pembelajaran penguatan pada model agen utama Qwen3.5-122B-A10B meningkatkan tingkat kelulusannya dari 29,9% menjadi 63,0% pada 50 ruang data tersebut, sembari menggambarkan eksperimen itu sebagai eksplorasi awal dan kesenjangan yang masih tersisa menuju tingkat kelulusan nyaris sempurna sebagai cukup besar.

Penerapan dan AI Suara

Baseten Loops menghubungkan alur kerja pembelajaran penguatan terkelola dengan Inferensi Khusus, sementara pelanggan tetap memiliki bobot model yang mereka latih. Loops mendukung Nemotron 3.5 Super VL dan Nemotron 3 Ultra, dengan Super VL tersedia untuk pelatihan BF16 dan NVFP4.

Perusahaan-perusahaan tersebut juga mengevaluasi agen suara berbasis Nemotron pada aplikasi lengkap, termasuk kualitas dan daya tanggap model. Tolok ukur pengenalan suara Baseten tanggal 4 Agustus 2026 melaporkan bahwa satu NVIDIA H100 mampu menangani hingga 100 aliran audio WebSocket waktu nyata secara bersamaan. Latensi finalisasi—waktu sejak pembicara selesai berbicara hingga transkrip akhir siap—meningkat dari 98 milidetik pada delapan aliran menjadi 138 milidetik pada 100 aliran.

Keanggotaan Baseten dalam koalisi ini menghubungkan adaptasi model dengan infrastruktur yang digunakan untuk menyajikan model hasilnya. Hasil pelanggan memberikan bukti konkret bagi pendekatan tersebut, sementara perkiraan CodeRabbit pada throughput jenuh dan pemeriksaan produksi yang belum selesai, bersama eksperimen tahap awal Harvey, menunjukkan batas-batasnya. Pertanyaan utamanya adalah seberapa baik peningkatan yang terukur ini bertahan dalam penggunaan produksi berkelanjutan.