Baseten Merilis Joey-1, Model Keputusan dengan Bobot Terbuka 2B

Pada 29 Oktober 2026, Baseten merilis joey-1, model keputusan dengan 2B parameter yang dikembangkan oleh laboratorium riset internalnya, Base Labs. Model ini dibanderol $0,01 per juta token dan tersedia melalui Baseten Model APIs serta dengan bobot terbuka di Hugging Face.

Dengan joey-1, keluarga model keputusan Base Labs kini mencakup tiga ukuran. Pengumuman tersebut memperkenalkan model baru ini bersama mammoth-1 (27B) dan elephant-1 (9B), yang diluncurkan dalam rilis keluarga model pada 21 Oktober. Dalam rilis sebelumnya itu, Baseten menyebut mammoth-1 sebagai model dengan peringkat tertinggi di antara 208 model keputusan dalam Jev Decision Index dan elephant-1 sebagai model keputusan 9B terkemuka. Ketiga model dilatih menggunakan campuran data yang sama dan memiliki API yang sama. Menurut perusahaan, peralihan di antara ketiganya hanya memerlukan perubahan satu baris. Baseten menempatkan mammoth-1 untuk keputusan yang paling mengutamakan akurasi, elephant-1 sebagai pilihan bawaan yang seimbang, dan joey-1 untuk beban kerja bervolume tinggi yang sensitif terhadap latensi.

Berbeda dari LLM generatif, model keputusan tidak menghasilkan teks. Dalam satu lintasan maju, model ini mengembalikan label beserta skor keyakinan untuk label tersebut, dengan jumlah skor untuk semua kemungkinan jawaban sama dengan 1. Dengan masukan berupa suatu keadaan—teks, yang dapat disertai gambar—dan serangkaian pertanyaan, joey-1 memberikan probabilitas terkalibrasi untuk setiap opsi melalui satu proses prefill dengan prefiks bersama. Model ini mendukung tiga jenis pertanyaan: ya/tidak, pilihan di antara opsi yang disebutkan, dan tingkat penilaian berurutan. Dalam unggahan sebelumnya tentang keluarga model tersebut, Baseten mencantumkan beberapa penggunaan model keputusan, termasuk memilah dan mengarahkan tiket, mendeteksi spam dan phishing, menerapkan pengamanan prompt dan mendeteksi jailbreak, serta mengarahkan permintaan ke LLM kecil atau LLM mutakhir.

Baseten mengatakan bahwa memindahkan beban kerja LLM ke joey-1 layak dilakukan ketika volume keputusan cukup tinggi sehingga biaya per panggilan menentukan keekonomian proyek, atau ketika keputusan menjadi prasyarat untuk langkah berikutnya dan latensinya menambah waktu pada setiap respons. Sebagai contoh, mengklasifikasikan 10 juta tiket dukungan per bulan dengan rata-rata sekitar 500 token per tiket menghasilkan total 5 miliar token. Menurut perhitungan harga perusahaan, biayanya sekitar $50 per bulan jika menggunakan joey-1, dibandingkan $500 dengan mammoth-1. Baseten menggambarkan joey-1 sebagai model lini pertama, dengan model yang lebih besar seperti elephant-1 atau mammoth-1 tersedia sebagai opsi eskalasi saat joey-1 tidak yakin.

Hasil Latensi dan Tolok Ukur yang Dilaporkan

Baseten melaporkan bahwa pada skala produksi, joey-1 menangani permintaan rata-rata 2.000 token dengan latensi menyeluruh P50 sebesar 20 ms, sekitar 2,5 kali lebih cepat daripada elephant-1 yang mencapai 49 ms. Perusahaan juga menyebut model ini 5 kali lebih cepat daripada model keputusan sebanding. Baseten mengatakan bahwa dalam pengujian internalnya—yang rinciannya akan disampaikan kemudian—joey-1 merupakan model keputusan terkuat dengan parameter sebanyak 3B atau kurang.

Kartu model melaporkan bahwa joey-1 memperoleh skor 63,30 pada bagian publik Jev Decision Index 0.4, menempati peringkat ke-37 dari 230 model dan mencatat skor tertinggi di antara model dengan parameter di bawah 4B pada bagian tersebut. Tabel bagian publik dalam kartu itu mencantumkan skor elephant-1 sebesar 72,24, Cloudflare Clef 61,71, Jev 1.14 60,70, dan Perplexity Decider Flash v1.2 60,06. Menurut kartu tersebut, skor joey-1 lebih rendah daripada elephant-1 di setiap bidang yang dievaluasi, dan lebih tinggi daripada Jev 1.14 di empat dari lima bidang: bahasa, alat dan otomatisasi, pengambilan informasi dan klasifikasi, serta seni dan selera manusia.

Dalam replika internal Artificial Analysis Decision Index milik Base Labs, kartu model melaporkan skor joey-1 sebesar 62,9, di bawah mammoth-1 yang meraih 65,9, elephant-1 dengan 65,2, dan d1-ultra dengan 65. Halaman pustaka model Baseten menyatakan bahwa saat dirilis pada Oktober 2026, joey-1 merupakan model 2B dengan peringkat tertinggi di Jev Decision Index 0.4.

Data dan Metode Pelatihan

Menurut kartu model, joey-1 menjalani pelatihan lanjutan dari Qwen3.5-2B dengan campuran data dan metode yang sama seperti elephant-1 dan mammoth-1, menggunakan Baseten Training Jobs. Prosesnya mencakup penyempurnaan penuh model bahasa pada keputusan berbasis teks dan gambar, dengan enkoder visi dibekukan, menggunakan masker perhatian blok dua arah pada lapisan perhatian penuh dan panjang urutan maksimum 16.384 token.

Kumpulan data pelatihan terdiri atas 6,21 juta contoh keputusan dalam campuran yang disebut laboratorium itu Mix 8: 58,3% keterampilan keputusan inti, 16,1% keselamatan dan abstensi, 16,1% penilaian dan ranah keahlian, serta 9,5% data keputusan publik. Sasaran pelatihan menggabungkan entropi silang dengan komponen kalibrasi Brier, dengan lambda ditetapkan sebesar 1, serta menyertakan opsi “Saya tidak tahu” yang dilatih untuk kasus ketika model tidak yakin akan jawabannya. Metode tersebut menjalankan satu epoch yang terdiri atas 43.390 langkah, dengan laju pembelajaran puncak 1e-5 menggunakan pengoptimal AdamW, nilai beta 0,9 dan 0,95 tanpa peluruhan bobot, pemanasan 3%, peluruhan kosinus, serta presisi bf16 pada dua node yang masing-masing memiliki delapan GPU H100, atau total 16 GPU.

Ketersediaan, Harga, dan Penerapan

joey-1 kini tersedia melalui Baseten Model APIs pada endpoint /v1/systemone dengan ID model decision-models/baseten-joey-2b-latest; retensi data dinonaktifkan secara bawaan. Harga yang tercantum adalah $0,01 per juta token masukan, sementara token masukan yang di-cache dan token keluaran masing-masing tercantum seharga $0,00. Tabel harga keluarga model mencantumkan elephant-1 seharga $0,035 dan mammoth-1 seharga $0,1 per juta token. Dalam pengumumannya, Baseten menyebut harga joey-1 sepersepuluh harga mammoth-1.

Di Model APIs, model pengambilan keputusan mendukung jendela konteks 16k dan dioptimalkan untuk beban kerja berlatensi rendah. Deployment khusus membuka jendela konteks penuh 262k dan mendukung bobot yang disetel halus; Baseten mengatakan deployment tersebut juga dapat menghasilkan TTFT dan TPS (waktu hingga token pertama dan jumlah token per detik) yang lebih cepat berkat pengoptimalan khusus beban kerja dan kolokasi dengan beban kerja LLM. elephant-1 dan joey-1 tersedia untuk pascapelatihan melalui Baseten Training Jobs, dan perusahaan tersebut telah menerbitkan panduan penyetelan halus di GitHub.

Bobot model ini tersedia secara terbuka di bawah lisensi MIT. Untuk menghostingnya sendiri, skrip penyiapan pada kartu model memasang runtime penyajian dengan versi yang dikunci, yaitu OneJev dengan patch penyajian, dan memerlukan satu GPU CUDA. Kartu tersebut menyebutkan bahwa permintaan yang melebihi batas panjang yang digunakan saat pelatihan akan ditolak, bukan dipangkas.