IBM Merilis Model Granite Switch 4.1 Modular dalam Ukuran 8B dan 30B

Pada 15 Oktober 2026, IBM mengumumkan Granite Switch 4.1, dengan merilis dua model bahasa modular berparameter 8 miliar dan 30 miliar. Masing-masing menggabungkan model dasar, adapter pengambilan keputusan serbaguna, adapter keselamatan, dan encoder ucapan-ke-teks tersemat dalam satu endpoint yang dihosting. Artikel blog IBM Granite yang mengumumkan perilisan ini ditulis oleh Kate Soule, Subhajit Chaudhury, Hendrik Strobelt, dan Luis A Lastras.

Konfigurasi 4.1

Perilisan ini mencakup Granite-Switch-4.1-8B dan Granite-Switch-4.1-30B, yang dibuat berdasarkan model dasar granite-4.1-8b dan granite-4.1-30b. Masing-masing memiliki 8 miliar dan 30 miliar parameter serta jendela konteks 128K. Kartu model 8B dan kartu model 30B mencantumkan tanggal rilis 14 Oktober 2026, lisensi Apache 2.0, serta backend Hugging Face Transformers dan vLLM.

Setiap checkpoint menggabungkan tiga komponen dengan model dasar: Activated LoRA (aLoRA) pengambilan keputusan untuk keperluan umum; guardian-core, aLoRA dari pustaka Guardian milik IBM yang mendeteksi risiko keselamatan terkait bahaya, upaya menerobos batasan, kata-kata kasar, kekerasan, konten seksual, bias sosial, dan perilaku tidak etis; serta Granite Speech 5.0 TurboCTC, encoder conformer CTC non-autoregresif berbahasa Inggris dengan 470 juta parameter yang disematkan untuk transkripsi dan menurut IBM merupakan model ASR tercepat di OpenASR Leaderboard. IBM menyatakan bahwa ketiga teknologi tersebut, bersama model dasar, membutuhkan memori GPU yang kira-kira sama dengan kebutuhan model dasar saja.

Kartu model tersebut juga mencantumkan varian pratinjau tanpa audio (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview, dan granite-switch-4.1-3b-preview) yang menyertakan bundel adapter Granite Libraries lengkap. IBM memperkenalkan proyek Granite Switch pada musim semi 2026 sebagai pendekatan modular untuk pengembangan model. Sementara itu, perilisan Granite Libraries sebelumnya menyediakan repositori adapter khusus untuk pengambilan keputusan dan berbagai tugas, yang dapat digabungkan ke dalam model Switch kustom.

Cara Kerja Pengalihan

Granite Switch menggunakan mekanisme yang dalam kartu model disebut pengalihan pakar pada tingkat kasar, yaitu satu adapter tetap aktif di semua lapisan dekoder untuk rentang token yang berurutan. Pemanggil mengaktifkan adapter dengan meneruskan namanya ke templat obrolan, yang secara otomatis menyisipkan token kontrol terkait. Lapisan pengalih ringan yang dibangun berdasarkan mekanisme perhatian standar mendeteksi token tersebut dan menghasilkan indeks adapter untuk setiap posisi, sehingga setiap lapisan dekoder menerapkan bobot LoRA yang sesuai pada rentang itu.

Kartu model mencantumkan empat karakteristik desain: setiap adapter hanya membaca cache KV model dasar dan tidak pernah membaca keadaan internal adapter lain; adapter dikembangkan, diuji, dan diterbitkan secara terpisah tanpa pelatihan bersama; satu checkpoint dapat digunakan dengan Transformers maupun vLLM; dan pemilihan adapter tidak memerlukan perubahan kode. IBM menyatakan bahwa desain Activated LoRA yang hemat cache memungkinkan cache KV dari proses pembuatan teks oleh model dasar digunakan kembali untuk pengambilan keputusan berikutnya yang berbasis adapter. IBM juga menyebut kontribusi kernel vLLM terbarunya dan encoder ASR yang ditempatkan bersama sebagai faktor yang memungkinkan peralihan cepat antara permintaan obrolan, pengambilan keputusan, dan ucapan.

Adapter pengambilan keputusan menerima suatu keadaan dan pertanyaan dengan pilihan berlabel, lalu menghasilkan distribusi probabilitas softmax atas label-label tersebut dalam satu kali proses propagasi maju. Audio yang masuk ditranskripsikan oleh encoder ucapan tersemat, lalu transkrip yang dihasilkan menggantikan audio di dalam konteks obrolan. Dengan demikian, transkripsi berlangsung pada endpoint yang sama dengan obrolan dan pengambilan keputusan, tanpa server ucapan terpisah dan tanpa mengubah cara model dipanggil. IBM juga menyediakan ruang demo Speech-to-Decisions yang memungkinkan model 8B mentranskripsikan audio masuk, membuat ringkasan, memeriksa konten berbahaya, dan mengevaluasi 15 penanda tambahan yang ditentukan pengguna, semuanya secara waktu nyata pada satu endpoint.

Tolok Ukur dan Perbandingan yang Dilaporkan IBM

IBM membandingkan pendekatannya dengan model pengambilan keputusan tertutup seperti Jev, yang menurut IBM berfokus pada keserbagunaan. IBM menyatakan bahwa adapter guardian-core rata-rata mengungguli Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, dan Clef-Flash dalam tugas pengambilan keputusan terkait keselamatan. Dalam perbandingan yang diterbitkan IBM antara adapter Granite Libraries khusus dan model pengambilan keputusan serbaguna, adapter Granite terbaik unggul pada OOD Safety sebesar 2,3 poin, IFEval sebesar 17,0, BIO F1 sebesar 11,0, dan RAGTruth sebesar 11,8. Namun, adapter tersebut tertinggal pada LM-AggreFact sebesar 2,6, InfoBench-GPT4 sebesar 3,2, dan InfoBench-Human sebesar 0,8.

Kartu model melaporkan skor Decision Index untuk adapter pengambilan keputusan, yang diukur pada subset cepat publik dalam tolok ukur tersebut, mencakup 1.068 baris, dengan penilaian edisi-v0.3 saat adapter dijalankan di balik endpoint vLLM yang dihosting. Adapter 8B memperoleh skor keseluruhan 42.9, dengan skor 29.1 untuk Knowledge, 48.9 untuk Language, 49.8 untuk Retrieval, 59.8 untuk Tools, dan 18.0 untuk Arts. Adapter 30B memperoleh skor keseluruhan 50.1, dengan skor 32.4 untuk Knowledge, 58.6 untuk Language, 49.8 untuk Retrieval, 76.5 untuk Tools, dan 26.4 untuk Arts. Kartu model menyatakan bahwa hasil penggunaan adapter yang sama secara lokal dan melalui layanan yang dihosting berbeda sekitar 0.6 poin atau kurang.

IBM juga melaporkan sebuah uji perbandingan: Granite-Switch-4.1-30B, model dasar Granite beku dengan empat aLoRA khusus, menyelesaikan alur kerja RAG lima langkah di dunia nyata jauh lebih cepat daripada Jev-27B, model dasar Qwen beku dengan satu LoRA keputusan generik. Dalam demonstrasi kedua, IBM menyebutkan bahwa model Granite Switch khusus dengan 3 miliar parameter yang memainkan Doom membuat 60 hingga 100 keputusan per detik, dibandingkan dengan 10 keputusan per detik yang dilaporkan untuk Jev. IBM juga menyatakan bahwa, tidak seperti Jev, modelnya dapat menarasikan permainan dan menjawab pertanyaan sambil bermain.

Ketersediaan, Persyaratan, dan Keterbatasan

Kedua checkpoint dilisensikan di bawah Apache 2.0. Persyaratannya adalah Python 3.9 atau yang lebih baru, PyTorch 2.11.0 atau yang lebih baru, Transformers 5.16 hingga 5.17.0, serta vLLM secara opsional, mulai dari versi 0.26.0 hingga sebelum 0.28.0. Arsitektur dasar padat yang hanya menggunakan dekoder ini memakai grouped-query attention (GQA), RoPE, SwiGLU, dan RMSNorm; mendukung konteks sepanjang 131.072 token; serta mencantumkan bahasa Inggris, Jerman, Spanyol, Prancis, Jepang, Portugis, Arab, Ceko, Italia, Korea, Belanda, dan Mandarin sebagai bahasa yang didukung.

Siapa pun dapat merangkai model Granite Switch khusus dengan memadukan adapter dari katalog adapter proyek tersebut menggunakan perangkat composer-nya. IBM menyebut Mellea sebagai lapisan aplikasi pilihan untuk menjalankan adapter Granite Switch. Mellea sudah mendukung keluarga adapter Granite Libraries, tetapi adapter keputusan belum memiliki intrinsic Mellea; dukungannya direncanakan. IBM juga berencana menghadirkan Adapter SDK untuk melatih adapter khusus dan pihak ketiga di Mellea, disertai tutorial dan dukungan Granite Switch. IBM menyatakan akan merilis lebih banyak detail dan data tentang Granite Switch dalam beberapa minggu setelah pengumuman tersebut.

Kartu model tersebut mencatat beberapa keterbatasan. Rangkaian pemrosesan ucapan hanya berfungsi dalam bahasa Inggris dan menghasilkan transkrip dengan huruf kecil tanpa tanda baca, tanpa pengarahan saat decoding. Selain itu, karena encoder ASR tidak dilatih bersama model bahasa atau adapter, kesalahan transkripsi dapat secara diam-diam mengubah respons model atau adapter. vLLM membatasi permintaan log-probabilitas label opsi keputusan hingga 128 ID token, sehingga pertanyaan dengan lebih banyak opsi harus dipecah menjadi beberapa permintaan berkelompok. Kartu model tersebut juga menyatakan bahwa guardian-core bukan pengganti pengujian keselamatan pada tingkat aplikasi; checkpoint tidak menyertakan adapter Guardian Library untuk deteksi faktualitas, koreksi faktualitas, dan perlindungan kebijakan; serta probabilitas adapter keputusan sebaiknya dipahami sebagai prior yang menjadi masukan bagi pengambilan keputusan, bukan sebagai klasifikasi tersertifikasi untuk ranah di luar data pelatihannya.