IBM phát hành các mô hình Granite Switch 4.1 dạng mô-đun với quy mô 8B và 30B

Ngày 15 tháng 10 năm 2026, IBM công bố Granite Switch 4.1, gồm hai mô hình ngôn ngữ dạng mô-đun có lần lượt 8 tỷ và 30 tỷ tham số. Mỗi mô hình kết hợp một mô hình nền, một bộ điều hợp ra quyết định đa dụng, một bộ điều hợp an toàn và một bộ mã hóa tiếng nói thành văn bản tích hợp trong cùng một điểm cuối được lưu trữ. Bài đăng trên blog IBM Granite công bố đợt phát hành do Kate Soule, Subhajit Chaudhury, Hendrik Strobelt và Luis A Lastras chấp bút.

Cấu hình 4.1

Đợt phát hành gồm Granite-Switch-4.1-8B và Granite-Switch-4.1-30B, được xây dựng trên các mô hình nền granite-4.1-8b và granite-4.1-30b, lần lượt có 8 tỷ và 30 tỷ tham số cùng cửa sổ ngữ cảnh 128K. Thẻ mô hình 8B và thẻ mô hình 30B ghi ngày phát hành là 14 tháng 10 năm 2026, giấy phép Apache 2.0 và các phần phụ trợ Hugging Face Transformers cùng vLLM.

Mỗi điểm kiểm tra kết hợp ba thành phần với mô hình nền: LoRA được kích hoạt (aLoRA) để ra quyết định đa dụng; guardian-core, một aLoRA thuộc thư viện Guardian của IBM, có chức năng phát hiện các rủi ro an toàn liên quan đến hành vi gây hại, bẻ khóa, ngôn từ tục tĩu, bạo lực, nội dung tình dục, thiên kiến xã hội và hành vi phi đạo đức; cùng Granite Speech 5.0 TurboCTC, một bộ mã hóa conformer CTC tiếng Anh phi tự hồi quy có 470 triệu tham số, được tích hợp để phiên âm. IBM mô tả đây là mô hình ASR nhanh nhất trên OpenASR Leaderboard. IBM cho biết cả ba công nghệ này, khi kết hợp với mô hình nền, cần lượng bộ nhớ GPU xấp xỉ bằng lượng bộ nhớ mà riêng mô hình nền sử dụng.

Các thẻ mô hình cũng liệt kê những phiên bản xem trước không tích hợp âm thanh (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview và granite-switch-4.1-3b-preview), được phát hành kèm toàn bộ gói bộ điều hợp Granite Libraries. IBM giới thiệu dự án Granite Switch vào mùa xuân năm 2026 như một phương pháp phát triển mô hình dạng mô-đun; đợt phát hành Granite Libraries trước đó cung cấp kho lưu trữ các bộ điều hợp chuyên biệt cho tác vụ và ra quyết định, có thể kết hợp để tạo các mô hình Switch tùy chỉnh.

Cơ chế chuyển đổi hoạt động như thế nào

Granite Switch sử dụng cơ chế mà các thẻ mô hình gọi là chuyển đổi chuyên gia ở mức độ thô; theo đó, một bộ điều hợp duy nhất duy trì trạng thái hoạt động trên tất cả các lớp giải mã trong một chuỗi token liên tiếp. Bên gọi kích hoạt bộ điều hợp bằng cách truyền tên của nó vào mẫu trò chuyện, mẫu này tự động chèn token điều khiển tương ứng. Một lớp chuyển đổi gọn nhẹ, được xây dựng trên cơ chế chú ý tiêu chuẩn, phát hiện các token đó và tạo chỉ số bộ điều hợp cho từng vị trí, qua đó hướng dẫn mỗi lớp giải mã áp dụng trọng số LoRA phù hợp cho chuỗi token đó.

Các thẻ mô hình liệt kê bốn đặc tính thiết kế: mỗi bộ điều hợp chỉ đọc bộ nhớ đệm KV của mô hình nền, không bao giờ đọc trạng thái nội bộ của bộ điều hợp khác; các bộ điều hợp được phát triển, kiểm thử và phát hành độc lập, không qua huấn luyện chung; một điểm kiểm tra duy nhất hoạt động với cả Transformers và vLLM; và việc chọn bộ điều hợp không đòi hỏi thay đổi mã. IBM cho biết thiết kế LoRA được kích hoạt, tối ưu bộ nhớ đệm, cho phép tái sử dụng bộ nhớ đệm KV từ lần tạo đầu ra của mô hình nền cho các quyết định tiếp theo dựa trên bộ điều hợp. IBM cũng ghi nhận những đóng góp gần đây của mình cho nhân vLLM và bộ mã hóa ASR được đặt cùng vị trí là yếu tố giúp chuyển đổi nhanh giữa các yêu cầu trò chuyện, ra quyết định và lời nói.

Bộ điều hợp ra quyết định nhận một trạng thái cùng câu hỏi có các lựa chọn được gắn nhãn, sau đó tạo phân phối xác suất softmax trên các nhãn đó chỉ trong một lượt truyền xuôi. Bộ mã hóa tiếng nói tích hợp phiên âm âm thanh đầu vào; bản phiên âm thu được thay thế phần âm thanh trong ngữ cảnh trò chuyện. Nhờ vậy, quá trình phiên âm diễn ra trên cùng điểm cuối với trò chuyện và ra quyết định, không cần máy chủ xử lý tiếng nói riêng và không phải thay đổi cách gọi mô hình. IBM cũng đang lưu trữ một không gian minh họa Speech-to-Decisions, trong đó mô hình 8B phiên âm âm thanh đầu vào, tạo bản tóm tắt, kiểm tra nội dung có hại và đánh giá thêm 15 cờ do người dùng xác định, tất cả đều theo thời gian thực trên một điểm cuối.

Các điểm chuẩn và phép so sánh do IBM công bố

IBM so sánh phương pháp của mình với các mô hình ra quyết định đóng như Jev, vốn theo IBM tập trung vào tính tổng quát, đồng thời cho biết bộ điều hợp guardian-core có hiệu suất trung bình cao hơn Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions và Clef-Flash trong các tác vụ ra quyết định liên quan đến an toàn. Trong phép so sánh được IBM công bố giữa các bộ điều hợp Granite Libraries chuyên biệt và những mô hình ra quyết định đa dụng, bộ điều hợp Granite tốt nhất đạt kết quả cao hơn 2,3 điểm ở OOD Safety, 17,0 điểm ở IFEval, 11,0 điểm ở BIO F1 và 11,8 điểm ở RAGTruth; ngược lại, kết quả thấp hơn 2,6 điểm ở LM-AggreFact, 3,2 điểm ở InfoBench-GPT4 và 0,8 điểm ở InfoBench-Human.

Các thẻ mô hình công bố điểm Decision Index của bộ điều hợp ra quyết định, được đo trên tập con công khai, xử lý nhanh gồm 1.068 hàng của bộ chuẩn, theo cách chấm điểm edition-v0.3, với bộ điều hợp được cung cấp qua một điểm cuối vLLM lưu trữ. Bộ điều hợp 8B đạt tổng điểm 42,9; trong đó, Knowledge đạt 29,1, Language đạt 48,9, Retrieval đạt 49,8, Tools đạt 59,8 và Arts đạt 18,0. Bộ điều hợp 30B đạt tổng điểm 50,1; trong đó, Knowledge đạt 32,4, Language đạt 58,6, Retrieval đạt 49,8, Tools đạt 76,5 và Arts đạt 26,4. Các thẻ mô hình cho biết kết quả khi chạy cục bộ và khi chạy trên dịch vụ lưu trữ với cùng một bộ điều hợp chênh lệch không quá khoảng 0,6 điểm.

IBM cũng báo cáo một cuộc đua trong đó Granite-Switch-4.1-30B, một mô hình nền Granite cố định với bốn aLoRA chuyên biệt, hoàn thành quy trình RAG gồm năm bước trong thế giới thực nhanh hơn nhiều so với Jev-27B, một mô hình nền Qwen cố định với một LoRA quyết định đa dụng. Trong màn trình diễn thứ hai, IBM cho biết một mô hình Granite Switch tùy chỉnh có 3 tỷ tham số, chơi trò Doom, đưa ra từ 60 đến 100 quyết định mỗi giây, so với mức 10 quyết định mỗi giây được báo cáo ở Jev; đồng thời, không giống Jev, mô hình của IBM có thể vừa thuyết minh vừa trả lời câu hỏi trong khi chơi.

Khả năng cung cấp, yêu cầu và hạn chế

Cả hai checkpoint đều được cấp phép theo Apache 2.0. Yêu cầu gồm Python 3.9 trở lên, PyTorch 2.11.0 trở lên, Transformers từ 5.16 đến 5.17.0 và tùy chọn vLLM từ 0.26.0 đến dưới 0.28.0. Kiến trúc nền dày đặc, chỉ giải mã, sử dụng cơ chế chú ý truy vấn nhóm (GQA), RoPE, SwiGLU và RMSNorm; hỗ trợ ngữ cảnh dài 131.072 token; và liệt kê các ngôn ngữ được hỗ trợ gồm tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Pháp, tiếng Nhật, tiếng Bồ Đào Nha, tiếng Ả Rập, tiếng Séc, tiếng Ý, tiếng Hàn, tiếng Hà Lan và tiếng Trung.

Bất kỳ ai cũng có thể tạo một mô hình Granite Switch tùy chỉnh bằng cách kết hợp các adapter từ danh mục adapter của dự án với bộ công cụ phối ghép. IBM xác định Mellea là lớp ứng dụng được ưu tiên để chạy các adapter Granite Switch; Mellea hiện đã tích hợp các họ adapter của Granite Libraries, nhưng adapter quyết định vẫn chưa có thành phần tích hợp nội tại trong Mellea, dù hỗ trợ đã nằm trong kế hoạch. IBM cũng dự định phát hành một SDK Adapter để huấn luyện adapter tùy chỉnh và adapter của bên thứ ba trong Mellea, cùng với tài liệu hướng dẫn và hỗ trợ Granite Switch; hãng cho biết sẽ công bố thêm thông tin chi tiết và dữ liệu về Granite Switch trong những tuần sau thông báo.

Các thẻ mô hình nêu một số hạn chế. Chuỗi xử lý giọng nói chỉ hoạt động bằng tiếng Anh và trả về bản chép lời viết thường, không có dấu câu và không hỗ trợ điều khiển ở thời điểm giải mã. Do bộ mã hóa ASR không được huấn luyện đồng thời với mô hình ngôn ngữ hoặc các adapter, lỗi nhận dạng có thể âm thầm làm thay đổi phản hồi của mô hình hoặc adapter. vLLM giới hạn yêu cầu logprob cho nhãn tùy chọn quyết định ở mức 128 ID token, vì vậy các câu hỏi có nhiều lựa chọn hơn phải được chia thành những yêu cầu theo từng phần. Các thẻ cũng nêu rõ guardian-core không thể thay thế việc kiểm thử an toàn ở cấp ứng dụng; các checkpoint không bao gồm những adapter phát hiện tính xác thực, chỉnh sửa tính xác thực và hàng rào bảo vệ chính sách của Guardian Library; và nên xem xác suất của adapter quyết định là thông tin tiên nghiệm hỗ trợ việc ra quyết định, chứ không phải kết quả phân loại đã được chứng nhận cho các lĩnh vực nằm ngoài phạm vi huấn luyện của adapter.