IBM випускає модульні моделі Granite Switch 4.1 на 8B і 30B параметрів

15 жовтня 2026 року IBM оголосила про випуск Granite Switch 4.1 — двох модульних мовних моделей на 8 і 30 мільярдів параметрів, які об’єднують базову модель, адаптер ухвалення рішень загального призначення, адаптер безпеки та вбудований кодер мовлення в текст в одній керованій кінцевій точці. У дописі в блозі IBM Granite, де повідомлялося про випуск, авторами зазначені Кейт Соул, Субхаджит Чаудхурі, Гендрік Стробель і Луїс А. Ластрас.

Конфігурація 4.1

До випуску увійшли Granite-Switch-4.1-8B і Granite-Switch-4.1-30B, створені на основі базових моделей granite-4.1-8b і granite-4.1-30b, що мають відповідно 8 і 30 мільярдів параметрів і контекстне вікно на 128K токенів. У картці моделі 8B та картці моделі 30B зазначено дату випуску — 14 жовтня 2026 року, ліцензію Apache 2.0, а також підтримку бекендів Hugging Face Transformers і vLLM.

Кожна контрольна точка об’єднує з базовою моделлю три компоненти: адаптер Activated LoRA (aLoRA) для ухвалення рішень загального призначення; guardian-core — адаптер aLoRA з бібліотеки Guardian від IBM, який виявляє ризики для безпеки, пов’язані зі шкодою, обходом обмежень, ненормативною лексикою, насильством, сексуальним контентом, соціальними упередженнями та неетичною поведінкою; і Granite Speech 5.0 TurboCTC — вбудований для транскрибування англомовний ненавторегресивний конформерний CTC-кодер на 470 мільйонів параметрів, який IBM називає найшвидшою моделлю ASR у рейтингу OpenASR Leaderboard. За словами IBM, усі три технології разом із базовою моделлю потребують приблизно стільки ж пам’яті GPU, скільки й сама базова модель.

У картках також зазначені варіанти попереднього перегляду без аудіо (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview і granite-switch-4.1-3b-preview), до комплекту яких входить повний набір адаптерів Granite Libraries. IBM представила проєкт Granite Switch навесні 2026 року як модульний підхід до розроблення моделей, а в ранішому випуску Granite Libraries було створено репозиторій спеціалізованих адаптерів для ухвалення рішень і виконання завдань, які можна поєднувати для створення власних моделей Switch.

Як працює перемикання

У Granite Switch використано те, що в картках моделей названо перемиканням експертів із грубою гранулярністю: один адаптер залишається активним на всіх шарах декодера протягом суцільного фрагмента токенів. Щоб активувати адаптер, викликач передає його назву шаблону чату, який автоматично додає відповідний керівний токен. Легкий шар перемикання, побудований на стандартному механізмі уваги, виявляє ці токени й визначає індекс адаптера для кожної позиції, спрямовуючи кожен шар декодера застосовувати відповідні ваги LoRA для цього фрагмента.

У картках перелічено чотири властивості конструкції: кожен адаптер зчитує лише KV-кеш базової моделі й ніколи не звертається до внутрішнього стану інших адаптерів; адаптери розробляють, тестують і публікують незалежно, без спільного навчання; одна контрольна точка працює і з Transformers, і з vLLM; для вибору адаптера не потрібно змінювати код. За словами IBM, кеш-ефективна конструкція Activated LoRA дає змогу повторно використовувати KV-кеш, отриманий під час генерації базової моделі, для подальшого ухвалення рішень за допомогою адаптера. Компанія також зазначає, що нещодавні внески до ядра vLLM і розміщений поруч кодер ASR забезпечують швидке перемикання між чат-запитами, запитами на ухвалення рішень і голосовими запитами.

Адаптер ухвалення рішень отримує стан і запитання з позначеними варіантами відповіді, а потім за один прямий прохід формує розподіл імовірностей softmax для цих варіантів. Вбудований кодер мовлення транскрибує вхідне аудіо, а отриманий текст замінює аудіо в контексті чату. Отже, транскрибування відбувається на тій самій кінцевій точці, що й чат та ухвалення рішень: окремий сервер мовлення не потрібен, і спосіб виклику моделі не змінюється. IBM також розмістила демонстраційний простір Speech-to-Decisions, у якому модель 8B у реальному часі на одній кінцевій точці транскрибує вхідне аудіо, створює підсумки, перевіряє контент на шкідливий вміст і оцінює ще 15 прапорців, заданих користувачем.

Тести й порівняння за даними IBM

IBM порівнює свій підхід із закритими моделями для ухвалення рішень, такими як Jev, які, за словами компанії, зосереджені на універсальності. Також IBM заявляє, що адаптер guardian-core у середньому перевершує Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions і Clef-Flash у завданнях ухвалення рішень, пов’язаних із безпекою. В опублікованому IBM порівнянні спеціалізованих адаптерів Granite Libraries із моделями загального призначення найкращий адаптер Granite випередив їх на 2,3 бала за OOD Safety, на 17,0 — за IFEval, на 11,0 — за BIO F1 і на 11,8 — за RAGTruth, але поступився на 2,6 бала за LM-AggreFact, на 3,2 — за InfoBench-GPT4 і на 0,8 — за InfoBench-Human.

У картках моделей наведено показники Decision Index для адаптера ухвалення рішень. Їх вимірювали на загальнодоступній швидкій підмножині бенчмарку, що містить 1 068 рядків, за методикою оцінювання edition-v0.3; адаптер працював за керованою кінцевою точкою vLLM. Загальний результат адаптера 8B становив 42,9 бала: 29,1 за знання, 48,9 за мову, 49,8 за пошук, 59,8 за інструменти та 18,0 за мистецтво. Загальний результат адаптера 30B становив 50,1 бала: 32,4 за знання, 58,6 за мову, 49,8 за пошук, 76,5 за інструменти та 26,4 за мистецтво. У картках зазначено, що результати локального й розміщеного в хмарі запуску того самого адаптера відрізнялися приблизно не більш як на 0,6 бала.

IBM також повідомляє про порівняння швидкості, у якому Granite-Switch-4.1-30B — модель на замороженій базі Granite із чотирма спеціалізованими aLoRA — значно швидше за Jev-27B, модель на замороженій базі Qwen з однією універсальною LoRA для ухвалення рішень, виконала п’ятиетапний робочий процес RAG у реальних умовах. У другій демонстрації IBM зазначає, що спеціальна модель Granite Switch із 3 мільярдами параметрів, яка грала в Doom, ухвалювала від 60 до 100 рішень за секунду, тоді як для Jev повідомлялося про 10 рішень за секунду; також, на відміну від Jev, модель IBM може коментувати гру та відповідати на запитання під час гри.

Доступність, вимоги та обмеження

Обидва контрольні набори ліцензовано за Apache 2.0. Необхідні Python 3.9 або новіша версія, PyTorch 2.11.0 або новіша версія, Transformers версій від 5.16 до 5.17.0, а також, за бажанням, vLLM версій від 0.26.0 до версій, нижчих за 0.28.0. Щільна базова архітектура декодера без енкодера використовує груповану увагу до запитів (GQA), RoPE, SwiGLU і RMSNorm; підтримує контекст завдовжки 131 072 токени; а серед підтримуваних мов зазначено англійську, німецьку, іспанську, французьку, японську, португальську, арабську, чеську, італійську, корейську, нідерландську та китайську.

Будь-хто може створити власну модель Granite Switch, поєднавши адаптери з каталогу адаптерів проєкту за допомогою інструментів для їх компонування. IBM позиціонує Mellea як рекомендований рівень застосунків для запуску адаптерів Granite Switch; Mellea вже підтримує сімейства адаптерів Granite Libraries, але для адаптера ухвалення рішень у Mellea поки немає вбудованої функції — її підтримку планують додати. IBM також планує випустити Adapter SDK для навчання власних і сторонніх адаптерів у Mellea, а також навчальні матеріали й підтримку Granite Switch. Крім того, компанія заявляє, що протягом тижнів після анонсу оприлюднить додаткові відомості й дані про Granite Switch.

У картках моделей описано кілька обмежень. Мовленнєвий конвеєр працює лише англійською та повертає транскрипти малими літерами, без пунктуації й без можливості керувати декодуванням; оскільки ASR-енкодер не навчається спільно з мовною моделлю чи адаптерами, помилка розпізнавання може непомітно змінити відповідь моделі або адаптера. vLLM обмежує запити logprob для міток варіантів рішень 128 ідентифікаторами токенів, тому запитання з більшою кількістю варіантів потрібно надсилати окремими пакетними запитами. У картках також зазначено, що guardian-core не замінює перевірку безпеки на рівні застосунку; контрольні набори не містять адаптерів Guardian Library для виявлення й виправлення фактичних помилок і забезпечення дотримання політик; а ймовірності адаптера ухвалення рішень слід трактувати як апріорні оцінки, що допомагають ухвалити рішення, а не як сертифіковану класифікацію для галузей, не охоплених його навчанням.