IBM выпускает модульные модели Granite Switch 4.1 объёмом 8B и 30B

15 октября 2026 года IBM объявила о выпуске Granite Switch 4.1 — двух модульных языковых моделей с 8 и 30 млрд параметров. В каждой объединены базовая модель, универсальный адаптер для принятия решений, адаптер безопасности и встроенный аудиокодировщик для преобразования речи в текст; всё это доступно через единую размещённую конечную точку. В публикации IBM о Granite, посвящённой выпуску, указаны авторы: Кейт Соул, Субхаджит Чаудхури, Хендрик Стробельт и Луис А. Ластрас.

Конфигурация 4.1

В выпуск вошли Granite-Switch-4.1-8B и Granite-Switch-4.1-30B, созданные на основе базовых моделей granite-4.1-8b и granite-4.1-30b. В них соответственно 8 и 30 млрд параметров, а размер контекстного окна составляет 128K. В карточке модели 8B и карточке модели 30B указаны дата выпуска — 14 октября 2026 года, лицензия Apache 2.0, а также поддержка бэкендов Hugging Face Transformers и vLLM.

Каждая контрольная точка объединяет с базовой моделью три компонента: адаптер Activated LoRA (aLoRA) для принятия решений общего назначения; guardian-core — адаптер из библиотеки Guardian компании IBM, который выявляет риски безопасности, связанные с причинением вреда, джейлбрейками, нецензурной лексикой, насилием, сексуальным контентом, социальной предвзятостью и неэтичным поведением; а также Granite Speech 5.0 TurboCTC — встроенный для транскрибирования англоязычный нерекуррентный конформерный CTC-кодировщик с 470 млн параметров. IBM называет его самой быстрой моделью распознавания речи (ASR) в рейтинге OpenASR Leaderboard. По данным IBM, все три технологии вместе с базовой моделью требуют примерно столько же памяти GPU, сколько одна базовая модель.

В карточках также перечислены варианты для предварительного ознакомления без обработки аудио (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview и granite-switch-4.1-3b-preview), в которые входит полный набор адаптеров Granite Libraries. Весной 2026 года IBM представила проект Granite Switch как модульный подход к разработке моделей. Вышедшая ранее библиотека Granite Libraries предоставляет репозиторий специализированных адаптеров для принятия решений и выполнения задач, которые можно объединять в пользовательские модели Switch.

Как работает переключение

В Granite Switch используется то, что в карточках моделей названо переключением между экспертами на уровне крупных фрагментов: один адаптер остаётся активным во всех слоях декодера на протяжении непрерывного фрагмента токенов. Чтобы активировать адаптер, вызывающий код передаёт его имя шаблону чата, который автоматически вставляет соответствующий управляющий токен. Лёгкий слой переключения, построенный на стандартном механизме внимания, обнаруживает эти токены и формирует индексы адаптеров для каждой позиции, указывая каждому слою декодера применить соответствующие веса LoRA для этого фрагмента.

В карточках перечислены четыре особенности архитектуры: каждый адаптер считывает только KV-кэш базовой модели и не обращается к внутреннему состоянию других адаптеров; адаптеры разрабатываются, тестируются и публикуются независимо, без совместного обучения; одна контрольная точка работает и с Transformers, и с vLLM; для выбора адаптера не требуется менять код. По словам IBM, кэш-эффективная архитектура Activated LoRA позволяет повторно использовать KV-кэш, полученный при генерации базовой моделью, для последующих решений с адаптером. Компания также отмечает, что недавние доработки ядер vLLM и размещённый рядом ASR-кодировщик обеспечивают быстрое переключение между запросами в чате, запросами на принятие решений и голосовыми запросами.

Адаптер для принятия решений получает состояние и вопрос с вариантами ответов, помеченными метками, а затем за один прямой проход формирует распределение вероятностей softmax по этим меткам. Входящее аудио транскрибирует встроенный речевой кодировщик, а полученная расшифровка заменяет аудио в контексте чата. Поэтому транскрибирование выполняется на той же конечной точке, что и чат и принятие решений: отдельный сервер речи не нужен, а способ вызова модели не меняется. IBM также разместила демонстрационную площадку Speech-to-Decisions, где модель 8B в реальном времени на одной конечной точке транскрибирует входящее аудио, составляет краткие изложения, проверяет контент на наличие вредоносных материалов и оценивает его по 15 дополнительным флагам, задаваемым пользователем.

Бенчмарки и сравнения по данным IBM

IBM противопоставляет свой подход закрытым моделям для принятия решений, таким как Jev, которые, по словам компании, ориентированы на универсальность. IBM утверждает, что адаптер guardian-core в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash в задачах принятия решений, связанных с безопасностью. В опубликованном IBM сравнении специализированных адаптеров Granite Libraries с универсальными моделями для принятия решений лучший адаптер Granite показал результат на 2,3 балла выше по OOD Safety, на 17,0 — по IFEval, на 11,0 — по BIO F1 и на 11,8 — по RAGTruth. При этом его результат был на 2,6 балла ниже по LM-AggreFact, на 3,2 — по InfoBench-GPT4 и на 0,8 — по InfoBench-Human.

В карточках моделей приведены результаты адаптера для принятия решений по индексу Decision Index. Оценивание проводилось на открытой быстрой подвыборке бенчмарка из 1 068 строк по правилам edition-v0.3; адаптер работал за размещённой конечной точкой vLLM. Адаптер 8B набрал 42,9 балла в целом: 29,1 за знания, 48,9 за язык, 49,8 за поиск, 59,8 за инструменты и 18,0 за искусство. Адаптер 30B набрал 50,1 балла в целом: 32,4 за знания, 58,6 за язык, 49,8 за поиск, 76,5 за инструменты и 26,4 за искусство. Согласно карточкам, результаты локального и размещённого вариантов одного и того же адаптера различались не более чем примерно на 0,6 балла.

IBM также сообщает о сравнительном тесте: Granite-Switch-4.1-30B — замороженная базовая модель Granite с четырьмя специализированными aLoRA — выполнила реальный пятиэтапный рабочий процесс RAG гораздо быстрее, чем Jev-27B — замороженная базовая модель Qwen с одной универсальной LoRA. Во второй демонстрации, по словам IBM, кастомная модель Granite Switch с 3 млрд параметров, игравшая в Doom, принимала от 60 до 100 решений в секунду, тогда как для Jev сообщалось о 10 решениях в секунду. Кроме того, в отличие от Jev, модель IBM может комментировать происходящее и отвечать на вопросы во время игры.

Доступность, требования и ограничения

Обе контрольные точки распространяются по лицензии Apache 2.0. Для работы необходимы Python 3.9 или более поздней версии, PyTorch 2.11.0 или более поздней версии и Transformers версий от 5.16 до 5.17.0; vLLM версий от 0.26.0 до 0.28.0, не включая последнюю, можно установить дополнительно. Плотная базовая архитектура только с декодером использует групповое внимание с запросами (GQA), RoPE, SwiGLU и RMSNorm, поддерживает контекст длиной 131 072 токена и, согласно документации, работает с английским, немецким, испанским, французским, японским, португальским, арабским, чешским, итальянским, корейским, нидерландским и китайским языками.

Любой желающий может собрать собственную модель Granite Switch, комбинируя адаптеры из каталога адаптеров проекта с помощью инструментов для их объединения. IBM рекомендует Mellea в качестве прикладного слоя для запуска адаптеров Granite Switch. Mellea уже поддерживает семейства адаптеров Granite Libraries, однако для адаптера принятия решений пока нет встроенной функции Mellea; ее поддержку планируют добавить. IBM также планирует выпустить SDK для адаптеров, который позволит обучать в Mellea собственные и сторонние адаптеры, а также подготовить обучающие материалы и обеспечить поддержку Granite Switch. Компания сообщает, что в течение нескольких недель после анонса опубликует дополнительные сведения и данные о Granite Switch.

В документации к моделям перечислено несколько ограничений. Речевой каскад работает только на английском языке и выдает расшифровки строчными буквами, без знаков препинания и без возможности управлять генерацией на этапе декодирования. Поскольку ASR-энкодер не обучался совместно с языковой моделью или адаптерами, ошибка распознавания может незаметно изменить ответ модели или адаптера. В vLLM запросы logprob для меток вариантов ответа ограничены 128 идентификаторами токенов, поэтому вопросы с большим числом вариантов необходимо разбивать на несколько пакетных запросов. В документации также указано, что guardian-core не заменяет тестирование безопасности на уровне приложения; контрольные точки не включают адаптеры Guardian Library для обнаружения фактических ошибок, их исправления и обеспечения соблюдения политик; вероятности адаптера принятия решений следует рассматривать как априорную информацию, помогающую принять решение, а не как сертифицированную классификацию для областей, не представленных при обучении.