IBM udostępnia modularne modele Granite Switch 4.1 w rozmiarach 8B i 30B

15 października 2026 r. IBM ogłosił premierę Granite Switch 4.1, udostępniając dwa modularne modele językowe o 8 i 30 miliardach parametrów, które łączą model bazowy, adapter decyzyjny ogólnego przeznaczenia, adapter bezpieczeństwa oraz wbudowany enkoder mowy na tekst w jeden hostowany punkt końcowy. Wpis na blogu IBM Granite zapowiadający premierę napisali Kate Soule, Subhajit Chaudhury, Hendrik Strobelt i Luis A Lastras.

Konfiguracja 4.1

W skład premiery wchodzą Granite-Switch-4.1-8B i Granite-Switch-4.1-30B, zbudowane na modelach bazowych granite-4.1-8b i granite-4.1-30b, które mają odpowiednio 8 i 30 miliardów parametrów oraz okno kontekstowe o długości 128K. Karta modelu 8B i karta modelu 30B podają datę premiery 14 października 2026 r., licencję Apache 2.0 oraz zaplecza Hugging Face Transformers i vLLM.

Każdy checkpoint łączy z modelem bazowym trzy komponenty: adapter Activated LoRA (aLoRA) do podejmowania decyzji ogólnego przeznaczenia; guardian-core — adapter aLoRA z biblioteki Guardian firmy IBM, który wykrywa zagrożenia związane z bezpieczeństwem, obejmujące szkodliwe treści, próby jailbreaku, wulgaryzmy, przemoc, treści seksualne, uprzedzenia społeczne i nieetyczne zachowania; oraz Granite Speech 5.0 TurboCTC — wbudowany enkoder konformerowy CTC z 470 milionami parametrów, przeznaczony do transkrypcji w języku angielskim i działający bez autoregresji, który, jak podaje IBM, jest najszybszym modelem ASR w rankingu OpenASR Leaderboard. IBM informuje, że wszystkie trzy technologie wraz z modelem bazowym wymagają mniej więcej tyle samo pamięci GPU co sam model bazowy.

Karty wymieniają również warianty podglądowe bez obsługi audio (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview i granite-switch-4.1-3b-preview), które zawierają pełny pakiet adapterów Granite Libraries. IBM wprowadził projekt Granite Switch wiosną 2026 r. jako modularne podejście do tworzenia modeli, a wcześniejsze wydanie Granite Libraries udostępnia repozytorium wyspecjalizowanych adapterów decyzyjnych i zadaniowych, które można łączyć w niestandardowe modele Switch.

Jak działa przełączanie

Granite Switch wykorzystuje rozwiązanie określane w kartach modeli jako przełączanie ekspertów o dużym ziarnie, w którym jeden adapter pozostaje aktywny we wszystkich warstwach dekodera dla spójnego fragmentu tokenów. Wywołujący aktywuje adapter, przekazując jego nazwę do szablonu czatu, który automatycznie wstawia odpowiedni token sterujący. Lekka warstwa przełączająca oparta na standardowym mechanizmie uwagi wykrywa te tokeny i wyznacza indeksy adapterów dla poszczególnych pozycji, kierując każdą warstwę dekodera do zastosowania wag LoRA odpowiadających danemu fragmentowi.

Karty wymieniają cztery właściwości projektu: każdy adapter odczytuje wyłącznie pamięć podręczną KV modelu bazowego, nigdy zaś wewnętrzny stan innego adaptera; adaptery są opracowywane, testowane i publikowane niezależnie, bez wspólnego trenowania; jeden checkpoint działa zarówno z Transformers, jak i vLLM; a wybór adaptera nie wymaga zmian w kodzie. IBM informuje, że oszczędzająca pamięć podręczną konstrukcja Activated LoRA pozwala ponownie wykorzystać pamięć podręczną KV z generowania modelu bazowego przy kolejnych decyzjach podejmowanych z użyciem adaptera. Firma przypisuje szybkie przełączanie między czatem, decyzjami i poleceniami głosowymi swoim niedawnym wkładom w jądro vLLM oraz umieszczonemu obok enkoderowi ASR.

Adapter decyzyjny otrzymuje stan i pytanie z oznaczonymi etykietami opcjami, a następnie w jednym przebiegu w przód generuje rozkład prawdopodobieństwa softmax dla tych etykiet. Wbudowany enkoder mowy transkrybuje przychodzące nagranie audio, a uzyskany zapis zastępuje dźwięk w kontekście czatu, dzięki czemu transkrypcja działa w tym samym punkcie końcowym co czat i decyzje, bez osobnego serwera mowy i bez zmiany sposobu wywoływania modelu. IBM udostępnia również demonstracyjne środowisko Speech-to-Decisions, w którym model 8B w czasie rzeczywistym, w ramach jednego punktu końcowego, transkrybuje przychodzące nagrania audio, tworzy podsumowania, sprawdza treści pod kątem szkodliwości i ocenia 15 dodatkowych flag zdefiniowanych przez użytkownika.

Wyniki testów porównawczych i zestawienia opublikowane przez IBM

IBM przeciwstawia swoje podejście zamkniętym modelom decyzyjnym, takim jak Jev, które, jak twierdzi, koncentrują się na ogólności, i podaje, że adapter guardian-core średnio przewyższa modele Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions i Clef-Flash w zadaniach decyzyjnych związanych z bezpieczeństwem. W opublikowanym przez IBM porównaniu wyspecjalizowanych adapterów Granite Libraries z ogólnymi modelami decyzyjnymi najlepszy adapter Granite uzyskał przewagę 2,3 punktu w OOD Safety, 17,0 punktu w IFEval, 11,0 punktu w BIO F1 i 11,8 punktu w RAGTruth, a jednocześnie osiągnął wyniki niższe o 2,6 punktu w LM-AggreFact, 3,2 punktu w InfoBench-GPT4 i 0,8 punktu w InfoBench-Human.

Karty modeli podają wyniki Decision Index dla adaptera decyzyjnego, zmierzone na publicznym, szybkim podzbiorze benchmarku obejmującym 1 068 wierszy, według punktacji edition-v0.3, przy udostępnianiu adaptera za pośrednictwem hostowanego punktu końcowego vLLM. Adapter 8B uzyskał wynik ogólny 42,9, w tym 29,1 w kategorii Knowledge, 48,9 w Language, 49,8 w Retrieval, 59,8 w Tools i 18,0 w Arts. Adapter 30B uzyskał wynik ogólny 50,1, w tym 32,4 w kategorii Knowledge, 58,6 w Language, 49,8 w Retrieval, 76,5 w Tools i 26,4 w Arts. Karty podają, że wyniki uzyskane przy lokalnym i hostowanym uruchomieniu tego samego adaptera różniły się o około 0,6 punktu.

IBM informuje również o wyścigu, w którym Granite-Switch-4.1-30B — zamrożony model bazowy Granite z czterema wyspecjalizowanymi aLoRA — znacznie szybciej niż Jev-27B, zamrożony model bazowy Qwen z jedną ogólną LoRA decyzyjną, wykonał rzeczywisty, pięcioetapowy przepływ pracy RAG. W drugiej demonstracji IBM podaje, że niestandardowy model Granite Switch z 3 miliardami parametrów, grający w Doom, podejmował od 60 do 100 decyzji na sekundę, podczas gdy dla Jev podano 10 decyzji na sekundę, a także że w przeciwieństwie do Jev jego model potrafi opowiadać o grze i odpowiadać na pytania w jej trakcie.

Dostępność, wymagania i ograniczenia

Oba punkty kontrolne są objęte licencją Apache 2.0. Wymagane są: Python 3.9 lub nowszy, PyTorch 2.11.0 lub nowszy oraz Transformers w wersji od 5.16 do 5.17.0; opcjonalnie można użyć vLLM w wersji od 0.26.0 do niższej niż 0.28.0. Gęsta architektura bazowa typu decoder-only wykorzystuje grouped-query attention (GQA), RoPE, SwiGLU i RMSNorm; obsługuje kontekst o długości 131 072 tokenów; jako obsługiwane języki wymienia angielski, niemiecki, hiszpański, francuski, japoński, portugalski, arabski, czeski, włoski, koreański, niderlandzki i chiński.

Każdy może stworzyć niestandardowy model Granite Switch, łącząc adaptery z katalogu adapterów projektu za pomocą jego narzędzi do komponowania. IBM wskazuje Mellea jako preferowaną warstwę aplikacyjną do uruchamiania adapterów Granite Switch. Mellea obsługuje już rodziny adapterów Granite Libraries, ale adapter decyzyjny nie ma jeszcze obsługi jako intrinsic w Mellea; jej dodanie jest planowane. IBM planuje również udostępnić SDK adapterów do trenowania niestandardowych i zewnętrznych adapterów w Mellea, a także samouczki i obsługę Granite Switch. Zapowiada ponadto, że w kolejnych tygodniach po ogłoszeniu opublikuje więcej informacji i danych dotyczących Granite Switch.

Karty modeli opisują kilka ograniczeń. Kaskada przetwarzania mowy działa wyłącznie w języku angielskim i zwraca transkrypcje zapisane małymi literami, bez interpunkcji i bez możliwości sterowania podczas dekodowania. Ponieważ enkoder ASR nie jest trenowany wspólnie z modelem językowym ani adapterami, błędna transkrypcja może po cichu zmienić odpowiedź modelu lub adaptera. vLLM ogranicza żądania logarytmicznych prawdopodobieństw etykiet opcji decyzji do 128 identyfikatorów tokenów, dlatego pytania z większą liczbą opcji trzeba dzielić na mniejsze żądania. Karty podają również, że guardian-core nie zastępuje testów bezpieczeństwa na poziomie aplikacji, że punkty kontrolne nie obejmują adapterów Guardian Library do wykrywania i korygowania błędów faktograficznych ani adapterów zabezpieczeń zgodności z politykami, a prawdopodobieństwa zwracane przez adapter decyzyjny należy traktować jako wartość wyjściową pomocną przy podejmowaniu decyzji, a nie jako certyfikowaną klasyfikację w dziedzinach spoza zakresu jego treningu.