IBM, 8B 및 30B 규모의 모듈형 Granite Switch 4.1 모델 공개

IBM은 2026년 10월 15일 Granite Switch 4.1을 발표하며, 80억 개와 300억 개 매개변수 규모의 모듈형 언어 모델 두 가지를 공개했다. 이 모델은 기반 모델, 범용 의사결정 어댑터, 안전성 어댑터, 내장 음성-텍스트 변환 인코더를 하나의 호스팅 엔드포인트로 통합한다. 출시를 알린 IBM Granite 블로그 게시물은 Kate Soule, Subhajit Chaudhury, Hendrik Strobelt, Luis A Lastras가 작성했다.

4.1 구성

이번에 공개된 모델은 Granite-Switch-4.1-8B와 Granite-Switch-4.1-30B로, 각각 매개변수 80억 개와 300억 개를 갖춘 granite-4.1-8b 및 granite-4.1-30b 기반 모델을 바탕으로 하며 컨텍스트 창은 128K다. 8B 모델 카드와 30B 모델 카드에는 출시일이 2026년 10월 14일로 기재되어 있으며, Apache 2.0 라이선스와 Hugging Face Transformers 및 vLLM 백엔드를 지원한다고 명시되어 있다.

각 체크포인트는 기반 모델에 세 가지 구성 요소를 결합한다. 범용 의사결정을 위한 의사결정 Activated LoRA(aLoRA), 피해·탈옥·욕설·폭력·성적 콘텐츠·사회적 편향·비윤리적 행동과 관련된 안전 위험을 감지하는 IBM Guardian 라이브러리의 aLoRA인 guardian-core, 그리고 Granite Speech 5.0 TurboCTC다. 마지막 구성 요소는 음성 전사를 위해 내장된 영어 비자기회귀 컨포머 CTC 인코더로, 매개변수는 4억 7,000만 개다. IBM은 이 모델이 OpenASR Leaderboard에서 가장 빠른 ASR 모델이라고 설명한다. IBM에 따르면 이 세 가지 기술을 기반 모델과 함께 사용해도 필요한 GPU 메모리는 기반 모델만 사용할 때와 거의 같다.

모델 카드에는 오디오가 없는 미리 보기 버전(granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview, granite-switch-4.1-3b-preview)도 기재되어 있으며, 이 버전에는 전체 Granite Libraries 어댑터 번들이 포함된다. IBM은 2026년 봄에 모델 개발을 위한 모듈형 접근 방식으로 Granite Switch 프로젝트를 소개했다. 앞서 공개한 Granite Libraries는 맞춤형 Switch 모델에 조합할 수 있는 특화된 의사결정 및 작업 어댑터 저장소를 제공한다.

스위칭 작동 방식

Granite Switch는 모델 카드에서 ‘조대 단위 전문가 스위칭’이라고 부르는 방식을 사용한다. 이 방식에서는 하나의 어댑터가 연속된 토큰 구간 동안 모든 디코더 계층에서 활성 상태를 유지한다. 호출자는 어댑터 이름을 채팅 템플릿에 전달해 어댑터를 활성화하며, 템플릿은 해당 제어 토큰을 자동으로 삽입한다. 표준 어텐션을 기반으로 하는 경량 스위치 계층은 이 토큰을 감지해 위치별 어댑터 인덱스를 생성하고, 모든 디코더 계층이 해당 구간에 맞는 LoRA 가중치를 적용하도록 지시한다.

모델 카드에는 네 가지 설계 특성이 명시되어 있다. 각 어댑터는 기반 모델의 KV 캐시만 읽으며 다른 어댑터의 내부 상태는 읽지 않는다. 어댑터는 공동 학습 없이 각각 독립적으로 개발·테스트·공개된다. 하나의 체크포인트가 Transformers와 vLLM을 모두 지원한다. 어댑터를 선택할 때 코드를 변경할 필요가 없다. IBM은 캐시 효율을 높인 Activated LoRA 설계 덕분에 기반 모델 생성에 사용한 KV 캐시를 이후의 어댑터 기반 의사결정에 재사용할 수 있다고 설명한다. 또한 최근 vLLM 커널에 기여한 점과 같은 위치에 배치된 ASR 인코더 덕분에 채팅, 의사결정, 음성 요청 사이를 빠르게 전환할 수 있다고 밝혔다.

의사결정 어댑터는 상태와 선택지에 라벨이 붙은 질문을 입력받아, 한 번의 순전파로 각 라벨에 대한 소프트맥스 확률 분포를 출력한다. 입력된 오디오는 내장 음성 인코더를 통해 전사되며, 생성된 전사문은 채팅 컨텍스트에서 오디오를 대체한다. 따라서 별도의 음성 서버를 사용하거나 모델 호출 방식을 바꾸지 않고도 채팅 및 의사결정과 같은 엔드포인트에서 음성 전사를 처리할 수 있다. IBM은 8B 모델이 입력 오디오를 전사하고, 요약을 생성하며, 유해 콘텐츠를 확인하고, 사용자가 정의한 추가 플래그 15개를 평가하는 Speech-to-Decisions 데모 공간도 운영하고 있다. 이 모든 작업은 하나의 엔드포인트에서 실시간으로 이루어진다.

IBM이 공개한 벤치마크 및 비교 결과

IBM은 자사의 접근 방식을 Jev와 같은 폐쇄형 의사결정 모델과 비교하며, 이러한 모델은 범용성에 초점을 맞춘다고 설명한다. 또한 guardian-core 어댑터가 안전 관련 의사결정 작업에서 평균적으로 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash보다 우수한 성능을 보였다고 밝혔다. IBM이 공개한 특화 Granite Libraries 어댑터와 범용 의사결정 모델의 비교에서, 가장 성능이 좋은 Granite 어댑터는 OOD Safety에서 2.3점, IFEval에서 17.0점, BIO F1에서 11.0점, RAGTruth에서 11.8점 앞섰다. 반면 LM-AggreFact에서는 2.6점, InfoBench-GPT4에서는 3.2점, InfoBench-Human에서는 0.8점 뒤졌다.

모델 카드에는 의사결정 어댑터의 Decision Index 점수가 기재되어 있다. 이 점수는 벤치마크의 공개 고속 하위 집합 1,068개 행을 대상으로, 어댑터를 호스팅된 vLLM 엔드포인트 뒤에서 제공하고 edition-v0.3 채점 방식을 적용해 측정했다. 8B 어댑터의 종합 점수는 42.9점이며, Knowledge 29.1점, Language 48.9점, Retrieval 49.8점, Tools 59.8점, Arts 18.0점이었다. 30B 어댑터의 종합 점수는 50.1점이며, Knowledge 32.4점, Language 58.6점, Retrieval 49.8점, Tools 76.5점, Arts 26.4점이었다. 모델 카드에 따르면 동일한 어댑터를 로컬 환경에서 제공한 경우와 호스팅 환경에서 제공한 경우의 점수 차이는 약 0.6점 이내였다.

IBM은 또한 전문화된 aLoRA 4개를 갖춘 고정된 Granite 기반 모델 Granite-Switch-4.1-30B가 범용 의사결정 LoRA 하나를 갖춘 고정된 Qwen 기반 모델 Jev-27B보다 실제 환경의 5단계 RAG 워크플로를 훨씬 빠르게 완료했다고 보고했다. 두 번째 시연에서 IBM은 Doom을 플레이하는 사용자 지정 30억 매개변수 Granite Switch 모델이 초당 60~100회 판단을 내렸다고 밝혔다. 이는 Jev에 대해 보고된 초당 10회보다 높은 수치다. 또한 Jev와 달리 이 모델은 플레이하면서 상황을 설명하고 질문에 답할 수 있다고 밝혔다.

제공 현황, 요구 사항 및 제한 사항

두 체크포인트는 모두 Apache 2.0 라이선스로 제공된다. 요구 사항은 Python 3.9 이상, PyTorch 2.11.0 이상, Transformers 5.16~5.17.0이며, vLLM 0.26.0 이상 0.28.0 미만은 선택 사항이다. 밀집형 디코더 전용 기본 아키텍처는 그룹화된 쿼리 어텐션(GQA), RoPE, SwiGLU, RMSNorm을 사용하고, 131,072토큰의 컨텍스트를 지원한다. 지원 언어로는 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어가 명시되어 있다.

누구나 프로젝트의 어댑터 카탈로그에 있는 어댑터와 컴포저 도구를 조합해 사용자 지정 Granite Switch 모델을 구성할 수 있다. IBM은 Granite Switch 어댑터를 실행하는 데 Mellea를 권장 애플리케이션 계층으로 제시하며, Mellea는 이미 Granite Libraries의 어댑터 제품군을 래핑하고 있다. 그러나 의사결정 어댑터에는 아직 Mellea 내장 기능이 없으며, 지원이 계획되어 있다. IBM은 Mellea에서 사용자 지정 및 타사 어댑터를 학습시키기 위한 Adapter SDK와 함께 튜토리얼 및 Granite Switch 지원도 계획하고 있으며, 발표 후 몇 주 안에 Granite Switch에 관한 추가 세부 정보와 데이터를 공개하겠다고 밝혔다.

모델 카드에는 몇 가지 제한 사항이 명시되어 있다. 음성 처리 파이프라인은 영어만 지원하며, 소문자로 표기되고 문장 부호가 없는 전사 결과를 반환한다. 디코딩 시점의 제어 기능도 없다. ASR 인코더가 언어 모델이나 어댑터와 함께 공동 학습되지 않으므로, 잘못 전사된 내용에 따라 모델이나 어댑터의 응답이 사용자도 모르는 사이 달라질 수 있다. vLLM은 의사결정 옵션 라벨의 로그 확률 요청을 토큰 ID 128개로 제한하므로, 선택지가 더 많은 질문은 여러 청크로 나누어 요청해야 한다. 또한 모델 카드에는 guardian-core가 애플리케이션 수준의 안전성 테스트를 대체하지 않으며, 체크포인트에는 Guardian Library의 사실성 감지·사실성 교정·정책 가드레일 어댑터가 포함되지 않는다고 명시되어 있다. 의사결정 어댑터의 확률은 학습 범위 밖의 도메인에서 인증된 분류 결과가 아니라 의사결정에 참고가 되는 사전 확률로 해석해야 한다고도 설명한다.