Meta의 8,160억 매개변수 Muse Spark Open 가중치 공개

Meta는 2026년 10월 15일, 총 8,160억 개의 매개변수와 420억 개의 활성 매개변수, 100만 토큰 컨텍스트 창을 갖춘 네이티브 멀티모달 오픈 웨이트 모델 Muse Spark Open의 가중치를 공개했다. Meta AI 연구팀은 이 모델을 현재까지 가장 강력한 미국산 오픈 웨이트 모델이라고 설명하며, 장기 과제, 복잡한 소프트웨어 엔지니어링, 다단계 추론 등 코딩과 에이전트 작업을 위해 설계했다고 밝혔다.

아키텍처 및 학습 데이터

Meta Superintelligence Labs가 공개한 모델 카드에 따르면, Muse Spark Open은 Perception Encoder를 결합한 전문가 혼합(Mixture-of-Experts) 트랜스포머다. 언어 모델은 62개 레이어와 8192의 은닉 차원을 갖추고 있으며, 전문가 256개 가운데 토큰마다 8개를 활성화하는 top-k 라우팅 방식을 사용한다. 어텐션 블록에는 QK-norm을 적용한 게이트 어텐션이 사용되며, 그룹 쿼리 구성에서 쿼리 헤드 128개와 키-값 헤드 16개를 갖추고 헤드 차원은 64다. 어휘 크기는 202,048이며 입력 임베딩과 출력 임베딩은 서로 분리돼 있다. Perception Encoder는 50개 레이어에 걸쳐 18억 개의 매개변수를 갖추고, 은닉 차원은 1536, 헤드 수는 16개, 패치 크기는 14×14, 출력 차원은 4096이다. 또한 희소 어텐션의 계수는 4이며, 이에 따라 4번째 레이어마다 그리고 마지막 레이어에서 전체 어텐션을 사용한다.

이 모델은 텍스트, 이미지, 동영상, 오디오를 입력으로 받아 텍스트를 출력한다. 모델 카드에 따르면 학습 데이터에는 공개 자료, 인터넷 크롤링, 제3자, Meta 자체 제품 및 서비스, 합성 생성 자료에서 수집한 텍스트, 이미지, 오디오, 동영상이 포함되며, 100개 이상의 언어를 다룬다. 데이터 선별 과정에는 정제, 처리, 중복 제거, 필터링이 포함됐다. reasoning_effort 매개변수는 응답 전에 모델이 얼마나 추론할지를 제어하며, 설정값은 low, medium, high, xhigh이고 기본값은 xhigh다. 이외의 값을 지정하면 오류가 반환된다. Meta는 대부분의 배포 환경에서 temperature 1.0, top_p 1.0을 권장하고 top_k는 비활성화하도록 권한다. 복잡한 문제 해결, 코딩, 에이전트 작업에는 high 또는 xhigh 추론 수준을 권장한다.

이용 가능성 및 Apple 실리콘 최적화

Muse Spark Open은 Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter, Together AI 등의 API 플랫폼에서 이용할 수 있으며, 가중치는 Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face, Microsoft Foundry Models에서 내려받을 수 있다. SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp, Unsloth 등의 추론 엔진에서 실행되며, AMD, Apple, Intel, NVIDIA 실리콘에 맞춘 최적화가 적용돼 있다. 개발자는 PyTorch의 TorchTitan을 사용해 모델을 추가로 조정할 수도 있다. 가중치는 BF16 및 NVFP4 버전으로 제공된다. 로컬에서 실행하려면 NVFP4의 경우 VRAM이 최소 700GB, BF16의 경우 2TB인 GPU가 필요하다.

Meta에 따르면 Muse Spark Open은 데스크톱에서 실행되는 동급 최초의 모델로, 최신 MLX 프레임워크를 사용하는 Apple M5 Ultra Mac Studio 두 대에서 작동하며, 이 프레임워크는 Hugging Face에서 가중치를 직접 가져온다. Apple의 통합 메모리 아키텍처를 통해 M5 Ultra의 통합 GPU는 Mac Studio 한 대당 최대 512GB를 사용할 수 있다. Meta는 이 칩의 메모리 대역폭이 초당 1.2TB에 달해 두 대의 컴퓨터가 모델 전체를 담고, 1TB의 통합 메모리를 갖춘 단일 시스템처럼 작동할 수 있다고 밝혔다.

Meta는 Muse Spark Open을 기반으로 한 Muse Code를 사용해 기기 내에서만 실행되는 에이전트 워크플로를 테스트했다고 밝혔다. 한 테스트에서는 오픈소스 Mastodon 클라이언트인 Ice Cubes에 버그 수정, 새 기능, 전체 빌드를 아우르는 실제 iOS 변경 사항을 적용했다. 다른 테스트에서는 DaVinci Resolve를 처음부터 끝까지 조작해 영상을 프레임 단위로 살펴보고, 돋보이는 장면을 골라 세로 화면에 맞게 재구성했다. 오픈 웨이트 버전에는 SGLang에서 사용할 수 있는 맞춤형 자동 튜닝 Helion GPU 커널도 포함됐다. Meta는 이 커널이 NVIDIA 및 AMD GPU에서 커널 수준 속도를 1.03~3.95배 높이고 AMD MI350에서 종단 간 속도를 3% 높인다고 보고했다.

Meta가 보고한 벤치마크 및 안전성 결과

모델 카드는 xhigh 추론 수준으로 실행한 Muse Spark Open을 Inkling, Nemotron 3 Ultra, Beam, Mistral Large 4, Qwen3.8-2.4T-A95B, GLM 5.3, Kimi K3와 비교한다. Meta가 보고한 Artificial Analysis Intelligence Index 점수는 39이며, 같은 표에는 GLM 5.3이 45, Kimi K3가 44, Qwen3.8-2.4T-A95B가 40으로 기재돼 있다. 에이전트 평가에서 Meta가 보고한 점수는 JobBench에서 61.8, MCP-Atlas에서 89.2로, 모델 카드 표에 기재된 모델 가운데 해당 테스트에서 가장 높은 점수를 기록했다. 지식 및 추론 평가에서 Meta가 보고한 점수는 도구를 사용하지 않은 HLE-Diamond에서 26.1, AA Omniscience에서 25, GPQA Diamond에서 89.0이다. GPQA Diamond 표에는 Qwen3.8-2.4T-A95B와 Kimi K3가 각각 93.5로 기재돼 있다.

코딩 벤치마크에서 Meta가 보고한 점수는 Terminal-Bench 2.1에서 76.4다. 모델 카드에는 이 테스트에서 Kimi K3가 85.0, GLM 5.3이 83.9로 기재돼 있다. DeepSWE 1.1에서는 60, SWE-Atlas-QnA에서는 58을 기록했으며, 모델 카드에는 이 두 테스트에서 Kimi K3가 각각 68과 66으로 기재돼 있다. 도구 지원 멀티모달 테스트에서는 ZeroBench에서 50.0, SimpleVQA에서 73.6, BabyVision에서 80.2를 기록했다. BabyVision 표에는 Kimi K3가 85.7로 기재돼 있다. VideoMMEv2에서는 61.5를 기록했으며, Kimi K3의 점수는 65.4로 기재돼 있다.

Meta는 공개 가중치 버전에 추가적인 안전성 사후 학습을 적용했으며, Meta Superintelligence Scaling Framework에 따라 콘텐츠 안전성, 에이전트 위험, 개인정보 보호 및 대비 태세를 평가한 결과, 해당 프레임워크가 공개에 요구하는 기준을 충족했다고 밝혔다. 모델 카드에 따르면 Muse Spark Open은 Meta의 내부 사이버 보안 벤치마크에서 탈옥 시도의 99.2%를 거부했고, PolyGuard의 사이버 보안 하위 집합, RedCode, CyberBench 2024를 종합한 평가에서는 94.8%를 거부했다. 동일한 평가 환경에서 카드에 기재된 Kimi K3의 수치는 각각 75.5%와 70.2%다.

Meta는 SecureBio의 BioTIER 벤치마크에서 유해한 요청의 98% 이상을, 내부 단일 턴 화학 벤치마크에서 99% 이상을 거부했다고 보고했다. 또한 내부 다중 턴 에이전트 벤치마크에서는 유해한 생물학 관련 요청의 97% 초과와 유해한 화학 관련 요청의 98%를 거부했다고 밝혔다. 모델 카드에는 MASK 벤치마크의 정직성 비율이 98.1%, Agentic Misalignment 벤치마크의 부적절한 행동 비율이 0%, StrongREJECT v2 점수가 0.5로 기재되어 있으며, 이 벤치마크에서는 점수가 낮을수록 더 나은 결과다. Meta는 이러한 결과가 테스트 조건에서 공개된 체크포인트의 특성을 나타내며, 이후의 수정으로 안전성이 저하될 수 있다고 주의를 당부했다. 또한 사용 사례에 적합한 보호 장치를 갖춘 더 포괄적인 AI 시스템 안에서 모델을 배포할 것을 권고했다.

라이선스 조건 및 명시된 제한 사항

가중치는 2026년 10월 15일자 Muse Model License에 따라 공개되며, 이 라이선스는 조건에 따라 무료 사용, 복사, 미세 조정을 포함한 수정, 파생 저작물 제작, 증류 및 배포를 허용한다. 라이선스 사용자는 소프트웨어 또는 그 파생물을 사용하는 각 제품이나 서비스의 사용자 인터페이스에 “Muse Spark Open으로 제작”이라는 문구를 눈에 잘 띄게 표시해야 한다. 또는 함께 제공되는 문서, 웹사이트나 설정 메뉴에 해당 문구를 표시해야 한다.

인공지능 모델을 서비스로 제공하며 계열사를 포함한 총매출이 연속된 12개월 기간 중 어느 기간에든 2,000만 달러를 초과하는 라이선스 사용자는 해당 사업에 소프트웨어를 포함하기 전에 Meta에 통지하고 별도의 서면 계약을 체결해야 한다. 이 조항은 내부 사용, 연구, 모델 서비스가 아닌 기타 상업 활동에는 적용되지 않으며, 라이선스 사용자의 자체 제품을 구동하는 구성 요소로 소프트웨어를 사용하는 경우에도 적용되지 않는다. 라이선스에는 소프트웨어가 생성한 결과물에 대해 Meta가 어떠한 소유권도 갖지 않는다고 명시되어 있다.

첨부된 사용 정책에 따르면 이 모델은 18세 미만을 대상으로 하지 않으며, 불법 활동, 악성코드 제작, 무기 개발, 핵심 인프라 운영, 사기·허위 정보·사칭과 같은 의도적 기만 행위 등의 사용을 금지한다. Meta가 명시한 한계에는 부정확하거나 편향되거나 불쾌감을 줄 수 있는 응답, 새로운 상황에서의 다단계 추론 오류, 충분히 지원되는 언어 범위 밖의 언어에서 성능 저하, 양자화 추론 시 발생할 수 있는 미미한 품질 차이, 매우 짧거나 해상도가 낮은 동영상의 신뢰하기 어려운 시청 결과가 포함된다. Meta는 전체 평가 보고서가 곧 공개될 예정이라고 밝혔다.