Meta 的 8160 亿参数 Muse Spark Open 开放权重现已公开

Meta于2026年10月15日发布了Muse Spark Open的模型权重。这是一款原生多模态开放权重模型，总参数量为8160亿，激活参数量为420亿，上下文窗口为100万个token。Meta人工智能研究称其为迄今美国能力最强的开放权重模型，专为编程和智能体任务打造，例如长周期任务、复杂软件工程和多步推理。

架构与训练数据

Meta Superintelligence Labs 发布的模型卡显示，Muse Spark Open 采用专家混合 Transformer，并搭配 Perception Encoder。语言模型有 62 层，隐藏维度为 8192，并包含 256 个专家；通过 top-k 路由，每个 token 会激活其中 8 个专家。其注意力模块采用带 QK-norm 的门控注意力，在分组查询配置下设有 128 个查询头和 16 个键值头，头维度为 64。词表大小为 202,048，输入嵌入与输出嵌入不共享权重。Perception Encoder 有 18 亿个参数，分布在 50 层中，隐藏维度为 1536，设有 16 个头，图像块大小为 14×14，输出维度为 4096，并采用稀疏注意力，稀疏因子为 4；其中每隔 4 层以及最后一层使用全注意力。

该模型接受文本、图像、视频和音频输入，并生成文本输出。模型卡称，训练数据包括来自公开来源、互联网爬取内容、第三方、Meta 自有产品与服务以及合成生成材料的文本、图像、音频和视频，涵盖 100 多种语言；数据整理过程包括清洗、处理、去重和筛选。reasoning_effort 参数用于控制模型在作答前的思考程度，设有 low、medium、high 和 xhigh 四种选项，默认值为 xhigh；输入其他值则会返回错误。Meta 建议大多数部署采用 temperature 1.0、top_p 1.0，并禁用 top_k；对于复杂问题求解、编程和智能体任务，则建议使用 high 或 xhigh 推理强度。

可用性与 Apple 芯片优化

Muse Spark Open 可通过 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 等 API 平台使用；其权重可从 Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face 和 Microsoft Foundry Models 下载。该模型可在 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 和 Unsloth 等推理引擎上运行，并针对 AMD、Apple、Intel 和 NVIDIA 芯片进行了优化；开发者还可以使用 PyTorch 的 TorchTitan 进一步微调模型。权重提供 BF16 和 NVFP4 两种版本；若要在本地运行，NVFP4 版本需要至少 700GB 显存的 GPU，BF16 版本则需要 2TB 显存。

Meta 表示，Muse Spark Open 是同类中首个能在桌面设备上运行的模型，使用两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio，权重由该框架直接从 Hugging Face 拉取。Apple 的统一内存架构使每台 Mac Studio 中的集成 GPU 最多可使用 512GB 内存。Meta 称，该芯片 1.2TB/s 的内存带宽让两台设备能够容纳整个模型，并作为一个拥有 1TB 统一内存的单一系统运行。

Meta 表示，他们测试了完全在设备端运行、由 Muse Spark Open 驱动的 Muse Code 智能体工作流。在一项测试中，该配置为开源 Mastodon 客户端 Ice Cubes 实际交付了 iOS 代码改动，涉及错误修复、新功能和完整构建；在另一项测试中，它从头到尾操作 DaVinci Resolve，逐帧检查素材，挑选精彩片段，并将其重新裁切为竖版画面。开放权重版本还附带 SGLang 中定制且可自动调优的 Helion GPU 内核。Meta 报告称，这些内核在 NVIDIA 和 AMD GPU 上带来 1.03 至 3.95 倍的内核级加速，并在 AMD MI350 上实现端到端 3% 的加速。

Meta 报告的基准测试与安全结果

模型卡将以 xhigh 推理强度运行的 Muse Spark Open 与 Inkling、Nemotron 3 Ultra、Beam、Mistral Large 4、Qwen3.8-2.4T-A95B、GLM 5.3 和 Kimi K3 进行比较。Meta 报告称，该模型在 Artificial Analysis Intelligence Index 上得分为 39；同一张表中，GLM 5.3 得分为 45，Kimi K3 为 44，Qwen3.8-2.4T-A95B 为 40。在智能体评测中，Meta 报告称，该模型在 JobBench 上得分为 61.8，在 MCP-Atlas 上得分为 89.2，是模型卡表格所列模型中这两项测试的最高分。在知识与推理方面，Meta 报告称，该模型在不使用工具的 HLE-Diamond 上得分为 26.1，在 AA Omniscience 上得分为 25，在 GPQA Diamond 上得分为 89.0；表中 Qwen3.8-2.4T-A95B 和 Kimi K3 在 GPQA Diamond 上的得分均为 93.5。

在编程基准测试中，Meta 报告称，该模型在 Terminal-Bench 2.1 上得分为 76.4；模型卡所列 Kimi K3 和 GLM 5.3 的得分分别为 85.0 和 83.9。该模型在 DeepSWE 1.1 上得分为 60，在 SWE-Atlas-QnA 上得分为 58；模型卡所列 Kimi K3 在这两项测试中的得分分别为 68 和 66。在使用工具的多模态测试中，Meta 报告称，该模型在 ZeroBench 上得分为 50.0，在 SimpleVQA 上得分为 73.6，在 BabyVision 上得分为 80.2，而表中 Kimi K3 的得分为 85.7；该模型在 VideoMMEv2 上得分为 61.5，Kimi K3 在表中列出的得分为 65.4。

Meta 表示，开放权重版本经过了额外的安全后训练，并依据其 Meta Superintelligence Scaling Framework，在内容安全、智能体风险、隐私和准备度方面接受了评估，且达到了该框架规定的发布门槛。模型卡显示，Muse Spark Open 在 Meta 内部网络安全基准测试中拒绝了 99.2% 的越狱攻击，在 PolyGuard 网络安全子集、RedCode 和 CyberBench 2024 的汇总结果中拒绝率为 94.8%；在相同测试设置下，模型卡列出的 Kimi K3 两项拒绝率分别为 75.5% 和 70.2%。

Meta 报告称，在 SecureBio 的 BioTIER 基准测试中，模型对有害请求的拒绝率超过 98%；在一项内部单轮化学基准测试中，拒绝率超过 99%。此外，在内部多轮智能体基准测试中，模型拒绝了超过 97% 的有害生物学请求和 98% 的有害化学请求。模型卡显示，该模型在 MASK 基准测试中的诚实率为 98.1%，在 Agentic Misalignment 基准测试中的不当行为率为 0%，在 StrongREJECT v2 上的得分为 0.5；该测试的分数越低越好。Meta 提醒，这些结果仅反映该已发布检查点在受测条件下的表现，后续修改可能降低其安全性；Meta 还建议将模型部署在更广泛的 AI 系统中，并根据具体使用场景配置适当的防护措施。

许可条款与已说明的局限性

这些权重依据 Muse Model License 发布，许可日期为 2026 年 10 月 15 日。该许可允许免费使用、复制、修改（包括微调）、创作衍生作品、蒸馏和分发，但须遵守相关条件。被许可方必须在使用该软件或其衍生版本的每款产品或服务的用户界面中醒目显示“基于 Muse Spark Open 构建”，也可以在随附文档、网站或设置菜单中显示。

如果被许可方以服务形式提供人工智能模型，且其与关联方合计的总收入在任何连续 12 个月期间超过 2000 万美元，则必须通知 Meta，并在将该软件用于此类业务之前另行签订书面协议。此条款不适用于内部使用、研究或其他非模型服务类商业活动，也不适用于将该软件作为组件用于支持被许可方自有产品的情形。许可条款规定，Meta 不拥有该软件生成的任何输出。

随附的使用政策规定，该模型并非面向未满 18 周岁的个人，并禁止将其用于违法活动、创建恶意软件、研发武器、运行关键基础设施，以及实施欺诈、散布虚假信息和冒充他人等蓄意欺骗行为。Meta 列出的局限性包括：回答可能不准确、有偏见或令人反感；在新颖场景中进行多步推理时可能出错；在强支持语言集之外的语言中性能可能下降；量化推理下的质量可能略有差异；以及无法可靠地观看极短或低分辨率视频。Meta 表示，完整评估报告将于近期发布。