Веса Muse Spark Open с 816 млрд параметров теперь общедоступны

Meta выпустила веса Muse Spark Open 15 октября 2026 года. Это изначально мультимодальная модель с открытыми весами, содержащая в общей сложности 816 млрд параметров, из которых 42 млрд активны, и контекстным окном на 1 млн токенов. Исследовательское подразделение Meta в области ИИ называет её самой мощной американской моделью с открытыми весами на сегодняшний день. Она создана для программирования и агентной работы, включая задачи с длительным горизонтом планирования, сложную разработку программного обеспечения и многоэтапные рассуждения.

Архитектура и обучающие данные

Согласно карточке модели, опубликованной Meta Superintelligence Labs, Muse Spark Open — это трансформер с архитектурой «смесь экспертов» в сочетании с энкодером восприятия. Языковая модель состоит из 62 слоёв, имеет размерность скрытого слоя 8192 и 256 экспертов, из которых для каждого токена с помощью маршрутизации top-k активируются восемь. В блоке внимания используется управляемое внимание с нормализацией QK (QK-norm), 128 головами запросов и 16 головами ключей и значений в конфигурации группового внимания по запросам; размерность каждой головы — 64. Словарь содержит 202 048 элементов; входные и выходные эмбеддинги не связаны. На энкодер восприятия приходится 1,8 млрд параметров в 50 слоях; его размерность скрытого слоя составляет 1536, в нём 16 голов, размер патча — 14 × 14, размерность выходного представления — 4096. Также используется разреженное внимание с коэффициентом 4: полное внимание применяется в каждом четвёртом слое и в последнем слое.

Модель принимает на вход текст, изображения, видео и аудио, а на выходе генерирует текст. Согласно карточке модели, обучающие данные включают текст, изображения, аудио и видео из общедоступных источников, интернет-сканирования, сторонних источников, собственных продуктов и сервисов Meta, а также синтетически сгенерированные материалы. Они охватывают более 100 языков; при подготовке данных выполнялись очистка, обработка, дедупликация и фильтрация. Параметр reasoning_effort задаёт, насколько тщательно модель обдумывает ответ; доступны значения low, medium, high и xhigh, причём по умолчанию используется xhigh. Любое другое значение вызывает ошибку. Для большинства вариантов развёртывания Meta рекомендует temperature 1.0, top_p 1.0 и отключённый top_k, а для сложного решения задач, программирования и агентных задач — высокий или максимальный уровень reasoning_effort (high или xhigh).

Доступность и оптимизация для Apple Silicon

Muse Spark Open доступна через API-платформы Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI; веса можно скачать на Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face и Microsoft Foundry Models. Модель работает на движках инференса, включая SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp и Unsloth, и оптимизирована для чипов AMD, Apple, Intel и NVIDIA. Разработчики также могут дополнительно настраивать модель с помощью TorchTitan от PyTorch. Веса доступны в форматах BF16 и NVFP4; для локального запуска требуется графический процессор как минимум с 700 ГБ видеопамяти для NVFP4 или 2 ТБ для BF16.

По словам Meta, Muse Spark Open стала первой моделью в своём классе, которую удалось запустить на настольном компьютере: для этого использовали два компьютера Apple M5 Ultra Mac Studio с новейшей платформой MLX, которая загружает веса напрямую с Hugging Face. Архитектура унифицированной памяти Apple позволяет интегрированному графическому процессору M5 Ultra использовать до 512 ГБ памяти в каждом Mac Studio. Как сообщает Meta, пропускная способность памяти чипа — 1,2 ТБ/с — позволяет двум компьютерам вместить всю модель и работать как единая система с терабайтом унифицированной памяти.

Meta сообщила, что проверила агентные рабочие процессы, полностью выполняемые на устройстве с помощью Muse Code на базе Muse Spark Open. В одном испытании такая конфигурация внесла реальные изменения в iOS-версию Ice Cubes — клиента Mastodon с открытым исходным кодом: исправила ошибки, добавила новые функции и выполнила полную сборку. В другом испытании она выполнила весь процесс в DaVinci Resolve: анализировала видеоматериал кадр за кадром, отбирала наиболее выразительные моменты и преобразовывала их в вертикальные фрагменты. В комплекте с версией модели с открытыми весами также поставляются пользовательские автоматически настраиваемые ядра Helion для GPU в SGLang. По данным Meta, они ускоряют выполнение операций на уровне ядер в 1,03–3,95 раза на графических процессорах NVIDIA и AMD и обеспечивают ускорение сквозного выполнения на 3% на AMD MI350.

Результаты тестов и безопасности по данным Meta

В карточке модели Muse Spark Open, запущенную с максимальным уровнем reasoning_effort (xhigh), сравнивают с Inkling, Nemotron 3 Ultra, Beam, Mistral Large 4, Qwen3.8-2.4T-A95B, GLM 5.3 и Kimi K3. По данным Meta, модель набрала 39 баллов в Artificial Analysis Intelligence Index; в той же таблице для GLM 5.3 указано 45 баллов, для Kimi K3 — 44, а для Qwen3.8-2.4T-A95B — 40. В тестах агентных возможностей Meta сообщает о результатах 61,8 балла в JobBench и 89,2 в MCP-Atlas — это самые высокие показатели среди моделей, представленных в таблице карточки, в обоих тестах. В тестах знаний и рассуждений, по данным Meta, модель набрала 26,1 балла в HLE-Diamond без инструментов, 25 в AA Omniscience и 89,0 в GPQA Diamond. В таблице для Qwen3.8-2.4T-A95B и Kimi K3 в последнем тесте указано по 93,5 балла.

В тестах программирования Meta сообщает о результатах 76,4 балла в Terminal-Bench 2.1; в карточке для Kimi K3 указано 85,0, а для GLM 5.3 — 83,9. Кроме того, модель набрала 60 баллов в DeepSWE 1.1 и 58 в SWE-Atlas-QnA. В карточке для Kimi K3 в этих тестах указано соответственно 68 и 66 баллов. В мультимодальных тестах с использованием инструментов Meta сообщает о результатах 50,0 балла в ZeroBench, 73,6 в SimpleVQA и 80,2 в BabyVision; в последнем тесте результат Kimi K3, указанный в таблице, составляет 85,7. В VideoMMEv2 модель набрала 61,5 балла, тогда как для Kimi K3 в таблице указано 65,4.

Meta сообщила, что версия с открытыми весами прошла дополнительное постобучение с упором на безопасность и оценивалась по безопасности контента, агентным рискам, конфиденциальности и готовности в соответствии с системой Meta Superintelligence Scaling Framework. Модель достигла пороговых значений, необходимых для выпуска согласно этой системе. В карточке модели указано, что Muse Spark Open отказалась выполнять 99,2% попыток обхода защит на внутреннем кибернетическом тесте Meta и 94,8% таких попыток в совокупности по кибернетической подвыборке PolyGuard, RedCode и CyberBench 2024; в тех же условиях карточка указывает результаты Kimi K3 — 75,5% и 70,2%.

По данным Meta, модель отказалась выполнять более 98% вредоносных запросов в тесте SecureBio BioTIER и более 99% запросов во внутреннем одношаговом тесте по химии, а также более 97% вредоносных запросов по биологии и 98% вредоносных запросов по химии во внутренних многошаговых тестах с агентным взаимодействием. В карточке модели указаны показатель честности 98,1% в тесте MASK, показатель недопустимого поведения 0% в тесте Agentic Misalignment и оценка 0,5 в StrongREJECT v2, где более низкие значения считаются лучшими. Meta предупреждает, что результаты характеризуют выпущенную контрольную версию модели в проверенных условиях, а последующие изменения могут снизить уровень безопасности. Компания рекомендует использовать модель в составе более широкой системы ИИ с защитными механизмами, соответствующими конкретному сценарию применения.

Условия лицензии и заявленные ограничения

Веса выпущены по лицензии Muse Model License от 15 октября 2026 года. Она разрешает бесплатное использование, копирование, изменение, в том числе дообучение, создание производных работ, дистилляцию и распространение при соблюдении ряда условий. Лицензиаты должны заметно разместить надпись «Built with Muse Spark Open» в пользовательском интерфейсе каждого продукта или сервиса, использующего программное обеспечение или его производные, либо в сопроводительной документации, на веб-сайте или в меню настроек.

Лицензиаты, предлагающие модели искусственного интеллекта как услугу и получающие в совокупности с аффилированными лицами валовую выручку свыше 20 млн долларов США за любой последовательный 12-месячный период, должны уведомить Meta и заключить отдельное письменное соглашение до включения программного обеспечения в такую деятельность. Это положение не распространяется на внутреннее использование, исследования и другую коммерческую деятельность, не связанную с предоставлением модели как услуги, а также на использование программного обеспечения в качестве компонента, обеспечивающего работу собственного продукта лицензиата. Согласно лицензии, Meta не приобретает прав собственности на результаты, созданные с помощью программного обеспечения.

В прилагаемой политике использования указано, что модель не предназначена для лиц младше 18 лет; среди запрещённых способов её применения — незаконная деятельность, создание вредоносного ПО, разработка оружия, управление критически важной инфраструктурой и намеренное введение в заблуждение, например мошенничество, дезинформация и выдача себя за другого человека. К заявленным Meta ограничениям относятся возможные неточные, предвзятые или неприемлемые ответы; ошибки в многошаговых рассуждениях в новых сценариях; снижение качества работы с языками, не входящими в число языков с надёжной поддержкой; незначительные различия в качестве при квантованном инференсе; а также ненадёжная обработка очень коротких видео или видео низкого разрешения. Meta сообщила, что полный отчёт об оценке будет опубликован в ближайшее время.