De open gewichten van Meta’s Muse Spark met 816 miljard parameters zijn nu openbaar

Meta heeft op 15 oktober 2026 de gewichten van Muse Spark Open vrijgegeven: een van nature multimodaal model met open gewichten, 816 miljard parameters in totaal, 42 miljard actieve parameters en een contextvenster van 1 miljoen tokens. Het AI-onderzoek van Meta omschrijft het als het tot nu toe meest capabele Amerikaanse model met open gewichten, ontwikkeld voor programmeerwerk en agentische taken, zoals taken met een lange tijdshorizon, complexe softwareontwikkeling en redeneringen in meerdere stappen.

Architectuur en trainingsgegevens

Volgens de modelkaart die Meta Superintelligence Labs heeft gepubliceerd, bestaat Muse Spark Open uit een Transformer met een mixture-of-experts-architectuur, gekoppeld aan een perceptie-encoder. Het taalmodel heeft 62 lagen, een verborgen dimensie van 8192 en 256 experts, waarvan er via top-k-routering acht per token worden geactiveerd. Het aandachtsblok gebruikt gated attention met QK-norm, 128 query-heads en 16 key-value-heads in een grouped-query-configuratie, met een head-dimensie van 64. De vocabulairegrootte is 202.048 en de input- en output-embeddings zijn niet aan elkaar gekoppeld. De perceptie-encoder heeft 1,8 miljard parameters verdeeld over 50 lagen, een verborgen dimensie van 1536, 16 heads, een patchgrootte van 14×14, een uitvoerdimensie van 4096 en sparse attention met een factor vier. Daarbij gebruiken elke vierde laag en de laatste laag volledige attention.

Het model accepteert tekst, afbeeldingen, video en audio als input en produceert tekst als output. Volgens de modelkaart bestaan de trainingsgegevens uit tekst, afbeeldingen, audio en video uit openbare bronnen, verzameld via crawls van het internet, afkomstig van derden en uit Meta’s eigen producten en diensten, plus synthetisch gegenereerd materiaal. De gegevens omvatten meer dan 100 talen en zijn samengesteld met behulp van opschoning, verwerking, ontdubbeling en filtering. Een parameter met de naam reasoning_effort bepaalt hoeveel het model nadenkt voordat het antwoord geeft. De beschikbare instellingen zijn low, medium, high en xhigh; xhigh is de standaardinstelling. Elke andere waarde leidt tot een foutmelding. Voor de meeste implementaties beveelt Meta een temperature van 1.0 en een top_p van 1.0 aan, met top_k uitgeschakeld. Voor complexe probleemoplossing, programmeren en agentische taken adviseert Meta reasoning_effort in te stellen op high of xhigh.

Beschikbaarheid en optimalisatie voor Apple-silicium

Muse Spark Open is beschikbaar via de API-platforms Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter en Together AI. De gewichten zijn te downloaden via Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face en Microsoft Foundry Models. Het model draait op inferentie-engines als SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp en Unsloth, met optimalisaties voor AMD-, Apple-, Intel- en NVIDIA-silicium. Ontwikkelaars kunnen het model verder afstemmen met TorchTitan van PyTorch. De gewichten zijn beschikbaar in BF16- en NVFP4-versies. Voor lokaal gebruik is een GPU nodig met minimaal 700GB VRAM voor NVFP4 of 2TB voor BF16.

Meta zegt dat Muse Spark Open het eerste model in zijn klasse is dat op een desktop kan draaien. Hiervoor worden twee Apple M5 Ultra Mac Studio-computers gebruikt met de nieuwste versie van het MLX-framework, dat de gewichten rechtstreeks van Hugging Face ophaalt. Dankzij de unified-memoryarchitectuur van Apple kan de geïntegreerde GPU van de M5 Ultra maximaal 512GB per Mac Studio gebruiken. Volgens Meta maakt de geheugenbandbreedte van 1,2TB/s van de chip het mogelijk om de twee computers samen het volledige model te laten bevatten en als één systeem met een terabyte aan unified memory te laten functioneren.

Meta zegt dat het agentische workflows heeft getest die volledig op het apparaat worden uitgevoerd met Muse Code, aangedreven door Muse Spark Open. In één test bracht de configuratie daadwerkelijke iOS-wijzigingen aan in Ice Cubes, een open-sourceclient voor Mastodon. Het ging om bugfixes, nieuwe functies en een volledige build. In een andere test bediende het systeem DaVinci Resolve van begin tot eind: het onderzocht beelden frame voor frame om de beste momenten te selecteren en ze om te zetten in verticale uitsneden. De versie met open gewichten wordt ook geleverd met aangepaste, automatisch af te stellen Helion-GPU-kernels in SGLang. Volgens Meta leveren die op NVIDIA- en AMD-GPU’s kernelversnellingen op van 1,03 tot 3,95 keer en een versnelling van 3% van begin tot eind op AMD MI350.

Door Meta gerapporteerde benchmark- en veiligheidsresultaten

De modelkaart vergelijkt Muse Spark Open, uitgevoerd met reasoning_effort op xhigh, met Inkling, Nemotron 3 Ultra, Beam, Mistral Large 4, Qwen3.8-2.4T-A95B, GLM 5.3 en Kimi K3. Meta rapporteert een score van 39 op de Artificial Analysis Intelligence Index. In dezelfde tabel staan GLM 5.3 op 45, Kimi K3 op 44 en Qwen3.8-2.4T-A95B op 40. Voor agentische evaluaties rapporteert Meta scores van 61,8 op JobBench en 89,2 op MCP-Atlas. Dat zijn de hoogste scores op die tests van de modellen in de tabel van de modelkaart. Voor kennis en redeneren rapporteert Meta 26,1 op HLE-Diamond zonder hulpmiddelen, 25 op AA Omniscience en 89,0 op GPQA Diamond. In de tabel staan Qwen3.8-2.4T-A95B en Kimi K3 voor die laatste test elk op 93,5.

Voor programmeerbenchmarks rapporteert Meta 76,4 op Terminal-Bench 2.1. De modelkaart vermeldt voor die test 85,0 voor Kimi K3 en 83,9 voor GLM 5.3. Daarnaast scoort het model 60 op DeepSWE 1.1 en 58 op SWE-Atlas-QnA; voor die tests vermeldt de modelkaart scores van 68 en 66 voor Kimi K3. Op multimodale tests met hulpmiddelen rapporteert Meta 50,0 op ZeroBench, 73,6 op SimpleVQA en 80,2 op BabyVision, tegenover 85,7 voor Kimi K3 in de tabel. Op VideoMMEv2 scoort het model 61,5, tegenover de vermelde 65,4 voor Kimi K3.

Meta zei dat de versie met open gewichten aanvullende veiligheidstraining heeft gekregen en is geëvalueerd op inhoudsveiligheid, risico’s van AI-agenten, privacy en paraatheid, in overeenstemming met het Meta Superintelligence Scaling Framework. Het model voldeed aan de drempelwaarden die het framework voor uitgave vereist. Volgens de modelkaart weigerde Muse Spark Open 99,2% van de jailbreakpogingen op Meta’s interne benchmark voor cyberveiligheid en 94,8% van de pogingen wanneer de resultaten van PolyGuards subset voor cyberveiligheid, RedCode en CyberBench 2024 werden samengenomen; in dezelfde testopzet scoorde Kimi K3 volgens de modelkaart respectievelijk 75,5% en 70,2%.

Meta meldt dat het model meer dan 98% van de schadelijke verzoeken weigerde op de BioTIER-benchmark van SecureBio en meer dan 99% op een interne benchmark voor chemie met één beurt. Daarnaast weigerde het meer dan 97% van de schadelijke verzoeken over biologie en 98% van de schadelijke verzoeken over chemie op interne benchmarks voor agentische taken met meerdere beurten. Volgens de modelkaart behaalde het model een eerlijkheidsscore van 98,1% op de MASK-benchmark, een percentage ongewenst gedrag van 0% op de Agentic Misalignment-benchmark en een score van 0,5 op StrongREJECT v2, waarbij lagere scores beter zijn. Meta benadrukt dat de resultaten betrekking hebben op het uitgebrachte checkpoint onder de geteste omstandigheden en dat aanpassingen achteraf de veiligheid kunnen verminderen. Het bedrijf raadt aan het model in te zetten binnen een breder AI-systeem, met waarborgen die zijn afgestemd op het beoogde gebruik.

Licentievoorwaarden en vermelde beperkingen

De gewichten zijn uitgebracht onder de Muse Model License, gedateerd 15 oktober 2026. Deze licentie staat gratis gebruik, kopiëren, aanpassing — waaronder finetuning —, het maken van afgeleide werken, distillatie en distributie toe, mits aan bepaalde voorwaarden wordt voldaan. Licentiehouders moeten de tekst “Built with Muse Spark Open” duidelijk zichtbaar tonen in de gebruikersinterface van elk product of elke dienst die de software of afgeleiden ervan gebruikt, of in bijbehorende documentatie, op een website of in een instellingenmenu.

Licentiehouders die AI-modellen als dienst aanbieden en van wie de gezamenlijke bruto-omzet met gelieerde ondernemingen in een aaneengesloten periode van 12 maanden meer dan $20 miljoen bedraagt, moeten Meta hiervan op de hoogte stellen en een afzonderlijke schriftelijke overeenkomst sluiten voordat zij de software in die bedrijfsactiviteit opnemen. Deze bepaling geldt niet voor intern gebruik, onderzoek of andere commerciële activiteiten die geen modeldienst zijn, noch voor gebruik van de software als onderdeel van een eigen product van de licentiehouder. Volgens de licentie maakt Meta geen aanspraak op eigendom van de door de software gegenereerde resultaten.

In het bijgevoegde gebruiksbeleid staat dat het model niet bedoeld is voor personen jonger dan 18 jaar. Het beleid verbiedt onder meer illegale activiteiten, het maken van malware, de ontwikkeling van wapens, het bedienen van kritieke infrastructuur en opzettelijke misleiding, zoals fraude, desinformatie en identiteitsfraude. Volgens Meta kan het model onnauwkeurige, bevooroordeelde of aanstootgevende antwoorden geven, fouten maken bij meerstapsredeneringen in nieuwe scenario’s, minder goed presteren in talen buiten de groep die sterk wordt ondersteund, onder kwantisering kleine kwaliteitsverschillen vertonen en onbetrouwbaar zijn bij het bekijken van zeer korte video’s of video’s met een lage resolutie. Meta zei dat er binnenkort een volledig evaluatierapport beschikbaar komt.