Trọng số mở của Muse Spark Open 816 tỷ tham số của Meta hiện đã được công khai

Meta công bố trọng số của Muse Spark Open vào ngày 15 tháng 10 năm 2026. Đây là một mô hình trọng số mở đa phương thức nguyên bản, có tổng cộng 816 tỷ tham số, trong đó 42 tỷ tham số được kích hoạt, cùng cửa sổ ngữ cảnh 1 triệu token. Nghiên cứu AI của Meta mô tả đây là mô hình trọng số mở của Mỹ có năng lực cao nhất từ trước đến nay, được phát triển cho lập trình và các tác vụ tác nhân như nhiệm vụ kéo dài, kỹ thuật phần mềm phức tạp và suy luận nhiều bước.

Kiến trúc và dữ liệu huấn luyện

Theo thẻ mô hình do Meta Superintelligence Labs công bố, Muse Spark Open là một Transformer hỗn hợp chuyên gia (Mixture-of-Experts), kết hợp với Perception Encoder. Mô hình ngôn ngữ này có 62 lớp, chiều ẩn 8192 và 256 chuyên gia, trong đó 8 chuyên gia được kích hoạt cho mỗi token thông qua định tuyến top-k. Khối attention sử dụng attention có cổng với QK-norm, 128 đầu truy vấn và 16 đầu khóa-giá trị theo cấu hình grouped-query, cùng kích thước đầu là 64. Kích thước từ vựng là 202.048, với các embedding đầu vào và đầu ra không dùng chung trọng số. Perception Encoder có 1,8 tỷ tham số trên 50 lớp, chiều ẩn 1536, 16 đầu, kích thước patch 14×14, chiều đầu ra 4096 và attention thưa với hệ số bốn; theo cấu hình này, cứ mỗi lớp thứ tư cùng với lớp cuối cùng sẽ sử dụng attention đầy đủ.

Mô hình nhận đầu vào dạng văn bản, hình ảnh, video và âm thanh, rồi tạo đầu ra dạng văn bản. Theo thẻ mô hình, dữ liệu huấn luyện bao gồm văn bản, hình ảnh, âm thanh và video lấy từ các nguồn công khai, dữ liệu thu thập trên internet, bên thứ ba, các sản phẩm và dịch vụ của Meta, cũng như nội dung được tạo tổng hợp; dữ liệu bao phủ hơn 100 ngôn ngữ và được tuyển chọn qua các bước làm sạch, xử lý, loại bỏ trùng lặp và lọc. Tham số reasoning_effort kiểm soát mức độ suy nghĩ của mô hình trước khi phản hồi, với các mức low, medium, high và xhigh; xhigh là mức mặc định. Mọi giá trị khác đều gây lỗi. Meta khuyến nghị đặt temperature ở mức 1.0, top_p ở mức 1.0 và tắt top_k trong hầu hết các trường hợp triển khai; với những bài toán giải quyết vấn đề phức tạp, lập trình và tác vụ tác nhân, Meta khuyến nghị dùng mức suy luận high hoặc xhigh.

Tính khả dụng và tối ưu hóa cho Apple Silicon

Có thể sử dụng Muse Spark Open thông qua các nền tảng API Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter và Together AI; đồng thời, có thể tải trọng số từ Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face và Microsoft Foundry Models. Mô hình chạy trên các công cụ suy luận như SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp và Unsloth, với các tối ưu hóa cho chip AMD, Apple, Intel và NVIDIA. Nhà phát triển cũng có thể tinh chỉnh thêm mô hình bằng TorchTitan của PyTorch. Trọng số được cung cấp ở các phiên bản BF16 và NVFP4; để chạy cục bộ, cần GPU có ít nhất 700GB VRAM đối với NVFP4 hoặc 2TB đối với BF16.

Meta cho biết Muse Spark Open là mô hình đầu tiên trong phân khúc có thể chạy trên máy tính để bàn, sử dụng hai máy Mac Studio trang bị Apple M5 Ultra cùng framework MLX mới nhất, vốn tải trực tiếp trọng số từ Hugging Face. Kiến trúc bộ nhớ thống nhất của Apple cho phép GPU tích hợp trên M5 Ultra sử dụng tối đa 512GB bộ nhớ trên mỗi máy Mac Studio. Meta cho biết băng thông bộ nhớ 1,2TB/s của chip cho phép hai máy chứa toàn bộ mô hình và hoạt động như một hệ thống duy nhất với một terabyte bộ nhớ thống nhất.

Meta cho biết họ đã thử nghiệm các quy trình tác nhân chạy hoàn toàn trên thiết bị bằng Muse Code tích hợp Muse Spark Open. Trong một thử nghiệm, hệ thống triển khai các thay đổi iOS thực tế cho Ice Cubes, một ứng dụng khách Mastodon mã nguồn mở, bao gồm sửa lỗi, tính năng mới và một bản dựng hoàn chỉnh. Trong thử nghiệm khác, hệ thống vận hành DaVinci Resolve từ đầu đến cuối, xem xét cảnh quay từng khung hình để chọn những khoảnh khắc nổi bật và cắt lại thành khung hình dọc. Phiên bản trọng số mở cũng được cung cấp kèm các kernel GPU Helion tùy chỉnh, có thể tự động tinh chỉnh trong SGLang. Theo Meta, các kernel này giúp tăng tốc ở cấp kernel từ 1,03 đến 3,95 lần trên GPU NVIDIA và AMD, đồng thời tăng tốc 3% từ đầu đến cuối trên AMD MI350.

Các kết quả đo chuẩn và an toàn do Meta công bố

Thẻ mô hình so sánh Muse Spark Open, chạy ở mức suy luận xhigh, với Inkling, Nemotron 3 Ultra, Beam, Mistral Large 4, Qwen3.8-2.4T-A95B, GLM 5.3 và Kimi K3. Meta báo cáo mô hình đạt 39 điểm trên Artificial Analysis Intelligence Index; cùng bảng đó ghi GLM 5.3 đạt 45 điểm, Kimi K3 đạt 44 điểm và Qwen3.8-2.4T-A95B đạt 40 điểm. Trong các bài đánh giá tác nhân, Meta báo cáo mô hình đạt 61,8 điểm trên JobBench và 89,2 điểm trên MCP-Atlas, cao nhất trong số các mô hình được liệt kê trong bảng của thẻ mô hình ở cả hai bài kiểm tra. Về kiến thức và suy luận, Meta báo cáo mô hình đạt 26,1 điểm trên HLE-Diamond khi không dùng công cụ, 25 điểm trên AA Omniscience và 89,0 điểm trên GPQA Diamond; tại bài này, bảng ghi Qwen3.8-2.4T-A95B và Kimi K3 cùng đạt 93,5 điểm.

Trong các bài kiểm tra chuẩn về lập trình, Meta báo cáo mô hình đạt 76,4 điểm trên Terminal-Bench 2.1; thẻ mô hình ghi Kimi K3 đạt 85,0 điểm và GLM 5.3 đạt 83,9 điểm. Mô hình cũng đạt 60 điểm trên DeepSWE 1.1 và 58 điểm trên SWE-Atlas-QnA; ở hai bài kiểm tra này, thẻ mô hình ghi Kimi K3 lần lượt đạt 68 và 66 điểm. Trong các bài kiểm tra đa phương thức có hỗ trợ công cụ, Meta báo cáo mô hình đạt 50,0 điểm trên ZeroBench, 73,6 điểm trên SimpleVQA, 80,2 điểm trên BabyVision so với mức 85,7 điểm của Kimi K3 trong bảng, và 61,5 điểm trên VideoMMEv2 so với mức 65,4 điểm được liệt kê cho Kimi K3.

Meta cho biết phiên bản có trọng số mở đã được bổ sung huấn luyện hậu kỳ về an toàn và đánh giá về an toàn nội dung, rủi ro của tác nhân, quyền riêng tư và mức độ sẵn sàng theo Khung Mở rộng Siêu trí tuệ Meta (Meta Superintelligence Scaling Framework), đồng thời đáp ứng các ngưỡng mà khung này đặt ra để phát hành. Thẻ mô hình cho biết Muse Spark Open từ chối 99,2% các cuộc tấn công vượt rào an toàn trong bài đánh giá an ninh mạng nội bộ của Meta và 94,8% khi tổng hợp kết quả trên tập con an ninh mạng của PolyGuard, RedCode và CyberBench 2024; trong cùng thiết lập, thẻ ghi nhận Kimi K3 đạt lần lượt 75,5% và 70,2%.

Meta báo cáo tỷ lệ từ chối trên 98% đối với các yêu cầu có hại trong bài đánh giá BioTIER của SecureBio và trên 99% trong bài đánh giá hóa học nội bộ theo lượt đơn, cùng với tỷ lệ từ chối trên 97% đối với các yêu cầu có hại về sinh học và 98% đối với các yêu cầu có hại về hóa học trong các bài đánh giá nội bộ nhiều lượt dành cho tác nhân. Thẻ mô hình ghi nhận tỷ lệ trung thực 98,1% trong bài đánh giá MASK, tỷ lệ hành vi sai lệch 0% trong bài đánh giá Agentic Misalignment và điểm 0,5 trong StrongREJECT v2, trong đó điểm thấp hơn là tốt hơn. Meta lưu ý rằng các kết quả này mô tả điểm kiểm tra đã phát hành trong những điều kiện thử nghiệm nói trên, đồng thời các sửa đổi ở khâu tiếp theo có thể làm suy giảm mức độ an toàn; hãng khuyến nghị triển khai mô hình trong một hệ thống AI rộng hơn, với các biện pháp bảo vệ phù hợp với mục đích sử dụng.

Điều khoản cấp phép và những hạn chế được nêu

Các trọng số được phát hành theo Giấy phép Mô hình Muse (Muse Model License), đề ngày 15 tháng 10 năm 2026. Giấy phép cho phép sử dụng, sao chép, chỉnh sửa miễn phí — bao gồm tinh chỉnh — tạo tác phẩm phái sinh, chưng cất và phân phối, nhưng phải tuân theo các điều kiện. Bên được cấp phép phải hiển thị nổi bật dòng chữ “Được xây dựng bằng Muse Spark Open” trong giao diện người dùng của mỗi sản phẩm hoặc dịch vụ sử dụng phần mềm hay các sản phẩm phái sinh của phần mềm, hoặc trong tài liệu đi kèm, trên trang web hoặc trong menu cài đặt.

Các bên được cấp phép cung cấp mô hình trí tuệ nhân tạo dưới dạng dịch vụ và có tổng doanh thu gộp cùng các đơn vị liên kết vượt quá 20 triệu USD trong bất kỳ giai đoạn 12 tháng liên tiếp nào phải thông báo cho Meta và ký một thỏa thuận riêng bằng văn bản trước khi đưa phần mềm vào hoạt động kinh doanh đó. Quy định này không áp dụng cho việc sử dụng nội bộ, nghiên cứu hoặc các hoạt động thương mại khác không phải là dịch vụ mô hình; cũng không áp dụng khi phần mềm được dùng làm thành phần vận hành sản phẩm riêng của bên được cấp phép. Giấy phép quy định Meta không sở hữu các đầu ra do phần mềm tạo ra.

Chính sách sử dụng đính kèm nêu rõ mô hình không dành cho người dưới 18 tuổi và cấm các mục đích sử dụng như hoạt động bất hợp pháp, tạo phần mềm độc hại, phát triển vũ khí, vận hành cơ sở hạ tầng thiết yếu và cố ý lừa dối, chẳng hạn như gian lận, tung tin sai lệch và mạo danh. Những hạn chế Meta nêu ra gồm khả năng tạo phản hồi không chính xác, thiên lệch hoặc phản cảm; mắc lỗi khi suy luận nhiều bước trong các tình huống mới lạ; hoạt động kém hiệu quả hơn với những ngôn ngữ không thuộc nhóm được hỗ trợ tốt; có khác biệt nhỏ về chất lượng khi suy luận lượng tử hóa; và khả năng xem video rất ngắn hoặc có độ phân giải thấp không đáng tin cậy. Meta cho biết báo cáo đánh giá đầy đủ sẽ sớm được công bố.