Baidu phát hành ERNIE 5.5 Flash Base để tiếp tục huấn luyện

Nhóm ERNIE của Baidu đã công bố ERNIE-5.5-Flash-Base vào ngày 5 tháng 11 năm 2026, đồng thời phát hành bộ trọng số có thể tải xuống cho một mô hình chỉ xử lý văn bản, sử dụng kiến trúc hỗn hợp chuyên gia, với tổng cộng 280 tỷ tham số và 14 tỷ tham số được kích hoạt cho mỗi token. Điểm kiểm tra này đánh dấu kết thúc giai đoạn tiền huấn luyện, trước khi huấn luyện giữa kỳ hoặc hậu huấn luyện, qua đó cung cấp cho nhà phát triển một điểm khởi đầu chung để thích ứng mô hình với từng lĩnh vực, tinh chỉnh theo chỉ dẫn và nghiên cứu học tăng cường.

Bản phát hành cũng cung cấp một mốc chuẩn cố định để so sánh có kiểm soát các phương pháp huấn luyện. Baidu cho biết phiên bản ERNIE 5.5 Flash đã qua hậu huấn luyện sẽ ra mắt sau phiên bản cơ sở này.

Kiến trúc và hệ thống huấn luyện

Thẻ thông tin mô hình liệt kê 43 lớp, kích thước lớp ẩn là 4.096 và 64 đầu chú ý. Trong đó, 37 lớp sử dụng cơ chế Chú ý nén mạnh: bộ nhớ đệm của chúng lưu một mục cho mỗi khối 128 token, cùng với một cửa sổ ngắn chứa các token gần đây chưa được nén. Sáu lớp Chú ý tiềm ẩn đa đầu duy trì khả năng truy cập toàn bộ ngữ cảnh ở cấp token và dùng bộ lập chỉ mục để chọn các vị trí trước đó có điểm số cao nhất. Baidu cho biết cách chọn thưa này giúp chi phí chú ý cốt lõi cho mỗi truy vấn không đổi khi ngữ cảnh dài thêm.

Tất cả các lớp, ngoại trừ lớp đầu tiên, đều sử dụng khối hỗn hợp chuyên gia với 512 chuyên gia được định tuyến, trong đó 10 chuyên gia được kích hoạt, cùng với một chuyên gia dùng chung. Các chuyên gia hoạt động trong không gian tiềm ẩn 2.048 chiều thay vì toàn bộ chiều rộng lớp ẩn của mô hình. Baidu cho biết thiết kế này giúp giảm khoảng một nửa lưu lượng điều phối và kết hợp chuyên gia, cũng như số phép tính dấu phẩy động (FLOP) của chuyên gia, so với các chuyên gia hoạt động trên toàn bộ chiều rộng. Thiết kế còn có bốn luồng dư song song thông qua các kết nối siêu ràng buộc đa tạp và một đầu ra MultiMax với nhiệt độ từng đoạn có thể học được.

Giai đoạn tiền huấn luyện sử dụng 33,5 nghìn tỷ token, bộ tối ưu hóa Muon và độ chính xác hỗn hợp FP8. Độ dài ngữ cảnh dùng trong quá trình huấn luyện được tăng dần lên 128K token; tinh chỉnh và suy luận hỗ trợ 1 triệu token. Ngoài dữ liệu web đa ngôn ngữ, kho dữ liệu còn có mã nguồn và hồ sơ phát triển phần mềm như các lần commit, vấn đề, yêu cầu kéo, đánh giá, bài kiểm thử được tạo tự động và bản sửa lỗi được CI xác minh. Các tài liệu dài được tuyển chọn, chuỗi có chứa những thông tin gây nhiễu tương tự về ngữ nghĩa, cùng dữ liệu tổng hợp phục vụ truy xuất và trả lời câu hỏi, cung cấp dữ liệu huấn luyện ngữ cảnh dài. Những lựa chọn này giúp phiên bản cơ sở phù hợp với suy luận ở cấp kho mã nguồn, kỹ thuật phần mềm có tác tử và đầu vào dài.

Kho mã FlashMask đi kèm tài liệu về các nhân chú ý dành cho GPU Hopper và Blackwell; cấu hình Blackwell hỗ trợ kích thước đầu tối đa 576 cho truy vấn và khóa, và 512 cho giá trị. Baidu báo cáo mức tăng tốc tối đa 175% ở lượt truyền xuôi và 74% ở lượt truyền ngược so với FlashAttention-4 MaskMod trên phần cứng SM100. Hệ thống Muon phân tán cũng kết hợp việc đồng bộ hóa tham số dày đặc và tham số MoE thành một thao tác tập thể, đồng thời phân bổ trạng thái bộ tối ưu hóa đồng đều hơn giữa các nút mà không làm thay đổi các bước cập nhật của bộ tối ưu hóa.

Kết quả đánh giá chuẩn của Baidu

Baidu đánh giá ERNIE cùng các điểm kiểm tra DeepSeek-V4-Flash-Base, Hy3-preview-Base và MiMo-V2.5-Base đã được phát hành công khai, sử dụng cùng bộ công cụ đánh giá, câu lệnh và ví dụ học ít mẫu, cũng như cùng một mô hình ngôn ngữ lớn làm giám khảo cho các câu trả lời tự do. Một số kết quả được chọn từ bảng cho thấy mô hình dẫn đầu ở đâu và kém hơn ở đâu:

Kết quả so sánh của Baidu thay đổi tùy theo tác vụ, chứ không phải ERNIE dẫn đầu toàn diện: ERNIE dẫn đầu ở các kết quả MMLU và HumanEval+ được nêu, trong khi Hy3 dẫn đầu ở FullStackBench còn DeepSeek dẫn đầu ở InfiniteBench. Bảng cho thấy mô hình đạt kết quả tốt trong các bài đánh giá kiến thức và lập trình thuộc phạm vi đánh giá của Baidu, đồng thời vẫn ghi nhận những ngoại lệ đó.

Triển khai và điều kiện cấp phép

Có thể tải xuống mô hình ở định dạng safetensors FP8 và BF16. Thẻ thông tin mô hình hướng dẫn cách triển khai phục vụ trong môi trường sản xuất bằng SGLang và vLLM thông qua API completions, phù hợp với trạng thái mô hình cơ sở của điểm kiểm tra này. Công thức Megatron Bridge của NVIDIA bổ sung quy trình tinh chỉnh có giám sát, bao gồm chuẩn bị dữ liệu, huấn luyện và xuất trở lại định dạng Hugging Face. Công thức dành cho toàn bộ mô hình sử dụng 16 nút, mỗi nút có bốn GPU GB300. NVIDIA xác thực các công thức này trên hệ thống Blackwell GB200 và GB300; các thành phần hỗ trợ Hopper nhưng chưa được xác thực trên Hopper.

Thỏa thuận cấp phép mô hình ERNIE 5.5 Flash Base phiên bản 1.0 tùy chỉnh đặt ra các điều kiện về lãnh thổ và thương mại. Lãnh thổ được cấp phép không bao gồm Liên minh châu Âu, Vương quốc Anh và Hàn Quốc; các hoạt động như sử dụng, sửa đổi và phân phối bên ngoài lãnh thổ đó đều không được cho phép. Việc sử dụng phi thương mại không phải trả phí cấp phép mô hình. Nếu doanh thu hằng năm từ các sản phẩm hoặc dịch vụ liên quan không vượt quá 50 triệu USD, việc sử dụng cho mục đích thương mại cần có thông báo một lần và ghi chú nổi bật “Powered by ERNIE”. Nếu vượt ngưỡng này, người dùng cần có văn bản chấp thuận trước riêng của Baidu.

Thỏa thuận cũng cấm sử dụng các tài liệu được cấp phép, mô hình phái sinh hoặc đầu ra của chúng để cải thiện một hệ thống AI hoặc máy học không liên quan. Hạn chế này quan trọng đối với các quy trình chưng cất và tạo dữ liệu tổng hợp, vốn được giấy phép đề cập rõ khi định nghĩa mô hình phái sinh và các giới hạn về việc sử dụng đầu ra.

ERNIE 5.5 Flash Base cung cấp cho các nhà nghiên cứu và nhà phát triển một điểm kiểm tra cố định để thử nghiệm các phương pháp huấn luyện tiếp theo mà không phải lặp lại quy trình tiền huấn luyện của Baidu. Thiết kế của mô hình tập trung vào việc kiểm soát lượng tính toán thực tế và chi phí xử lý ngữ cảnh dài, nhưng phạm vi ứng dụng thực tế của bản phát hành bị giới hạn bởi phần cứng cần thiết để tinh chỉnh toàn bộ mô hình và giấy phép hạn chế phạm vi địa lý, hoạt động thương mại quy mô lớn hơn cũng như việc chuyển giao năng lực cho các mô hình không liên quan.