Mô hình và nền tảng AI

Cerebras đưa suy luận tách rời vào vận hành thực tế với GPU

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhCerebras đã đo được thông lượng trên mỗi megawatt cao gấp năm lần bằng cách chuyển việc…
Xem thêm
  • Cerebras đã đo được thông lượng trên mỗi megawatt cao gấp năm lần bằng cách chuyển việc xử lý lời nhắc sang GPU AMD.
  • Việc tách prefill khỏi decode cho phép SRAM quy mô tấm wafer vẫn dành riêng cho việc tạo token bị giới hạn bởi bộ nhớ.
  • Các đối tác có thể áp dụng toàn bộ ngăn xếp phần mềm hoặc SDK chỉ decode cho các framework của riêng họ.

Cerebras Systems đưa tin vào ngày 17 tháng 11 năm 2026 rằng hệ thống suy luận tách rời đang được triển khai trong môi trường sản xuất của công ty — phân công xử lý câu lệnh đầu vào cho GPU AMD Instinct và tạo phản hồi cho các hệ thống CS-3 — đạt thông lượng trên mỗi megawatt cao gấp năm lần so với cấu hình chỉ dùng CS-3, mà không làm giảm tốc độ tạo token.

Kết quả này áp dụng cho Cerebras Inference Cloud. Số liệu được lấy từ một điểm cuối GPT-OSS-120B dùng chung vào ngày 14 tháng 11 năm 2026, bằng cách so sánh thông lượng trên mỗi megawatt trước và sau khi bật tính năng suy luận tách rời, đồng thời chuẩn hóa cấu hình tổng hợp theo mức cơ sở 1×. Việc chuyển khâu xử lý câu lệnh đầu vào sang GPU giúp duy trì năng lực phục vụ của các hệ thống CS-3 để tạo phản hồi, qua đó mở rộng năng lực suy luận tốc độ cao mà Cerebras có thể cung cấp qua dịch vụ đám mây.

Thông tin về việc triển khai trong môi trường sản xuất được công bố sau phần giải thích về suy luận tách rời của Cerebras vào ngày 1 tháng 10 năm 2026, trong đó báo cáo mức cải thiện 5× qua các thử nghiệm ban đầu với cùng quy mô hệ thống động cơ quy mô wafer. Thông báo mới vượt ra ngoài kết quả ban đầu đó khi cung cấp số liệu đo trong môi trường sản xuất và gói triển khai dành cho các đối tác hạ tầng.

Vì sao Cerebras tách riêng khâu tiền xử lý và giải mã

Mỗi yêu cầu suy luận gồm hai giai đoạn chính. Khâu tiền xử lý tiếp nhận câu lệnh đầu vào và tạo trạng thái trung gian của mô hình; khâu giải mã sử dụng trạng thái đó để lần lượt tạo từng token đầu ra, đồng thời đưa mỗi token mới trở lại mô hình. Vì mỗi bước giải mã đều đọc lại dữ liệu mô hình từ bộ nhớ, băng thông bộ nhớ đóng vai trò then chốt đối với tốc độ tạo nội dung tương tác. Trong khi đó, khâu tiền xử lý thực hiện nhiều phép tính song song hơn trên toàn bộ câu lệnh, nên phù hợp hơn với các bộ tăng tốc được thiết kế cho khối lượng tính toán này.

Các hệ thống quy mô wafer của Cerebras lưu dữ liệu mô hình trong SRAM trên chip thay vì chủ yếu dựa vào bộ nhớ băng thông cao ngoài chip. Cerebras cho biết chip quy mô wafer của hãng có hàng chục gigabyte SRAM và băng thông bộ nhớ đạt hàng chục petabyte mỗi giây — dung lượng SRAM cao gấp 350 lần và băng thông bộ nhớ cao gấp 5.400 lần so với GPU GB300 thông thường. Dung lượng đó cho phép nhiều yêu cầu đồng thời và nhiều lớp mô hình hơn được lưu trực tiếp trên chip để giải mã nhanh.

Mục tiêu kinh tế là tăng năng lực phục vụ khách hàng và tiềm năng doanh thu với cùng mức ngân sách điện năng tại các trung tâm dữ liệu bị giới hạn về nguồn điện. Cerebras nêu Muse, Copilot và Codex làm ví dụ về các ứng dụng tác tử đang mở rộng nhanh chóng, đòi hỏi phản hồi có tính tương tác cao; vì vậy, mức tăng năng lực phải giữ nguyên tốc độ tạo nội dung thì mới hữu ích cho những khối lượng công việc này.

Kiến trúc triển khai và phần mềm

Các đối tác hạ tầng có thể sử dụng kiến trúc tham chiếu do Cerebras cung cấp để đặt các bộ tăng tốc tiền xử lý mà họ lựa chọn cùng với các hệ thống Cerebras trên một mạng thống nhất. Sau đó, họ có thể chọn một trong hai phương án tích hợp: ngăn xếp phần mềm đầu cuối nhằm rút ngắn thời gian đưa sản phẩm ra thị trường, hoặc SDK chỉ dành cho khâu giải mã dành cho các đối tác muốn kiểm soát nhiều hơn.

Ngăn xếp đầy đủ định tuyến yêu cầu giữa các cụm tiền xử lý và giải mã, đồng thời quản lý năng lực và tình trạng hoạt động của các bản sao. Công cụ tiền xử lý có thể chạy các công cụ suy luận mã nguồn mở như vLLM hoặc SGLang, trong khi Cerebras cung cấp công cụ giải mã. KV Portal truyền trạng thái trung gian của mô hình giữa hai công cụ qua RDMA, bao gồm cả bộ nhớ đệm khóa-giá trị lưu giữ ngữ cảnh riêng của từng yêu cầu sau khâu tiền xử lý.

Với tùy chọn chỉ dành cho khâu giải mã, các đối tác tiếp tục sử dụng khung suy luận và công cụ tiền xử lý của riêng mình, đồng thời dùng công cụ giải mã và KV Portal của Cerebras. SDK cũng bao gồm một bản sao giải mã mô phỏng và một phương án tích hợp tham chiếu với khung suy luận tách rời mã nguồn mở cùng công cụ tiền xử lý. Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute được nêu tên là các đối tác được tiếp cận sớm; Cerebras đang mở rộng quyền tiếp cận cho các đối tác khác.

Mục tiêu về năng lực

Cerebras dự kiến triển khai rộng rãi suy luận tách rời trên quy mô hàng trăm megawatt trong dịch vụ đám mây suy luận của chính hãng và các hệ thống triển khai của đối tác trước cuối năm 2027. Đây là mục tiêu triển khai, không phải năng lực đã đi vào hoạt động.

Do đó, thông báo này kết hợp cấu hình đám mây đã được đo lường với một phương án phần mềm dành cho các đơn vị vận hành bên ngoài. Câu hỏi cốt lõi về khả năng mở rộng là liệu lợi thế thông lượng được đo trên một điểm cuối dùng chung có thể được tái hiện với các bộ tăng tốc, khung phần mềm và quy mô triển khai do đối tác lựa chọn hay không, khi Cerebras theo đuổi kế hoạch triển khai rộng hơn.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.