Supermicro xây dựng và bán các hệ thống suy luận AI sử dụng công nghệ SambaNova

Ngày 3 tháng 11 năm 2026, SambaNova và Supermicro đã thông báo rằng Supermicro sẽ xây dựng, bán và hỗ trợ các hệ thống suy luận AI phân chia khối lượng công việc giữa GPU NVIDIA và SN50 Reconfigurable Dataflow Units của SambaNova. Ban đầu, hai bên dự kiến sử dụng 10.000 chip SN50.

Các hệ thống này sẽ được đưa vào danh mục Data Center Building Block Solutions của Supermicro. Supermicro sẽ tích hợp, kiểm thử, bàn giao và hỗ trợ hệ thống, bao gồm cả dịch vụ tại chỗ; trong khi đó, các kỹ sư SambaNova sẽ vận hành và tinh chỉnh mô hình trên SN50, đồng thời hỗ trợ triển khai cho khách hàng. Do đó, thỏa thuận kết hợp kênh sản xuất và dịch vụ máy chủ với công việc kỹ thuật về mô hình cần thiết để triển khai các bộ tăng tốc không đồng nhất.

Vì sao tác vụ suy luận được chia giữa GPU và RDU

Kiến trúc này chia quá trình suy luận thành hai giai đoạn. Trong giai đoạn tiền xử lý prompt (prefill), GPU NVIDIA xử lý prompt đầu vào, một tác vụ đòi hỏi nhiều năng lực tính toán. RDU SN50 đảm nhiệm giai đoạn giải mã (decode), trong đó phản hồi được tạo ra từng token một và tác vụ bị giới hạn bởi băng thông bộ nhớ. SambaNova cho biết việc giao mỗi giai đoạn cho loại phần cứng phù hợp giúp suy luận nhanh và hiệu quả hơn so với khi chỉ sử dụng riêng một trong hai loại phần cứng.

Thông báo đi kèm của SambaNova xác định AI tác tử là trường hợp sử dụng trọng tâm: các tác tử có thể gọi mô hình ngôn ngữ lớn hàng nghìn lần, mỗi lần gọi có thể mất vài phút, và khối lượng công việc AI tác tử dành phần lớn thời gian cho giai đoạn giải mã. Vì vậy, việc tạo token nằm trên đường găng quyết định hành động tiếp theo của tác tử. Do đó, hai công ty xem giải mã là một bài toán hạ tầng riêng biệt, trong đó các RDU bổ sung được kỳ vọng sẽ tăng tốc độ phản hồi, còn GPU tiếp tục xử lý prompt.

Bên trong thiết kế SN50

SN50 là RDU thế hệ thứ năm của SambaNova. Bảng dữ liệu chính thức của sản phẩm nêu chip được sản xuất theo tiến trình 5 nanomet của TSMC, có 432 MB SRAM trên chip và 64 GB HBM2E; DDR5 là tầng bộ nhớ thứ ba. Chip sử dụng Reconfigurable Dataflow Architecture của SambaNova và được thiết kế cho giai đoạn giải mã vốn bị giới hạn bởi băng thông bộ nhớ, thay vì các khối lượng công việc tăng tốc đa dụng.

Tài liệu sản phẩm của SambaNova cho biết thiết kế này giúp suy luận nhanh hơn, tăng thông lượng và cải thiện hiệu quả năng lượng. Các thao tác được liên kết thành một luồng dữ liệu liên tục, qua đó giảm việc truyền dữ liệu lặp lại giữa các bộ nhớ và chi phí khởi chạy lại công việc ở mỗi giai đoạn. Mỗi tầng bộ nhớ cũng đảm nhiệm một chức năng riêng: SRAM lưu dữ liệu thường xuyên sử dụng ở gần bộ phận tính toán; HBM2E lưu trọng số mô hình đang hoạt động và bộ nhớ đệm KV thường dùng; còn DDR5 dành cho bộ nhớ đệm prompt, các nhóm mô hình lớn hơn và bộ nhớ đệm KV ít được sử dụng.

SambaNova cho biết SN50 có thể mở rộng lên đến 256 RDU trên nhiều tủ rack và được thiết kế cho các tác tử tương tác, trợ lý lập trình cùng những khối lượng công việc suy luận nhiều bước khác, bao gồm cả ứng dụng chuyển đổi giữa nhiều mô hình. Thiết kế nhiều tủ rack phù hợp với kế hoạch triển khai ở cấp tủ rack của thỏa thuận hợp tác: Supermicro sẽ tích hợp RDU và GPU vào các hệ thống mà công ty sẽ kiểm định và hỗ trợ.

Triển khai qua kênh phân phối và các giới hạn tại trung tâm dữ liệu

Khách hàng sẽ có thể mua RDU SN50 cùng với GPU thông qua Supermicro, sử dụng cùng kênh phân phối như các thành phần khác trong hạ tầng AI của họ. Việc triển khai sẽ bắt đầu với các nhà cung cấp đám mây NeoCloud và đám mây chủ quyền, sau đó mở rộng sang các doanh nghiệp vận hành AI tại trung tâm dữ liệu của riêng mình. Cách tiếp cận theo từng giai đoạn này khởi đầu với các nhà khai thác đám mây, rồi đưa kiến trúc kết hợp GPU-RDU tương tự vào cơ sở của doanh nghiệp.

Điện năng và khả năng làm mát là những yếu tố then chốt trong phương án triển khai. Hai công ty cho biết SN50 có thể phục vụ các mô hình lớn với tốc độ và thông lượng cao mà không đòi hỏi mật độ công suất cực lớn trong tủ rack, nhờ đó việc triển khai hệ thống tại các trung tâm dữ liệu hiện có sẽ dễ dàng hơn. Đặc tính tiêu thụ điện này hỗ trợ phương án cải tạo cơ sở hiện hữu của thỏa thuận: các RDU được thiết kế để bổ sung năng lực tại những cơ sở mà nhà khai thác đang vận hành.

Hai công ty cũng cho biết việc bổ sung RDU để xử lý giai đoạn giải mã có thể tăng năng lực suy luận mà không cần chờ các công trình mới vốn bị hạn chế bởi nguồn điện và khả năng làm mát, đồng thời kéo dài thời gian sử dụng hữu ích của GPU đã lắp đặt. Vì vậy, đề xuất này gắn việc tăng thêm năng lực với các cơ sở và GPU mà nhà khai thác hiện có.

SambaNova và Supermicro kỳ vọng thỏa thuận hợp tác sẽ giúp nâng cao đáng kể năng lực suy luận hiệu năng cao trong năm 2027 so với mức có thể đạt được nếu không có thỏa thuận này. Ý nghĩa của kế hoạch nằm ở sự kết hợp giữa phần cứng chuyên dụng cho giai đoạn giải mã và kênh triển khai của Supermicro. Với các nhà khai thác đang đối mặt với giới hạn về điện năng và khả năng làm mát, câu hỏi còn bỏ ngỏ là liệu các hệ thống RDU dự kiến lắp đặt có thể bổ sung năng lực suy luận hữu ích trong phạm vi các cơ sở hiện có, ở quy mô như hai công ty dự kiến hay không.