Hợp tác
SambaNova kết hợp GPU Intel với SN50 để suy luận AI bằng hệ thống làm mát bằng không khí

Điểm chínhSambaNova tách quá trình suy luận để GPU Intel xử lý giai đoạn prefill trong khi RDU…
Xem thêm
- SambaNova tách quá trình suy luận để GPU Intel xử lý giai đoạn prefill trong khi RDU của hãng xử lý giai đoạn decode bị giới hạn bởi bộ nhớ.
- Ethernet tiêu chuẩn và phần mềm phục vụ mã nguồn mở kết nối hai nhóm bộ tăng tốc mà không cần các kết nối độc quyền.
- Thiết kế làm mát bằng không khí hướng tới các trung tâm dữ liệu hiện hữu nơi việc cải tạo sang làm mát bằng chất lỏng là không thực tế.
SambaNova Systems thông báo vào ngày 15 tháng 11 năm 2026 rằng công ty và Intel đã trình diễn một hệ thống suy luận AI làm mát bằng không khí tại SuperComputing 2026, chạy GLM-5.3 trên bốn bộ tăng tốc GPU D-Series của Intel để xử lý lời nhắc và một SambaRack SN50 để tạo token.
Hệ thống chia quá trình suy luận thành hai giai đoạn: prefill, xử lý lời nhắc đầu vào và tạo bộ nhớ đệm khóa-giá trị (KV), và decode, tạo các token đầu ra. Phần cứng của Intel đảm nhiệm giai đoạn prefill đòi hỏi nhiều năng lực tính toán, còn các đơn vị luồng dữ liệu có thể cấu hình lại (RDU) thế hệ thứ năm của SambaNova đảm nhiệm giai đoạn decode bị giới hạn bởi bộ nhớ. SambaNova giới thiệu hệ thống được ghi hình này như một thiết kế mà khách hàng sẽ có thể triển khai tại các trung tâm dữ liệu hiện hữu.
Phần cứng khác nhau cho từng giai đoạn suy luận
Bản trình diễn có quy mô nhỏ hơn nhiều so với cấu hình tham chiếu của Intel. SambaNova mô tả một tủ rack tham chiếu D-Series gồm 80 GPU, đạt năng lực tính toán FP4 đỉnh 208 petaflop và có bộ nhớ từ 12 TB đến 38 TB tùy cấu hình. Các con số này mô tả thiết kế prefill quy mô lớn hơn; chúng không phải là số liệu đo hiệu năng của cấu hình tại SuperComputing.
Thông số sản phẩm D270 của Intel liệt kê một GPU làm mát bằng không khí, công suất 350 W, với 32 lõi Xe3P, 256 bộ máy tính ma trận XMX, PCIe 5.0 tiêu chuẩn và tối đa 480 GB bộ nhớ LPDDR5X trên mỗi card. Thiết kế dạng tiêu chuẩn này nhằm tương thích với các máy chủ hiện có mà không cần mạng độc quyền hoặc hệ thống được thiết kế riêng.
Mỗi SambaRack SN50 có 16 RDU và thường cần 20 kW điện để suy luận. Có thể vận hành tối đa 16 tủ rack như một khối thống nhất, với tối đa 256 RDU, qua đó phân bổ khối lượng công việc trên các tủ rack công suất thấp hơn. SambaNova cho biết kiến trúc luồng dữ liệu của hãng liên kết các hoạt động của mô hình trên nhiều chip, thay vì đưa dữ liệu trở lại bộ nhớ giữa các nhân GPU riêng biệt, nhờ đó giảm lưu lượng bộ nhớ và chi phí khởi chạy lại nhân trong quá trình tạo token.
Phần mềm mở kết nối các cụm phần cứng
NVIDIA Dynamo nằm trước hai cụm bộ tăng tốc và được thiết kế để định tuyến từng yêu cầu đến phần cứng đang lưu sẵn ngữ cảnh tương ứng trong bộ nhớ đệm. vLLM phục vụ cả luồng prefill trên Intel lẫn luồng decode trên SN50, trong khi NIXL truyền dữ liệu bộ nhớ đệm KV qua UCX/RDMA bằng Ethernet RoCEv2 tiêu chuẩn. Vì vậy, quá trình chuyển giao có thể sử dụng hạ tầng Ethernet phổ biến, thay vì kết nối liên kết độc quyền giữa hai loại phần cứng.
SN50 lưu giữ các tiền tố KV từ những lời nhắc trước đó trong bộ nhớ DDR gắn kèm, còn SRAM trên chip và HBM hỗ trợ quá trình giải mã đang diễn ra. Khi một tác tử quay lại cuộc trò chuyện hoặc ngữ cảnh dùng chung, cơ chế định tuyến có xét đến bộ nhớ đệm có thể gửi yêu cầu đến SN50 đang giữ tiền tố đó; nhờ vậy, chỉ phần nội dung mới cần đi qua giai đoạn prefill trên GPU và lượng trạng thái KV truyền qua mạng sẽ ít hơn. SambaNova cho biết những lần truy xuất trúng bộ nhớ đệm này giúp rút ngắn thời gian tạo token đầu tiên và giải phóng năng lực GPU cho các yêu cầu mới. Bài đăng mô tả những lợi ích đó nhưng không đưa ra kết quả đo lường độ trễ hoặc thông lượng của bản trình diễn kết hợp.
Mở rộng quy mô tại các cơ sở hiện có, dùng hệ thống làm mát bằng không khí
Cách phân chia này cũng cho phép các nhà cung cấp mở rộng riêng từng giai đoạn. Lời nhắc dài hơn có thể đòi hỏi thêm năng lực prefill của D-Series, trong khi các tác tử tạo đầu ra dài hơn có thể cần thêm năng lực decode của SN50, mà không phải mở rộng cụm còn lại theo cùng tỷ lệ.
Tính linh hoạt này hướng đến các đơn vị vận hành có cơ sở không dễ đáp ứng yêu cầu của hệ thống làm mát bằng chất lỏng. Intel cho biết thiết kế PCIe tiêu chuẩn và cấu hình làm mát bằng không khí, công suất 350 W của D270 phù hợp với các tủ rack hiện có mà không cần cải tạo chuyên biệt để làm mát bằng chất lỏng. Kết hợp với mức tiêu thụ điện ở cấp độ tủ rack của SN50, thiết kế này nhằm bổ sung năng lực suy luận trong các môi trường hiện hữu dùng hệ thống làm mát bằng không khí.
Điểm đáng chú ý của bản trình diễn nằm ở khả năng tích hợp: hai kiến trúc bộ tăng tốc, được kết nối bằng phần mềm phục vụ mô hình phổ biến và Ethernet tiêu chuẩn, có thể đảm nhiệm các giai đoạn suy luận khác nhau và được mở rộng quy mô tùy theo khối lượng công việc. Với các nhà cung cấp đang đối mặt với giới hạn cố định về điện năng và khả năng làm mát, câu hỏi còn lại là liệu khối lượng công việc thực tế có đạt được đủ lợi ích về lưu bộ nhớ đệm và mức độ sử dụng như mô tả để xứng đáng với chi phí vận hành cả hai cụm hay không.












