Mô hình và nền tảng AI

MiTAC đề xuất kiến trúc suy luận AI hai máy chủ tại SC26

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhMiTAC tách prefill và decode trên các máy chủ riêng biệt để mỗi giai đoạn được cấp phát…
Xem thêm
  • MiTAC tách prefill và decode trên các máy chủ riêng biệt để mỗi giai đoạn được cấp phát cho khối lượng công việc riêng của nó.
  • Máy chủ decode mang 2 TB bộ nhớ tăng tốc để chạy các mô hình như Kimi K3 tại chỗ.
  • Giá đỡ làm mát bằng chất lỏng của MiTAC đạt mật độ GPU cao hơn 50% so với các triển khai thông thường.

Trong thông báo ngày 17 tháng 11 năm 2026, MiTAC Computing ra mắt kiến trúc suy luận AI hai máy chủ cùng Skymizer tại SC26, đề xuất bộ nhớ tăng tốc 2 TB ở phía giải mã cho một hệ thống được thiết kế để chạy các mô hình như Kimi K3 với 2,8 nghìn tỷ tham số tại chỗ.

Kiến trúc này là một phần trong danh mục rộng hơn, bao gồm điều phối phần mềm, làm mát bằng chất lỏng mật độ cao, lưu trữ và một hệ thống giá đỡ AMD sắp ra mắt. Một số hệ thống hỗ trợ đang được trình diễn trực tiếp tại SC26, trong khi những hệ thống khác vẫn đang ở giai đoạn đề xuất hoặc phát triển; vì vậy, thông báo này kết hợp các buổi trình diễn hiện tại với những thiết kế hạ tầng trong tương lai.

Tách riêng máy chủ tiền nạp và giải mã

Nền tảng tiền nạp được đề xuất là G8825Z5 8U, sử dụng bộ xử lý AMD EPYC 9575F hoặc 9755 và GPU Instinct MI350X. Hệ thống sẽ truyền bộ nhớ đệm key-value tạo ra sang máy chủ giải mã qua mạng tốc độ cao. Đối với khâu giải mã, cấu hình G4520G6 4U làm mát bằng không khí được đề xuất kết hợp bộ xử lý Intel Xeon 6 với tám thẻ tăng tốc Skymizer HTX301-4S, mỗi thẻ có bộ nhớ 256 GB.

Tiền nạp là giai đoạn đòi hỏi nhiều năng lực tính toán, còn giải mã tiêu tốn nhiều bộ nhớ; do đó, việc tách hai giai đoạn nhằm giúp doanh nghiệp phân bổ tài nguyên phù hợp với khối lượng công việc riêng của từng giai đoạn. MiTAC cho biết hệ thống giải mã tại chỗ được thiết kế cho các khối lượng công việc tác tử phức tạp, đòi hỏi suy luận sâu. Kiến trúc này chuyển một phần bài toán mở rộng quy mô từ việc bổ sung GPU sang cân đối bộ nhớ của bộ tăng tốc với kết nối mạng giữa các giai đoạn.

Trình diễn làm mát và mật độ dữ liệu trực tiếp tại SC26

Các buổi trình diễn trực tiếp của MiTAC cho thấy những yêu cầu về cơ sở vật chất liên quan đến thiết kế suy luận này. Một tủ máy 52U làm mát bằng chất lỏng tích hợp 12 máy chủ G4826Z5 và 96 GPU AMD Instinct MI355X; theo công ty, cấu hình này có mật độ GPU cao hơn 50% so với các hệ thống triển khai thông thường.

Bản thử nghiệm khả thi phối hợp với ZutaCore sử dụng công nghệ làm mát bằng chất lỏng trực tiếp hai pha, không dùng nước, trên G4826Z5; công nghệ này làm hóa hơi chất lỏng điện môi ngay tại chip. MiTAC cho biết hệ thống hỗ trợ công suất thiết kế nhiệt trên 4.000 W, mật độ thông lượng nhiệt trên 250 W/cm² và chỉ số hiệu quả sử dụng điện năng từng phần tính theo năm là 1,03. Buổi trình diễn hướng đến việc giải quyết các giới hạn nhiệt phát sinh khi tập trung bộ tăng tốc công suất cao bên trong các tủ máy mật độ cao.

Buổi trình diễn lưu trữ kết hợp DDN Infinia với bảy máy chủ lưu trữ GC68C-B8056 1U, được thiết kế để cung cấp liên tục các luồng dữ liệu AI mà không gặp nút thắt cổ chai I/O. Giải pháp này xử lý một hạn chế khác với vấn đề làm mát: giảm nguy cơ bộ tăng tốc phải chờ dữ liệu thay vì xử lý suy luận và các khối lượng công việc tác tử.

Phần mềm và tủ máy Helion sắp ra mắt

Canonical Ubuntu cung cấp lớp hệ điều hành được chứng nhận; Rafay bổ sung khả năng điều phối GPU dưới dạng dịch vụ linh hoạt trên các khối lượng công việc phân tán; còn phần mềm MiCoreView của MiTAC cung cấp dữ liệu đo từ xa ở cấp pod và khả năng giám sát tập trung toàn bộ trung tâm dữ liệu. Kết hợp với Infinia, các thành phần này bao quát hệ điều hành, phân phối dữ liệu, phân bổ GPU và giám sát trong cùng một hệ thống hạ tầng.

MiTAC cũng đang hợp tác với AMD để phát triển tủ máy AI tác tử ORv3 44OU Helion sắp ra mắt. MiTAC cho biết hệ thống sẽ mở rộng lên 32.768 lõi CPU AMD Zen 6 cho các môi trường siêu quy mô và doanh nghiệp.

Tài liệu Helion của AMD mô tả một thiết kế tham chiếu mở ở quy mô tủ máy, được xây dựng theo các tiêu chuẩn của Open Compute Project (OCP), với cấu hình siêu quy mô chỉ dùng CPU và các phiên bản doanh nghiệp kết hợp phiến CPU với phiến GPU. Phiên bản suy luận làm mát bằng không khí hỗ trợ tối đa 16 GPU Instinct MI350P; khách hàng có thể kết hợp các loại phiến để phù hợp với những khối lượng công việc tác tử khác nhau. Cấu hình doanh nghiệp hướng đến việc kết hợp thực thi tác tử và suy luận trong cùng một tủ máy, khác với Helios, vốn được xây dựng cho huấn luyện ở quy mô tiên phong và suy luận quy mô lớn với một miền GPU scale-up thống nhất.

Trên thực tế, khả năng triển khai suy luận tại chỗ phụ thuộc vào việc bộ nhớ giải mã phối hợp nhịp nhàng với mạng tiền nạp, thông lượng lưu trữ, hệ thống làm mát tủ máy và khả năng điều phối; đề xuất của MiTAC đưa những kết nối này vào phép tính năng lực, bên cạnh chính các GPU.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.