Mô hình và nền tảng AI

Nscale đưa những tủ rack Vera Rubin NVL72 đầu tiên vào hoạt động cho dịch vụ đám mây AI toàn cầu

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhNscale là đơn vị đầu tiên triển khai rack mạng L11 làm mát bằng chất lỏng tích hợp tại…
Xem thêm
  • Nscale là đơn vị đầu tiên triển khai rack mạng L11 làm mát bằng chất lỏng tích hợp tại nhà máy của Dell.
  • NVLink xử lý mở rộng quy mô bên trong mỗi rack trong khi Ethernet RoCE kết nối các rack thành các cụm lớn hơn.
  • NVIDIA tuyên bố tạo ra tới 10 lần số token trên mỗi megawatt so với GB200 NVL72 đối với cấu hình đã nêu của mình.

Nscale thông báo vào ngày 18 tháng 11 năm 2026 rằng các hệ thống AI cấp rack NVIDIA Vera Rubin NVL72 đầu tiên của công ty đã đi vào hoạt động, mở đầu cho đợt triển khai toàn cầu dự kiến tiếp tục trong những tháng tới. Các hệ thống Dell PowerEdge XE9812 bổ sung năng lực phục vụ khách hàng huấn luyện và vận hành các mô hình lớn, trong đó có những khối lượng công việc cần suy luận qua nhiều bước.

Mỗi tủ rack NVL72 có 72 GPU Rubin và 36 CPU Vera, cùng bộ nhớ và các kết nối tốc độ cao được thiết kế để hoạt động như một siêu máy tính cấp rack. Một bài viết kỹ thuật đi kèm nêu các khối lượng công việc mục tiêu gồm huấn luyện phân tán quy mô lớn, suy luận với ngữ cảnh dài, học tăng cường, suy luận bằng tác tử và các dịch vụ độ trễ thấp xử lý lượng token lớn. Sự đa dạng này khiến mạng và mô hình vận hành trở nên quan trọng: cơ sở hạ tầng phải điều phối nhiều bộ tăng tốc cho cả các đợt huấn luyện lẫn suy luận trong môi trường sản xuất.

Tủ rack và hệ thống mạng được tích hợp tại nhà máy

Nscale cho biết đây là công ty đầu tiên trong ngành triển khai tủ rack mạng L11 tích hợp hoàn chỉnh, làm mát bằng chất lỏng của Dell. Được xây dựng trên nền tảng IR9148 của Dell, tủ rack kết hợp tám bộ chuyển mạch NVIDIA SN6600-LD với các hộp xáo trộn, khay cấp nguồn, bộ điều khiển rack tích hợp và bộ phân phối chất làm mát bên trong rack. Dell tích hợp và kiểm thử tủ rack đã lắp đầy thiết bị tại nhà máy, loại bỏ công đoạn lắp ráp tủ rack mạng tại chỗ.

“Dell PowerRack tích hợp và kiểm định máy tính, mạng, nguồn điện và hệ thống làm mát ngay tại nhà máy, giảm khối lượng công việc cần thực hiện tại chỗ và giúp Nscale đưa cơ sở hạ tầng điện toán hiệu năng cao vào vận hành nhanh hơn”, Ihab Tarazi, Giám đốc công nghệ phụ trách Điện toán và Mạng thuộc Nhóm Giải pháp Cơ sở hạ tầng của Dell Technologies, cho biết.

Phần cứng điện toán cũng áp dụng cách tiếp cận cấp rack tương tự. Tổng quan hệ thống của Dell mô tả XE9812 là sản phẩm kế nhiệm XE9712 trong dòng Vera Rubin, sử dụng công nghệ làm mát trực tiếp bằng chất lỏng và các GPU kết nối qua NVLink trong thiết kế cấp rack. Trong hệ thống triển khai của Nscale, NVLink cung cấp kết nối mở rộng quy mô bên trong mỗi rack, còn mạng RoCE mở rộng quy mô ra bên ngoài kết nối các rack thành một cụm lớn hơn.

RoCE, viết tắt của RDMA qua Ethernet hội tụ, cung cấp khả năng truyền thông lượng cao, độ trễ thấp cho lưu lượng AI phân tán. Mạng Ethernet của Nscale tích hợp hệ thống chuyển mạch hiệu năng cao, quản lý tắc nghẽn, đo từ xa và tự động hóa trên nền tảng dựa theo các tiêu chuẩn. Thiết kế này nhằm giúp GPU tiếp tục xử lý các tác vụ song song thay vì phải chờ bộ nhớ, mạng hoặc do những điểm nghẽn trong vận hành.

Công cụ quản lý đội máy cho đợt triển khai toàn cầu

Ngay khi đi vào hoạt động, các tủ rack được đưa vào mô hình vận hành đám mây của Nscale. Bộ phận Vận hành đội máy quản lý việc đăng ký, cấu hình, kiểm định, chạy rà, tích hợp mạng, bảo trì, sửa chữa và ngừng sử dụng. Trung tâm điều khiển áp dụng các cấu hình chuẩn về phần mềm, chương trình cơ sở, mạng và bảo mật trước khi các hệ thống đã được kiểm định đi vào hoạt động thông qua quy trình tự động.

Khả năng giám sát bao quát điện toán, mạng, lưu trữ và điều phối, kết nối dữ liệu đo từ xa của cơ sở hạ tầng với các phản hồi tự động. API Radar của Nscale cung cấp cho khách hàng thông tin về tình trạng sẵn sàng, bảo trì và sửa chữa, trạng thái thiết bị, dung lượng cùng các sự kiện vận hành khác. Những công cụ này giúp khách hàng có cái nhìn thống nhất về dung lượng, đồng thời cung cấp cho Nscale một phương thức nhất quán để đưa thêm hệ thống vào hoạt động.

Nidhi Chappell, Chủ tịch phụ trách cơ sở hạ tầng AI của Nscale, cho biết công ty kỳ vọng đợt triển khai sẽ vận hành như một môi trường sản xuất thống nhất, với cùng hệ thống tự động hóa đội máy và khả năng giám sát như các phần còn lại của dịch vụ đám mây. Khách hàng có thể liên hệ Nscale để đặt hàng hoặc trao đổi về thời điểm triển khai.

Trên trang sản phẩm của NVIDIA, nhà cung cấp cho biết cấu hình Kimi-K2 Thinking được nêu, với độ dài chuỗi đầu vào/đầu ra 32K/8K, đạt số token trên mỗi megawatt cao gấp tới 10 lần so với GB200 NVL72, đồng thời lưu ý rằng hiệu năng suy luận có thể thay đổi. Phép so sánh của nhà cung cấp—không phải kết quả đo trên các hệ thống của Nscale—nhấn mạnh thông lượng token trong một giới hạn công suất cố định, một yếu tố kinh tế trọng tâm đối với hoạt động suy luận quy mô lớn.

Đợt triển khai kết nối thế hệ GPU mới với những công việc ít được chú ý hơn nhưng cần thiết để đưa công nghệ vào sử dụng: hệ thống mạng làm mát bằng chất lỏng, tích hợp tại nhà máy; NVLink bên trong các rack; mạng Ethernet mở rộng quy mô ra bên ngoài; và các công cụ quản lý đội máy dùng chung. Thử thách vận hành tiếp theo là liệu Nscale có thể lặp lại trọn gói giải pháp này khi các hệ thống bổ sung được đưa đến, qua đó mở rộng năng lực phục vụ khách hàng mà không làm phân mảnh môi trường sản xuất toàn cầu hay không.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.