Cornelis ra mắt CN6000: Mạng 800G có ý nghĩa gì đối với AI và siêu máy tính

Cornelis đã giới thiệu CN6000, một dòng sản phẩm mạng 800 gigabit được thiết kế để giảm thời gian bộ tăng tốc AI và siêu máy tính phải chờ dữ liệu. Điểm nổi bật trong tuyên bố của hãng là khả năng xử lý lên đến 1,6 tỷ thông điệp mỗi giây trên SuperNIC Omni-Path. Tuy nhiên, để hiểu điều đó có ý nghĩa gì, cần phân biệt ba thước đo hiệu năng mạng: băng thông, tốc độ xử lý thông điệp và độ trễ.

Thông báo ngày 12 tháng 11 giới thiệu cả bộ điều hợp Omni-Path và Ethernet, cùng với một bộ chuyển mạch Omni-Path. Cornelis cho biết phần cứng đã sẵn sàng để đánh giá và triển khai ban đầu; các hệ thống từ đối tác dự kiến sẽ ra mắt trong quý I năm 2027.

Mục tiêu thương mại rất rõ ràng: bộ xử lý đắt tiền tạo ra nhiều giá trị hơn khi mạng có thể đáp ứng kịp. GPU nhanh hơn cũng chẳng giúp rút ngắn một tác vụ phân tán nếu nó vẫn phải chờ một máy khác gửi kết quả.

Ý nghĩa thực sự của 800G và 1,6 tỷ thông điệp

Cụm AI là một nhóm máy tính được kết nối và phối hợp hoạt động. Mạng truyền tải mọi thứ, từ những khối dữ liệu mô hình lớn đến các thông điệp điều phối nhỏ. Hiệu năng mạng có nhiều khía cạnh:

800G có nghĩa là 800 gigabit mỗi giây. Chia cho tám, ta có tốc độ danh nghĩa 100 gigabyte mỗi giây, chưa tính phần dữ liệu phụ trội của giao thức và các giới hạn thực tế khác. Con số này mô tả dung lượng truyền dữ liệu, chứ không cho biết chatbot tạo từ nhanh đến đâu.

Tốc độ xử lý thông điệp đo một nút thắt cổ chai khác. Việc gửi nhiều mẩu thông tin rất nhỏ đòi hỏi bộ điều hợp xử lý nhiều thao tác riêng biệt, ngay cả khi chúng không sử dụng hết băng thông của đường truyền. Tài liệu giới thiệu sản phẩm Omni-Path của Cornelis nêu rõ tốc độ 1,6 tỷ thông điệp là tổng tốc độ hai chiều. Đây là năng lực tổng hợp, không có nghĩa là một ứng dụng hoàn tất được ngần ấy yêu cầu tuần tự mỗi giây.

Độ trễ rất quan trọng khi phép tính tiếp theo phải chờ một thông điệp. Trong phép thử ping-pong Intel MPI nội bộ với thông điệp 8 byte của Cornelis, độ trễ được báo cáo là 0,95 micro giây đối với CN6000, so với 1,2 micro giây đối với NVIDIA InfiniBand XDR ở tốc độ 800G, tức thấp hơn khoảng 21%. MPI, hay Giao diện Truyền thông điệp (Message Passing Interface), là một phương thức tiêu chuẩn để các chương trình khoa học chạy song song giao tiếp với nhau.

Phép thử này đo một kiểu trao đổi thông điệp nhỏ cụ thể. Nó không chứng minh rằng một lượt huấn luyện, một mô phỏng hay một dịch vụ suy luận sẽ hoàn tất nhanh hơn 21%. Kết quả phụ thuộc vào tần suất ứng dụng giao tiếp, kích thước dữ liệu truyền, tình trạng nghẽn mạng và các thành phần còn lại của hệ thống.

Giải thích về SuperNIC, bộ chuyển mạch và cấu trúc mạng

Card giao tiếp mạng, hay NIC, kết nối máy chủ với mạng. “SuperNIC” là thuật ngữ sản phẩm của Cornelis dùng để chỉ các bộ điều hợp chuyên dụng, hiệu năng cao. Bộ chuyển mạch kết nối các đường truyền của máy chủ và chuyển tiếp dữ liệu giữa chúng. Toàn bộ hệ thống gồm bộ điều hợp, bộ chuyển mạch, đường truyền và phần mềm giao tiếp thường được gọi là cấu trúc mạng.

Sự khác biệt này rất quan trọng khi mua sắm cho một cụm máy tính. Lắp đặt bộ điều hợp mạnh không đồng nghĩa với việc mọi bộ chuyển mạch, cáp hay tuyến phần mềm mà lưu lượng đi qua đều được nâng cấp.

CN6000 cung cấp hai lựa chọn cấu trúc mạng. Omni-Path là công nghệ kết nối chuyên dụng của Cornelis dành cho điện toán song song. Ethernet là nền tảng mạng được sử dụng rộng rãi và quen thuộc với các đơn vị vận hành trung tâm dữ liệu. Bộ điều hợp Ethernet hướng đến khách hàng cần giao tiếp hiệu năng cao nhưng vẫn muốn giữ lại hạ tầng chuyển mạch Ethernet tương thích. InfiniBand, công nghệ được dùng trong phép so sánh hiệu năng, là một cấu trúc mạng chuyên dụng khác cho điện toán; bộ chuyển mạch của công nghệ này không thể dùng thay cho bộ chuyển mạch Omni-Path.

Do đó, nền tảng CN6000 là một dòng linh kiện và lựa chọn triển khai, chứ không bảo đảm rằng mọi tổ hợp thiết bị mạng đều cho ra kết quả như nhau.

RoCE truyền dữ liệu với mức sử dụng bộ xử lý thấp hơn như thế nào

SuperNIC Ethernet triển khai RoCEv2: Truy cập bộ nhớ trực tiếp từ xa qua Ethernet hội tụ, phiên bản thứ hai. Ý tưởng cốt lõi, RDMA, cho phép phần cứng mạng truyền dữ liệu giữa các vùng bộ nhớ được cấp quyền trên những máy khác nhau mà không cần CPU máy chủ sao chép từng gói dữ liệu qua tuyến mạng thông thường.

Có thể hình dung cách này như việc tổ chức giao nhận trực tiếp giữa hai địa điểm đã được phê duyệt, thay vì liên tục yêu cầu một bên trung gian nhận rồi sao chép nội dung. CPU vẫn phải thực hiện một số công việc để thiết lập và quản lý liên lạc; lợi ích là giảm sự tham gia của CPU vào chính quá trình truyền dữ liệu.

Tài liệu về RoCE của NVIDIA giải thích rằng phiên bản thứ hai truyền lưu lượng RDMA bằng các tiêu đề IP và UDP, cho phép lưu lượng này đi qua các mạng IP định tuyến. Việc triển khai hiệu quả vẫn phụ thuộc vào cấu hình mạng và cách mạng xử lý tình trạng tắc nghẽn, chứ không chỉ đơn thuần là có đầu nối Ethernet.

Tài liệu giới thiệu sản phẩm Ethernet của Cornelis mô tả khả năng giảm tải xử lý cho phần cứng, hỗ trợ số lượng lớn thao tác đồng thời và tính năng Điều khiển luồng ưu tiên (Priority Flow Control). Cơ chế điều khiển luồng này có thể tạm dừng một số lớp lưu lượng được chọn để giúp tránh mất gói tin. Thông báo cho biết hỗ trợ Ultra Ethernet sẽ được cung cấp thông qua bản cập nhật phần mềm; người mua nên phân biệt khả năng dự kiến này với sản phẩm RoCEv2 được cung cấp ban đầu.

Vì sao suy luận AI cần di chuyển bộ nhớ làm việc

Suy luận AI là quá trình sử dụng một mô hình đã được huấn luyện để tạo ra câu trả lời. Với mô hình ngôn ngữ, quá trình này gồm giai đoạn xử lý lời nhắc, tức xử lý nội dung lời nhắc, và giai đoạn giải mã, tức tạo phản hồi từng mã thông báo một.

Một số hệ thống phục vụ mô hình chạy các giai đoạn này trên những nhóm bộ xử lý riêng biệt, để có thể chọn cấu hình phù hợp với nhiệm vụ của từng nhóm. Cách làm này được gọi là suy luận phân tách. Việc tách rời tạo ra một bước chuyển giao: thông tin được tính toán trong lúc đọc lời nhắc phải được chuyển đến các bộ xử lý tạo câu trả lời.

Thông tin đó bao gồm bộ nhớ đệm khóa-giá trị, thường được gọi tắt là KV cache. Bộ nhớ này lưu dữ liệu trung gian về cơ chế chú ý để mô hình có thể tái sử dụng kết quả đã tính toán trước đó. Đây không phải toàn bộ tập trọng số của mô hình, cũng không đơn thuần là bản chép lại văn bản đã lưu.

Tài liệu về Dynamo của NVIDIA mô tả trình tự này: xử lý lời nhắc, chuyển KV cache của lời nhắc, rồi tạo mã thông báo trên bộ xử lý giải mã. Việc truyền dữ liệu nhanh hơn có thể giúp cách phân tách này khả thi hơn. Tuy nhiên, việc di chuyển bộ nhớ đệm cũng phát sinh thêm công việc, nên suy luận phân tách chỉ hữu ích khi lợi ích về lập lịch và phần cứng lớn hơn chi phí chuyển giao.

Duy trì luồng lưu lượng khi các đường truyền bận

Trên Omni-Path, CN6000 sử dụng cơ chế điều khiển luồng dựa trên tín dụng: bên gửi truyền dữ liệu theo dung lượng khả dụng ở phía nhận. Định tuyến thích ứng có thể phân bổ lưu lượng qua các đường truyền khả dụng, trong khi nhiều mặt phẳng mạng cung cấp các tuyến đường riêng biệt xuyên suốt hệ thống mạng.

Tài liệu về Omni-Path mô tả hai đường truyền dữ liệu độc lập, mỗi đường 400G, cùng cung cấp tổng băng thông 800G. Nếu một mặt phẳng cần được bảo trì, mặt phẳng còn lại vẫn có thể hoạt động; tuy nhiên, việc mất một phần mạng không đồng nghĩa với việc duy trì được toàn bộ công suất ban đầu.

Nền tảng này còn có gốc tin cậy phần cứng, tính năng khởi động an toàn và chứng thực thiết bị. Những tính năng này giúp xác minh rằng chương trình cơ sở và danh tính thiết bị đáng tin cậy. Việc sử dụng chữ ký số hậu lượng tử liên quan đến xác thực và tính toàn vẹn; không nên hiểu đây là tuyên bố chung rằng mọi dữ liệu tải qua mạng đều được mã hóa.

Bài toán triển khai không chỉ nằm ở tốc độ tối đa

CN6000 tiếp nối những nỗ lực trước đây của Cornelis trong lĩnh vực kết nối mạng mở rộng theo chiều ngang, trong đó có mở rộng hợp tác với AMD trong lĩnh vực điện toán khoa học. Sản phẩm hấp dẫn nhờ kết hợp các kết nối hiệu năng cao với nhiều lựa chọn bộ xử lý và môi trường mạng hơn.

Đối với người mua, phép so sánh hữu ích là thời gian và chi phí cần thiết để hoàn thành khối lượng công việc của chính họ. Một mô phỏng thường xuyên trao đổi các bản cập nhật nhỏ có thể hưởng lợi từ độ trễ thấp hơn và tốc độ gửi thông điệp cao hơn. Một dịch vụ chuyển các bộ nhớ đệm lớn có thể quan tâm nhiều hơn đến tốc độ truyền tải ổn định và tình trạng tắc nghẽn. Cả hai đều cần một hệ thống mạng phù hợp, phần mềm được hỗ trợ đầy đủ và cấu hình máy chủ đã được kiểm định.

Thông báo về CN6000 bổ sung thêm một lựa chọn để xây dựng các hệ thống như vậy. Các thông số tốc độ tối đa cho thấy những khả năng đáng để thử nghiệm; lợi ích thực tế là giúp nhiều tài nguyên tính toán hoạt động hiệu quả hơn khi chạy các ứng dụng thực tế.