Meridian Cloud chọn Aria Networks thiết kế cụm AI sẵn sàng cho suy luận

Meridian Cloud đã chọn Aria Networks làm đối tác mạng cho dịch vụ đám mây suy luận AI chuyên dụng, dự kiến ra mắt vào quý II năm 2027. Hai công ty dự định phát triển các thiết kế mạng tiêu chuẩn đã được kiểm định, giúp việc triển khai cụm trở nên nhất quán hơn, đồng thời cung cấp thông số kỹ thuật, ước tính chi phí và tiến độ đưa vào vận hành rõ ràng hơn.

Quan hệ hợp tác được công bố ngày 5 tháng 11, đưa Aria vào quy trình lập kế hoạch trước khi lắp đặt thiết bị. Phạm vi hợp tác bao gồm xác định quy mô mạng kết nối GPU phía sau, mạng phía trước và mạng lưu trữ; lập sơ đồ cấu trúc liên kết và hệ thống cáp; cũng như phối hợp nguồn cung và giao hàng theo lịch triển khai của Meridian.

Các thiết kế tham chiếu chung đầu tiên dự kiến sẽ được cung cấp cho khách hàng và đối tác cơ sở hạ tầng của Meridian trong quý II năm 2027. Thông báo mô tả một chương trình phát triển và triển khai, chứ không phải việc hoàn tất đưa đám mây suy luận mới của Meridian vào hoạt động.

Giúp mỗi cụm mới không còn đòi hỏi một dự án kỹ thuật hoàn toàn mới

Meridian dự định duy trì một đội ngũ trung tâm tinh gọn, được hỗ trợ bởi các đối tác chuyên môn trong lĩnh vực kỹ thuật, năng lực tính toán, triển khai và mạng. Aria sẽ giúp biến công việc đó thành một thư viện các thiết kế tham chiếu, mỗi thiết kế phù hợp với một loại cơ sở hạ tầng.

Ý tưởng là bắt đầu từ nguồn điện sẵn có tại một địa điểm, rồi chọn cấu hình có các yêu cầu về mạng đã được kiểm định. Cách làm đó sẽ giúp Meridian xác định thông số kỹ thuật và chi phí trước khi khởi công xây dựng, thay vì phải thiết kế lại mạng kết nối như một công việc kỹ thuật riêng biệt tại từng địa điểm.

Với khách hàng sử dụng dịch vụ đám mây chuyên dụng, lợi ích của việc tiêu chuẩn hóa là khả năng dự đoán. Một cụm máy không chỉ phụ thuộc vào số lượng bộ tăng tốc đã đặt mua: lộ trình đi dây, dung lượng bộ chuyển mạch, kết nối máy chủ, lưu lượng lưu trữ và thời điểm giao thiết bị đều ảnh hưởng đến thời gian hệ thống có thể bắt đầu xử lý công việc hữu ích.

“Các Kỹ sư Triển khai Tại chỗ của Aria đã làm việc cùng đội ngũ chúng tôi ngay từ ngày đầu, phối hợp thiết kế mạng, lập kế hoạch nguồn cung và triển khai, đồng thời kiểm định từng sợi cáp, đường kết nối và cấu hình trước khi hệ thống chạy bất kỳ tác vụ nào của khách hàng,” Vic Rose, CEO của Meridian Cloud, cho biết.

Vì sao mạng trở thành mắt xích trọng yếu trong suy luận

Suy luận là quá trình chạy một mô hình đã được huấn luyện để tạo ra câu trả lời. Trong một hệ thống triển khai phân tán, một phần quá trình xử lý và dữ liệu hỗ trợ có thể được truyền giữa các máy, khiến thời gian truyền thông tin trở thành một phần của thời gian phản hồi mà người dùng trải nghiệm.

Một ví dụ là suy luận phân tách, trong đó việc xử lý câu lệnh đầu vào và tạo token diễn ra trên các tài nguyên riêng biệt. Hệ thống có thể cần chuyển bộ nhớ đệm khóa-giá trị của mô hình—dữ liệu trung gian về cơ chế chú ý gắn với yêu cầu—giữa các tài nguyên đó. Tình trạng tắc nghẽn trên đường truyền này có thể làm chậm công việc ngay cả khi GPU vẫn sẵn sàng hoạt động.

Bài phân tích kỹ thuật về mạng cho suy luận của Aria nhấn mạnh việc đối chiếu hoạt động của máy chủ với dữ liệu đo từ xa của mạng. Một cổng kết nối có vẻ hoạt động bình thường trên bảng điều khiển được làm mới định kỳ vẫn có thể gặp các sự cố ngắn hạn ảnh hưởng đến hiệu năng ứng dụng.

Thông cáo về quan hệ hợp tác đề cập đến các đợt tắc nghẽn, bộ thu phát quang xuống cấp và sự cố phía máy chủ mà những công cụ thăm dò cách nhau vài giây có thể bỏ sót. Để phát hiện các sự cố đó, cần khả năng giám sát chi tiết hơn so với việc chỉ biết một đường kết nối có đang hoạt động hay không.

Đối với một doanh nghiệp kinh doanh dịch vụ suy luận, hệ quả không chỉ là vấn đề kỹ thuật mà còn liên quan đến thương mại. Thời gian chờ dữ liệu làm giảm sản lượng hữu ích của phần cứng, trong khi phần cứng vẫn tiếp tục tiêu thụ điện và phát sinh chi phí sở hữu. Các chỉ số vận hành cần quan tâm bao gồm độ trễ phản hồi, thông lượng hữu ích và chi phí trên mỗi triệu token—chứ không chỉ riêng tốc độ kết nối.

Deep Networking của Aria mang lại những gì

Aria mô tả Deep Networking là một hệ thống được thiết kế đồng bộ, kết hợp phần cứng chuyển mạch, Aria Operating System, dữ liệu đo từ xa chi tiết và các tác tử chuyên dụng. Thông báo của Meridian nêu rõ các nền tảng chuyển mạch Aria Switch 800G và một mạng Ethernet dựa trên tiêu chuẩn, được thiết kế để duy trì khả năng tương thích với nhiều nhà cung cấp bộ tăng tốc khác nhau.

Công ty tuyên bố dữ liệu đo từ xa có độ phân giải cao gấp 100 đến 10.000 lần so với các công cụ truyền thống, trên các bộ chuyển mạch, thiết bị quang học và máy chủ. Đây là tuyên bố về độ phân giải của phép đo, chứ không phải tuyên bố rằng các ứng dụng của Meridian sẽ chạy nhanh hơn từ 100 đến 10.000 lần.

Tổng quan sản phẩm của Aria cung cấp thêm thông tin về phần cứng: bộ chuyển mạch 800G của hãng có 64 cổng 800GbE trong khung máy cao hai đơn vị tủ mạng, hỗ trợ RoCEv2 và mạng Lớp 2/Lớp 3, đồng thời tích hợp bộ xử lý đo từ xa chuyên dụng. RoCEv2 cho phép truy cập bộ nhớ trực tiếp từ xa qua Ethernet, một khả năng được dùng để truyền dữ liệu hiệu quả giữa các máy trong các cụm hiệu năng cao.

Cùng trang sản phẩm đó mô tả khả năng đối chiếu dữ liệu từ máy chủ GPU và bộ chuyển mạch, lựa chọn công cụ chẩn đoán thông qua các tác tử chuyên dụng, cũng như thực hiện quy trình xử lý sự cố có hướng dẫn. Nhờ vậy, khả năng giám sát vận hành được đặt ngang hàng với thiết kế phần cứng: sau khi đưa vào vận hành, mạng cần có thể được giám sát và bảo trì.

Hai công ty chưa công bố các số liệu chuẩn đánh giá hiệu năng triển khai Meridian do hai bên phối hợp thực hiện, cũng chưa đưa ra mức giảm chi phí trên mỗi token được đo lường cho quan hệ hợp tác này. Kết quả sẽ phụ thuộc vào khối lượng công việc và cấu hình được triển khai, cũng như cách mạng lưới vận hành khi xử lý lưu lượng thực tế.

Mô hình suy luận chuyên dụng của Meridian

Trên trang web, Meridian định vị dịch vụ của mình xoay quanh năng lực được dành riêng, phù hợp với khối lượng công việc của khách hàng, cùng các lựa chọn bao gồm phần cứng NVIDIA và AMD cũng như bộ tăng tốc suy luận chuyên dụng. Công ty cũng mô tả các mô hình vận hành gồm điều phối được quản lý và hạ tầng máy chủ vật lý chuyên dụng.

Đó là những mô tả về đề xuất dịch vụ tổng thể, chứ không xác nhận rằng mọi cấu hình được quảng bá đều nằm trong thư viện thiết kế tham chiếu Aria ban đầu. Thông báo về quan hệ hợp tác không nêu địa điểm của các cơ sở đầu tiên, quy mô cụm máy chủ cố định hay mức giá dành cho khách hàng.

Việc Meridian tập trung vào năng lực dành riêng cũng làm thay đổi bài toán lập kế hoạch. Thay vì chỉ dựa vào khả năng cung cấp tài nguyên dùng chung, khách hàng cần một hệ thống được thiết kế phù hợp với lưu lượng dự kiến, đặc điểm của mô hình và yêu cầu dịch vụ. Các thiết kế mạng có thể triển khai lặp lại sẽ giúp việc lập kế hoạch dễ dàng hơn, đồng thời vẫn dành chỗ cho những lựa chọn phù hợp với từng khối lượng công việc.

Quan hệ hợp tác hướng đến việc triển khai nhất quán, có thể lặp lại

Vai trò của Aria trải dài từ khâu thiết kế đến triển khai trực tiếp; những kinh nghiệm rút ra tại từng địa điểm dự kiến sẽ giúp định hướng các đợt lắp đặt tiếp theo và cải tiến phần mềm. Mục tiêu là biến kỹ thuật mạng thành một phần có thể tái sử dụng trong quá trình triển khai của Meridian, thay vì để nó liên tục trở thành nguồn gây bất định.

Cột mốc trước mắt đã được xác định cụ thể: các thiết kế tham chiếu chung và kế hoạch ra mắt dịch vụ đám mây trong quý II năm 2027. Sau đó, phép thử đối với quan hệ hợp tác này sẽ là liệu các thiết kế đã được kiểm chứng và khả năng quan sát hoạt động chi tiết hơn có giúp các cụm máy chủ được đưa vào vận hành đúng lịch, đồng thời mang lại hiệu năng suy luận ổn định khi khối lượng công việc của khách hàng bắt đầu chạy hay không.