Mô hình và nền tảng AI

vCluster bổ sung đám mây riêng tự phục vụ cho phần cứng AI chuyên dụng

vCluster Platform v5.0 cung cấp cho khách hàng dịch vụ đám mây AI quyền tự phục vụ để truy cập máy chủ chuyên dụng cùng các môi trường Kubernetes, Slurm và suy luận được nhà cung cấp phê duyệt.

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Rows of dedicated GPU server racks inside an AI data center
Điểm chínhvCluster Platform v5.0 cho phép khách hàng cung cấp máy chủ GPU bare-metal mà không cần…
Xem thêm
  • vCluster Platform v5.0 cho phép khách hàng cung cấp máy chủ GPU bare-metal mà không cần nhân viên nhà cung cấp xử lý từng yêu cầu.
  • Nhà cung cấp kiểm soát loại máy và mẫu mà mỗi khách thuê có thể truy cập, trong khi khách hàng tự phục vụ trong hạn mức.
  • Tính khả dụng hạn chế nghĩa là các nhà vận hành vẫn phải xác minh khả năng tương thích và đo lường liệu gánh nặng hỗ trợ có thực sự giảm đi.

vCluster Labs đã giới thiệu vCluster Platform v5.0 với khả năng cung cấp giới hạn, giúp các nhà cung cấp dịch vụ đám mây AI cung cấp môi trường tự phục vụ trên máy chủ vật lý chuyên dụng. Khách hàng có thể cấp phát máy chủ từ phần năng lực đã được phân bổ, chọn ảnh hệ điều hành và khởi chạy các cụm Kubernetes, Slurm hoặc suy luận mà không cần yêu cầu nhà cung cấp xử lý từng yêu cầu.

Bản phát hành ngày 19 tháng 11 giải quyết một vấn đề thực tế cho các nhà vận hành đã cam kết cung cấp năng lực máy chủ vật lý. Khách hàng có thể thuê một nhóm máy chủ GPU nhưng vẫn phải phụ thuộc vào đội ngũ vận hành của nhà cung cấp để chuẩn bị máy cho các dự án mới. Nền tảng mới chuyển một số quyết định đó sang khách hàng, trong khi quyền sở hữu phần cứng và việc phân bổ năng lực vẫn thuộc về nhà cung cấp.

Một kho tài nguyên cho máy chủ vật lý

Bản phát hành đưa máy chủ vật lý vào kho tài nguyên do vMetal quản lý, thành phần cấp phát nằm bên dưới nền tảng. Nhà vận hành phân bổ năng lực cho khách hàng hoặc để sẵn theo nhu cầu, sau đó quyết định loại máy, ảnh hệ điều hành và mẫu cụm nào khách hàng có thể sử dụng. Nền tảng bổ sung một ranh giới riêng cho khách hàng, gọi là tenant, nằm trên từng dự án. Hạn mức giới hạn lượng năng lực mà khách hàng có thể yêu cầu, và khách hàng không thể xem những tài nguyên chưa được cấp cho mình.

Với đội ngũ nền tảng của khách hàng, điều đó có nghĩa là nhiều nhóm nội bộ có thể cùng sử dụng một hợp đồng mà không cần mỗi nhóm phải xin nhà cung cấp phân bổ thêm. Một nhóm nghiên cứu có thể thiết lập môi trường Slurm được lập lịch, trong khi một nhóm phát triển ứng dụng sử dụng Kubernetes để triển khai suy luận. Nhà cung cấp quyết định những cấu hình nào được hỗ trợ, còn khách hàng có thể chọn trong số đó. Vì vậy, mức độ kiểm soát của khách hàng phụ thuộc vào những gì có trong phần năng lực được phân bổ và những mẫu cấu hình mà nhà cung cấp cung cấp.

Công ty cho biết các nhà cung cấp có thể sử dụng bảng điều khiển của mình hoặc xây dựng cổng thông tin mang thương hiệu riêng trên cùng một API nền tảng. Sự khác biệt này quan trọng với những nhà vận hành bán hạ tầng dưới thương hiệu của chính họ: giao diện có thể khác nhau mà không cần xây dựng hệ thống kho tài nguyên và cấp phát riêng cho từng loại dịch vụ.

Phần cứng chuyên dụng với quy trình cấp phát kiểu đám mây

Máy chủ vật lý chuyên dụng cho phép truy cập trực tiếp vào máy chủ vật lý, thay vì các phiên bản dùng chung máy chủ với những khách hàng không liên quan. Điều này có thể hấp dẫn với những bên mua muốn có cấu hình phần cứng xác định, năng lực bộ tăng tốc chuyên dụng hoặc quyền kiểm soát môi trường phần mềm. Tuy nhiên, chỉ dành riêng một máy chủ vật lý thôi chưa đủ để tạo thành dịch vụ đám mây có thể sử dụng. Vẫn cần có người cài đặt hệ điều hành, cấu hình quyền truy cập và chuẩn bị cụm.

Cách tiếp cận của vCluster kết hợp máy chủ chuyên dụng và mạng riêng cho từng khách hàng với khả năng cấp phát tự phục vụ. Nhà cung cấp có thể sử dụng cùng một kho tài nguyên cho cả dịch vụ cho thuê máy chủ đơn giản lẫn các sản phẩm được quản lý ở mức cao hơn. Luận điểm kinh doanh là nếu nhân viên nhà cung cấp phải thực hiện ít bước hơn thì việc tiếp nhận từng khách hàng có thể trở nên dễ dàng hơn, trong khi bên mua muốn có cụm được quản lý có thể mua một cấp dịch vụ khác. Bản phát hành không cho biết mỗi bên sẽ tiết kiệm được bao nhiêu; hiệu quả kinh tế sẽ tùy thuộc vào mức độ sử dụng phần cứng và nhu cầu hỗ trợ của khách hàng.

Cách nhà vận hành xử lý phần cứng nhàn rỗi giữa các dự án cũng rất quan trọng. Năng lực được dành riêng giúp bên mua chủ động dự liệu, nhưng những máy đó có thể vẫn không dành cho khách hàng khác ngay cả khi đang nhàn rỗi. Một nhóm tài nguyên dùng theo nhu cầu có thể tăng tính linh hoạt, nhưng chỉ khi nhà cung cấp có thể đáp ứng nhu cầu một cách đáng tin cậy. Nền tảng cho phép nhà cung cấp cung cấp cả hai mô hình; tuy nhiên, nền tảng không loại bỏ nhu cầu thiết lập điều khoản đặt trước hoặc lập kế hoạch ứng phó tình trạng thiếu hụt.

Ý nghĩa của việc cung cấp giới hạn đối với nhà vận hành

Phiên bản 5.0 chưa được cung cấp rộng rãi. Tài liệu của nhà cung cấp khuyến nghị tiếp tục sử dụng các bản phát hành hỗ trợ dài hạn hiện có, Platform v4.12 và vCluster v0.37, cho những hệ thống đang triển khai. Nhà vận hành cân nhắc phiên bản mới vẫn phải đánh giá khả năng tương thích với các công cụ cấp phát và kết nối mạng của mình, đồng thời xác minh rằng khách hàng có thể chuyển từ phần máy chủ được phân bổ sang một cụm sử dụng được mà không phát sinh thêm nút thắt trong khâu hỗ trợ.

Trước mắt, cần kiểm tra hiệu quả vận hành: nhà cung cấp có thể bàn giao hạ tầng hoạt động được nhanh đến mức nào sau khi phân bổ phần cứng, và sau đó khách hàng cần hỗ trợ thường xuyên ra sao. Nếu các chỉ số đó được cải thiện mà không khiến việc quản lý năng lực chuyên dụng trở nên khó khăn hơn, dịch vụ tự phục vụ có thể trở thành điểm khác biệt đáng kể giữa các nhà cung cấp dịch vụ đám mây AI đang bán phần cứng tương tự nhau.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.