Lambda chuẩn bị đưa bộ lập lịch Run:ai mã nguồn mở vào dịch vụ Kubernetes

Ngày 13 tháng 10 năm 2026, Lambda cho biết công ty đang hợp tác với NVIDIA để đưa bộ lập lịch GPU Run:ai mã nguồn mở trở thành một tùy chọn được quản lý chính thức trên Lambda Kubernetes Service (LKS), thuộc thư viện các bộ lập lịch dự kiến sẽ được cung cấp dưới dạng thành phần được quản lý.

Kế hoạch này được nêu trong bài đăng trên blog của Lambda ngày 13 tháng 10 năm 2026. Công ty tuyên bố: “Chúng tôi hoan nghênh quyết định phát hành Run:ai dưới dạng mã nguồn mở của NVIDIA và đang hợp tác để đưa công cụ này trở thành một tùy chọn chính thức trên Lambda Kubernetes Service (LKS)”. Lambda cho biết đã hỗ trợ Run:ai trên cơ sở hạ tầng của mình từ năm 2022, đồng thời mô tả mục tiêu là giúp các nhóm dễ dàng áp dụng và vận hành hơn những khả năng của Run:ai thông qua LKS, qua đó tăng quyền kiểm soát của họ đối với cách phân bổ và chia sẻ dung lượng GPU.

NVIDIA phát hành bộ lập lịch dưới dạng mã nguồn mở vào năm 2025

NVIDIA công bố phát hành mã nguồn mở KAI Scheduler, một giải pháp lập lịch GPU được xây dựng riêng cho Kubernetes và phát triển ban đầu trong nền tảng Run:ai, theo giấy phép Apache 2.0 vào ngày 1 tháng 4 năm 2025, theo thông báo của NVIDIA. NVIDIA cho biết bộ lập lịch này vẫn được đóng gói và cung cấp như một phần của nền tảng NVIDIA Run:ai.

Theo NVIDIA, bộ lập lịch liên tục tính toán lại các giá trị chia sẻ công bằng và điều chỉnh hạn mức cũng như giới hạn theo thời gian thực, kết hợp lập lịch theo nhóm, chia sẻ GPU và xếp hàng phân cấp; trong khi đó, thành phần podgrouper tích hợp tự động liên kết các workload với những framework như Kubeflow, Ray, Argo và Training Operator. NVIDIA mô tả một chu kỳ lập lịch ghi lại ảnh chụp trạng thái cụm Kubernetes, tính toán phần tài nguyên chia sẻ công bằng cho từng hàng đợi qua các giai đoạn hạn mức được phân bổ hợp lý và vượt hạn mức, rồi thực hiện các thao tác phân bổ, hợp nhất, thu hồi và thu hồi ưu tiên để đưa mức phân bổ hiện tại phù hợp với trạng thái đã tính toán.

Chia sẻ GPU và lập lịch theo hạn mức trong Run:ai

Lambda mô tả những nhu cầu đa dạng mà quá trình phát triển AI đặt ra cho GPU: các phiên gỡ lỗi có thể chỉ cần một phần GPU, hoạt động đánh giá có thể được chia thành nhiều tác vụ độc lập, còn huấn luyện phân tán có thể cần đồng thời một số lượng lớn GPU kết nối chặt chẽ với nhau; nhu cầu cũng thay đổi khi công việc chuyển từ ý tưởng ban đầu sang thử nghiệm rồi đến sản xuất. Khi các tác vụ nhỏ được cấp trọn GPU, các nhà nghiên cứu phải chờ trong lúc dung lượng đã dành riêng không được sử dụng; các nhóm cũng có thể thấy thử nghiệm của mình bị đình trệ vì GPU đã được dành riêng cho nhóm khác nhưng đang nhàn rỗi.

Theo mô tả của Lambda, Run:ai là bộ lập lịch GPU cho Kubernetes, có hai điểm khác biệt so với bộ lập lịch mặc định của Kubernetes: chia sẻ GPU, cho phép nhiều workload cùng chạy trên một GPU; và lập lịch dựa trên hạn mức, bảo đảm mỗi nhóm được phân bổ một lượng tài nguyên nhất định, đồng thời cho phép các nhóm mượn dung lượng nhàn rỗi của nhau.

Tài liệu về phân chia GPU thành các phần của NVIDIA cho biết bộ nhớ GPU được chia thành các phần nhỏ hơn để nhiều workload cùng sử dụng; dung lượng bộ nhớ mỗi workload yêu cầu sẽ được thực thi, bảo đảm workload không thể vượt quá mức đã yêu cầu hoặc lấn sang bộ nhớ của workload khác. Mỗi pod được cấp một không gian địa chỉ bộ nhớ ảo riêng; tài liệu gọi cách bố trí này là “GPU logic”.

Theo tài liệu, các phần GPU mặc định sử dụng cơ chế chia sẻ năng lực tính toán theo lát thời gian của NVIDIA; các phần GPU đa thiết bị phân bổ cùng một kích thước phần trên nhiều GPU trong cùng một nút. Chẳng hạn, một mô hình sử dụng 8 GPU và cần 40GB bộ nhớ trên mỗi GPU có thể được cấp 8×40GB thay vì toàn bộ bộ nhớ của từng GPU, nhờ đó còn lại 40GB trên mỗi GPU để các workload khác trong nút đó sử dụng. Tài liệu lưu ý rằng không thể sử dụng đồng thời tính năng chia GPU thành các phần và chế độ Multi-Instance GPU (MIG) trên cùng một nút.

Tài liệu về các khái niệm lập lịch của NVIDIA nêu rằng mỗi pod mới được tạo đều được gán vào một nhóm pod; lập lịch theo nhóm nghĩa là workload gồm nhiều pod либо được lập lịch đầy đủ, либо vẫn ở trạng thái chờ toàn bộ. Mỗi dự án và phòng ban trong từng nhóm nút sẽ có một hàng đợi lập lịch; hạn mức được phân bổ hợp lý giới hạn những workload không thể bị thu hồi ưu tiên, còn tài nguyên vượt hạn mức chỉ dành cho workload có thể bị thu hồi ưu tiên. Bộ lập lịch tính toán giá trị chia sẻ công bằng cho từng dự án và phòng ban trong mỗi nhóm nút; khi một hàng đợi thấp hơn mức chia sẻ công bằng còn hàng đợi khác vượt mức đó, bộ lập lịch chuyển tài nguyên giữa các hàng đợi để cân bằng lại, quá trình này có thể thu hồi ưu tiên các workload có thể bị thu hồi đang sử dụng tài nguyên vượt hạn mức. Bộ lập lịch cũng có thể thu hồi tài nguyên giữa các dự án và phòng ban; quản trị viên có thể thiết lập chiến lược bố trí đóng gói hoặc phân tán cho từng nhóm nút.

Tự động khắc phục sự cố nút trong LKS

Lambda lưu ý rằng cả chia sẻ lẫn thu hồi ưu tiên đều giả định GPU bên dưới đang hoạt động bình thường, nhưng ở quy mô lớn thì điều này không phải lúc nào cũng đúng: bộ tăng tốc có thể phát sinh lỗi XID, các liên kết NVLink và PCIe xuống cấp, các hàng bộ nhớ bị ánh xạ lại, còn các cổng InfiniBand có thể giảm xuống dưới tốc độ dự kiến. Bộ lập lịch không thể phân biệt GPU hoạt động bình thường với GPU đang gặp sự cố, nên vẫn tiếp tục gửi tác vụ đến một nút làm rơi các tác vụ đó.

Lambda cho biết tính năng tự động khắc phục sự cố đã được triển khai trên LKS. Công ty cho biết hệ thống giám sát mọi nút để phát hiện các lỗi như vậy và thể hiện từng lỗi dưới dạng một trạng thái nút Kubernetes tiêu chuẩn; khi trạng thái được kích hoạt, nút sẽ bị chặn nhận công việc mới, các tác vụ đang chạy sẽ được chuyển đi, còn sự cố sẽ được tự động khắc phục hoặc chuyển lên cấp xử lý sửa chữa phần cứng. Nút chỉ được đưa trở lại hoạt động sau khi được xác thực lại.

Tài liệu về dịch vụ Kubernetes được quản lý của Lambda mô tả dịch vụ này là một môi trường Kubernetes hỗ trợ GPU và InfiniBand (RDMA), cùng bộ nhớ lưu trữ liên tục dùng chung trên tất cả các nút trong một Cụm 1-Click. NVIDIA GPU Operator và NVIDIA Network Operator được cài đặt sẵn; dịch vụ cũng liên tục xác thực để kiểm tra xem GPU, mạng và bộ nhớ lưu trữ có hoạt động chính xác hay không, đồng thời tự động khắc phục sự cố nút để phát hiện và xử lý các vấn đề về phần cứng.

Lộ trình thư viện bộ lập lịch được quản lý

Lambda mô tả việc lập lịch GPU là lớp mà họ chủ ý để mở, đồng thời cho biết bước tiếp theo của LKS là hướng tới thứ mà họ gọi là thư viện phần mềm AI: các bộ lập lịch chạy trên Kubernetes, trong đó có Slurm và Run:ai, được cung cấp dưới dạng các thành phần được quản lý mà Lambda xác thực trên phần cứng của mình và luôn cập nhật, thay vì để khách hàng tự lắp ghép từ các biểu đồ Helm. Run:ai là một mục tiêu trọng tâm của thư viện này, và Lambda cho biết họ đang hợp tác với NVIDIA để hiện thực hóa điều đó.

Theo Lambda, bản phát hành mã nguồn mở là yếu tố giúp triển khai cách tiếp cận này: công ty có thể đóng gói, kiểm thử và bảo trì Run:ai ngay bên trong LKS, thay vì chỉ cung cấp cho khách hàng một bộ hướng dẫn tích hợp. Lambda cho biết họ hướng tới một giải pháp tích hợp sẵn, dùng ngay, trong đó công ty chịu trách nhiệm đóng gói, xác thực và vận hành liên tục.

Lambda, đơn vị cũng tự thực hiện các nghiên cứu mở, cho biết họ coi trọng khả năng kiểm tra, điều chỉnh và cải thiện những công cụ mình phụ thuộc vào, đồng thời nhận định quyết định của NVIDIA đã mở rộng quyền tự do đó sang lĩnh vực điều phối.