Lambda Menyiapkan Penjadwal Run:ai Sumber Terbuka untuk Layanan Kubernetes

Pada 13 Oktober 2026, Lambda mengatakan bahwa perusahaan bekerja sama dengan NVIDIA untuk menjadikan penjadwal GPU Run:ai yang telah dibuka kode sumbernya sebagai opsi terkelola kelas satu di Lambda Kubernetes Service (LKS), sebagai bagian dari rencana menghadirkan pustaka penjadwal yang disediakan sebagai komponen terkelola.

Rencana tersebut disampaikan dalam unggahan di blog Lambda pada 13 Oktober 2026. “Kami menyambut keputusan NVIDIA untuk membuka kode sumber Run:ai, dan kami bekerja untuk menjadikannya opsi kelas satu di Lambda Kubernetes Service (LKS),” kata perusahaan itu. Lambda mengatakan bahwa infrastrukturnya telah mendukung Run:ai sejak 2022, dan menjelaskan bahwa tujuannya adalah memudahkan tim mengadopsi dan mengoperasikan kapabilitas Run:ai melalui LKS, sehingga mereka memiliki kendali lebih besar atas cara kapasitas GPU dialokasikan dan dibagikan.

NVIDIA Membuka Kode Sumber Penjadwal Ini pada 2025

NVIDIA mengumumkan perilisan sumber terbuka KAI Scheduler, solusi penjadwalan GPU asli Kubernetes yang awalnya dikembangkan di dalam platform Run:ai, di bawah lisensi Apache 2.0 pada 1 April 2025, menurut pengumuman NVIDIA. NVIDIA mengatakan bahwa penjadwal tersebut tetap dikemas dan disediakan sebagai bagian dari platform NVIDIA Run:ai.

Menurut NVIDIA, penjadwal ini terus menghitung ulang nilai pembagian adil dan menyesuaikan kuota serta batas secara waktu nyata, dengan menggabungkan penjadwalan kelompok (gang scheduling), berbagi GPU, dan antrean hierarkis. Sementara itu, podgrouper bawaan secara otomatis menghubungkan beban kerja dengan kerangka kerja seperti Kubeflow, Ray, Argo, dan Training Operator. NVIDIA menjelaskan siklus penjadwalan yang mengambil cuplikan klaster Kubernetes, menghitung pembagian adil untuk setiap antrean melalui tahap kuota yang menjadi hak dan kuota berlebih, lalu menerapkan tindakan alokasi, konsolidasi, pengambilan kembali, dan preemsi agar alokasi saat ini sesuai dengan kondisi yang telah dihitung.

Berbagi GPU dan Penjadwalan Kuota di Run:ai

Lambda menjelaskan beragam kebutuhan GPU dalam pengembangan AI: sesi penelusuran kesalahan mungkin hanya memerlukan sebagian dari satu GPU, evaluasi dapat dijalankan sebagai banyak pekerjaan independen, sedangkan pelatihan terdistribusi dapat membutuhkan banyak GPU yang saling terhubung erat secara bersamaan. Kebutuhan ini juga berubah seiring pekerjaan bergerak dari gagasan awal, melalui eksperimen, hingga produksi. Ketika pekerjaan kecil diberi GPU utuh, peneliti harus menunggu sementara kapasitas yang dicadangkan tidak terpakai, dan eksperimen tim dapat terhambat oleh GPU milik kelompok lain yang sudah dicadangkan tetapi menganggur.

Menurut penjelasan Lambda, Run:ai adalah penjadwal GPU untuk Kubernetes yang memiliki dua keunggulan dibandingkan penjadwal bawaan Kubernetes: berbagi GPU, yang memungkinkan lebih dari satu beban kerja berjalan pada satu GPU, dan penjadwalan berbasis kuota, yang menjamin alokasi bagi setiap tim sekaligus memungkinkan tim meminjam kapasitas menganggur satu sama lain.

Dokumentasi fraksi GPU NVIDIA menjelaskan bahwa fraksi membagi memori GPU menjadi bagian-bagian yang lebih kecil untuk digunakan bersama oleh beberapa beban kerja. Ukuran memori yang diminta setiap beban kerja diberlakukan, sehingga penggunaannya tidak dapat melebihi jumlah yang diminta atau mengambil memori milik beban kerja lain. Setiap pod memperoleh ruang alamat memori virtual tersendiri; dokumentasi menyebut pengaturan ini sebagai “GPU logis”.

Menurut dokumentasi, secara bawaan fraksi menggunakan mekanisme pembagian waktu NVIDIA untuk berbagi komputasi GPU. Fraksi multi-GPU mengalokasikan ukuran fraksi yang sama pada beberapa GPU dalam satu node: misalnya, model yang menggunakan 8 GPU dan membutuhkan memori 40 GB per GPU dapat dialokasikan 8×40 GB, bukan seluruh memori pada setiap GPU, sehingga 40 GB pada masing-masing GPU tetap tersedia bagi beban kerja lain di node tersebut. Dokumentasi mencatat bahwa fraksi GPU dan mode Multi-Instance GPU (MIG) tidak dapat digunakan pada node yang sama.

Dokumentasi konsep penjadwal NVIDIA menyatakan bahwa setiap pod yang baru dibuat akan dimasukkan ke dalam grup pod, dan penjadwalan kelompok (gang scheduling) berarti beban kerja yang terdiri atas beberapa pod akan dijadwalkan seluruhnya atau tetap tertunda seluruhnya. Untuk setiap proyek dan departemen di setiap kumpulan node, dibuat sebuah antrean penjadwalan; kuota yang menjadi hak membatasi beban kerja yang tidak dapat dipreempt, sedangkan sumber daya yang melebihi kuota hanya tersedia bagi beban kerja yang dapat dipreempt. Penjadwal menghitung nilai pembagian adil untuk setiap proyek dan departemen di setiap kumpulan node. Jika satu antrean berada di bawah jatah pembagian adilnya sementara antrean lain melampauinya, penjadwal memindahkan sumber daya antarantrean untuk menyeimbangkan kembali alokasi; proses ini dapat mempreempt beban kerja yang dapat dipreempt dan menggunakan sumber daya di atas kuota. Penjadwal juga dapat mengambil kembali sumber daya dari proyek dan departemen, sementara administrator dapat menetapkan strategi penempatan dengan pemadatan (bin-pack) atau penyebaran (spread) untuk setiap kumpulan node.

Pemulihan Otomatis Node di LKS

Lambda mencatat bahwa berbagi dan preemsi sama-sama mengandaikan GPU di bawahnya berfungsi dengan baik, padahal hal itu tidak selalu terjamin dalam skala besar: akselerator dapat mengalami galat XID, sambungan NVLink dan PCIe dapat menurun kualitasnya, baris memori dapat dipetakan ulang, dan laju port InfiniBand dapat turun di bawah tingkat yang diharapkan. Penjadwal tidak dapat membedakan GPU yang sehat dari GPU yang mengalami kerusakan, sehingga terus mengirim pekerjaan ke node yang kemudian gagal menjalankannya.

Lambda mengatakan bahwa pemulihan otomatis sudah tersedia di LKS. Perusahaan tersebut mengatakan bahwa sistemnya memantau setiap node untuk mendeteksi gangguan semacam itu dan menampilkan masing-masing gangguan sebagai kondisi node Kubernetes standar. Ketika suatu kondisi terpicu, node tersebut dikarantina agar tidak menerima pekerjaan baru, pekerjaan yang sedang berjalan dihentikan dan dikosongkan dari node, lalu gangguan diperbaiki secara otomatis atau diteruskan untuk perbaikan perangkat keras. Node baru dikembalikan ke layanan setelah lolos validasi ulang.

Dokumentasi Kubernetes Terkelola Lambda menggambarkan layanan ini sebagai lingkungan Kubernetes yang mendukung GPU dan InfiniBand (RDMA), serta menyediakan penyimpanan persisten bersama di semua node dalam 1-Click Cluster. NVIDIA GPU Operator dan NVIDIA Network Operator sudah terpasang sebelumnya, dan layanan ini menjalankan validasi berkelanjutan untuk memastikan GPU, jaringan, dan penyimpanan berfungsi dengan baik, disertai pemulihan node otomatis untuk mendeteksi dan mengatasi masalah perangkat keras.

Peta Jalan Pustaka Penjadwal Terkelola

Lambda menjelaskan bahwa penjadwalan GPU adalah lapisan yang sengaja dibiarkannya terbuka, dan mengatakan bahwa LKS selanjutnya akan mengarah pada apa yang disebutnya pustaka perangkat lunak AI: penjadwal yang berjalan di Kubernetes, termasuk Slurm dan Run:ai, yang disediakan sebagai komponen terkelola, divalidasi oleh Lambda menggunakan perangkat kerasnya sendiri dan terus diperbarui, alih-alih dirakit sendiri oleh pelanggan dari chart Helm. Run:ai menjadi sasaran prioritas pustaka tersebut, dan Lambda mengatakan bahwa pihaknya bekerja sama dengan NVIDIA untuk mewujudkannya.

Menurut Lambda, rilis sumber terbuka memungkinkan pendekatan ini: perusahaan dapat mengemas, menguji, dan memelihara Run:ai langsung di dalam LKS, alih-alih memberikan serangkaian petunjuk integrasi kepada pelanggan. Lambda mengatakan bahwa pihaknya menargetkan integrasi siap pakai, dengan tanggung jawab atas pengemasan, validasi, dan operasional berkelanjutan.

Lambda, yang juga menghasilkan penelitian terbuka, mengatakan bahwa pihaknya menghargai kemampuan untuk memeriksa, mengadaptasi, dan menyempurnakan alat-alat yang diandalkannya, serta menyebut keputusan NVIDIA sebagai perluasan kebebasan tersebut ke ranah orkestrasi.