Lambda, Kubernetes Hizmeti için açık kaynaklı Run:ai zamanlayıcısını hazırlıyor

Lambda, 13 Ekim 2026’da, açık kaynaklı Run:ai GPU zamanlayıcısını Lambda Kubernetes Service (LKS) üzerinde tam entegre bir yönetilen seçenek hâline getirmek için NVIDIA ile çalıştığını söyledi. Bu seçenek, yönetilen bileşenler olarak sunulacak planlı zamanlayıcı kitaplığının bir parçası olacak.

Plan, Lambda’nın blogunda 13 Ekim 2026’da yayımlanan bir yazıda yer aldı. Şirket, “NVIDIA’nın Run:ai’ı açık kaynaklı hâle getirme kararını memnuniyetle karşılıyoruz ve Run:ai’ı Lambda Kubernetes Service (LKS) üzerinde tam entegre bir seçenek hâline getirmek için çalışıyoruz” açıklamasında bulundu. Lambda, 2022’den bu yana altyapısında Run:ai desteği sunduğunu belirtti ve hedefinin, LKS aracılığıyla Run:ai’ın özelliklerini benimsemeyi ve işletmeyi kolaylaştırarak ekiplere GPU kapasitesinin nasıl tahsis edilip paylaşılacağı konusunda daha fazla kontrol sağlamak olduğunu ifade etti.

NVIDIA, zamanlayıcıyı 2025’te açık kaynaklı hâle getirdi

NVIDIA, Run:ai platformu içinde geliştirilen ve Kubernetes’e özgü bir GPU zamanlama çözümü olan KAI Scheduler’ı, NVIDIA’nın duyurusuna göre 1 Nisan 2025’te Apache 2.0 lisansı altında açık kaynaklı olarak yayımladığını duyurdu. NVIDIA, zamanlayıcının NVIDIA Run:ai platformunun bir parçası olarak sunulmaya devam ettiğini söyledi.

NVIDIA’ya göre zamanlayıcı, adil paylaşım değerlerini sürekli olarak yeniden hesaplıyor ve kota ile sınırları gerçek zamanlı ayarlıyor; bunu grup zamanlama, GPU paylaşımı ve hiyerarşik kuyruklamayı bir araya getirerek yapıyor. Yerleşik bir pod gruplandırıcısı da iş yüklerini Kubeflow, Ray, Argo ve Training Operator dâhil olmak üzere çeşitli çerçevelere otomatik olarak bağlıyor. NVIDIA, Kubernetes kümesinin anlık görüntüsünü alan, hak edilen kota ve kota aşımı aşamalarında her kuyruk için adil payı hesaplayan, ardından mevcut tahsisleri hesaplanan durumla uyumlu hâle getirmek için tahsis, birleştirme, geri alma ve öncelik kesme işlemlerini uygulayan bir zamanlama döngüsü tanımlıyor.

Run:ai’da GPU paylaşımı ve kota tabanlı zamanlama

Lambda, yapay zekâ geliştirme çalışmalarının GPU’lara yönelik farklı ihtiyaçlarını şöyle anlattı: Hata ayıklama oturumları tek bir GPU’nun yalnızca bir bölümüne ihtiyaç duyabilir, değerlendirmeler birbirinden bağımsız çok sayıda işe yayılabilir ve dağıtık eğitim aynı anda çok sayıda, sıkı biçimde birbirine bağlı GPU gerektirebilir. Ayrıca çalışmalar ilk fikirlerden deneylere ve üretime ilerledikçe gereksinimler de değişir. Küçük işlere tam GPU’lar tahsis edildiğinde araştırmacılar beklerken ayrılmış kapasite kullanılmadan kalır; ekipler de deneylerinin başka bir grubun ayırdığı ancak boşta duran GPU’ların arkasında kaldığını görebilir.

Lambda’nın açıklamasına göre Run:ai, Kubernetes için bir GPU zamanlayıcısıdır ve varsayılan Kubernetes zamanlayıcısının ötesine iki yönden geçer: Bir GPU üzerinde birden fazla iş yükünün çalışmasını sağlayan GPU paylaşımı ve her ekibe garantili bir tahsis sunarken ekiplerin birbirlerinin kullanılmayan kapasitesinden ödünç almasına olanak veren kota tabanlı zamanlama.

NVIDIA’nın GPU kesirleri belgelerinde, GPU belleğinin birden fazla iş yükünün paylaşabileceği daha küçük parçalara bölündüğü ve her iş yükü için talep edilen bellek boyutunun zorunlu tutulduğu belirtiliyor. Böylece iş yükü talep ettiğinden fazlasını kullanamıyor veya başka bir iş yükünün belleğine müdahale edemiyor. Her pod’a kendine ait ayrı bir sanal bellek adres alanı veriliyor; belgelerde bu düzenleme “mantıksal GPU” olarak adlandırılıyor.

Belgelere göre kesirler, GPU işlem gücünü varsayılan olarak NVIDIA’nın zaman dilimleme yöntemiyle paylaştırıyor. Çoklu GPU kesirleri ise tek bir düğüm içindeki birkaç GPU’ya aynı kesir boyutunu tahsis ediyor: Örneğin 8 GPU kullanan ve GPU başına 40 GB bellek gerektiren bir modele, her GPU’nun belleğinin tamamı yerine 8×40 GB tahsis edilebilir; böylece söz konusu düğümdeki her GPU’da diğer iş yüklerinin kullanabileceği 40 GB kalır. Belgelerde GPU kesirleri ile Multi-Instance GPU (MIG) modunun aynı düğümde birlikte kullanılamayacağı belirtiliyor.

NVIDIA’nın zamanlayıcı kavramları belgelerinde, yeni oluşturulan her pod’un bir pod grubuna atandığı ve grup zamanlamanın, birden fazla pod’dan oluşan bir iş yükünün ya tamamen zamanlandığı ya da tamamen beklemede kaldığı anlamına geldiği belirtiliyor. Her düğüm havuzunda her proje ve departman için bir zamanlama kuyruğu oluşturuluyor; hak edilen kotalar, önceliği kesilemeyen iş yüklerinin çalıştırabileceği kaynakları sınırlarken kota aşımındaki kaynaklar yalnızca önceliği kesilebilir iş yüklerinin kullanımına açık oluyor. Zamanlayıcı, her düğüm havuzunda her proje ve departman için bir adil paylaşım değeri hesaplıyor. Bir kuyruk adil paylaşım değerinin altında kalırken diğeri bu değeri aştığında, dengeyi yeniden kurmak için kuyruklar arasında kaynak aktarıyor; bu süreçte kota aşımındaki ve önceliği kesilebilir iş yüklerinin önceliği kesilebiliyor. Zamanlayıcı ayrıca projeler ve departmanlar arasında kaynakları geri alabiliyor; yöneticiler her düğüm havuzu için sıkı paketleme veya yayma yerleştirme stratejileri belirleyebiliyor.

LKS’de düğümlerin otomatik olarak kurtarılması

Lambda, paylaşım ve öncelik kesme işlemlerinin her ikisinin de alttaki GPU’nun sağlıklı olduğunu varsaydığını, ancak büyük ölçekte bunun garanti olmadığını belirtti: Hızlandırıcılarda XID hataları görülüyor, NVLink ve PCIe bağlantıları bozuluyor, bellek satırları yeniden eşleniyor ve InfiniBand bağlantı noktalarının hızı beklenen seviyenin altına düşüyor. Bir zamanlayıcı sağlıklı bir GPU ile arızalanmakta olan bir GPU’yu ayırt edemediğinden, işleri onları düşüren bir düğüme göndermeyi sürdürüyor.

Lambda, otomatik kurtarma özelliğinin LKS’de zaten sunulmaya başlandığını söyledi. Şirket, her düğümü bu tür arızalara karşı izlediğini ve her arızayı standart bir Kubernetes düğüm koşulu olarak gösterdiğini belirtti. Bir koşul etkinleştiğinde düğüm yeni işlere kapatılıyor, çalışan işler boşaltılıyor ve arıza ya otomatik olarak gideriliyor ya da donanım onarımına yönlendiriliyor. Düğüm, yalnızca yeniden doğrulama sürecini başarıyla tamamladıktan sonra hizmete dönüyor.

Lambda’nın Yönetilen Kubernetes belgeleri, hizmeti GPU ve InfiniBand (RDMA) desteği ile 1-Click Cluster’daki tüm düğümlerde paylaşılan kalıcı depolama sunan bir Kubernetes ortamı olarak tanımlıyor. NVIDIA GPU Operator ve NVIDIA Network Operator önceden yüklenmiş olarak geliyor. Ayrıca hizmet, GPU’ların, ağın ve depolamanın düzgün çalıştığını doğrulamak için sürekli kontroller yürütüyor; donanım sorunlarını tespit edip gidermek üzere düğümlere otomatik müdahale ediyor.

Yönetilen Zamanlayıcı Kitaplığı Yol Haritası

Lambda, GPU zamanlamasını bilerek açık bıraktığı katman olarak tanımladı ve LKS’nin bundan sonraki hedefinin, şirketin “AI yazılım kitaplığı” olarak adlandırdığı yapıyı geliştirmek olduğunu belirtti. Bu kitaplıkta Kubernetes, Slurm ve Run:ai üzerinde çalışan zamanlayıcılar yer alacak; Lambda’nın kendi donanımında doğrulayıp güncel tuttuğu yönetilen bileşenler olarak sunulacak. Böylece müşteriler bu bileşenleri Helm çizelgelerinden elle bir araya getirmek zorunda kalmayacak. Run:ai, bu kitaplığın öncelikli hedeflerinden biri ve Lambda, bu hedefe ulaşmak için NVIDIA ile çalıştığını söyledi.

Lambda’ya göre açık kaynaklı sürüm, bu yaklaşımı mümkün kılıyor: Şirket, müşterilere bir dizi entegrasyon talimatı vermek yerine Run:ai’yi doğrudan LKS içinde paketleyebiliyor, test edebiliyor ve bakımını yapabiliyor. Lambda, paketleme, doğrulama ve devam eden operasyonların sorumluluğunu üstleneceği, kullanıma hazır bir entegrasyon sunmayı hedeflediğini belirtti.

Kendi açık araştırmalarını yürüten Lambda, kullandığı araçları inceleyebilme, uyarlayabilme ve geliştirebilme olanağına değer verdiğini söyledi ve NVIDIA’nın kararının bu özgürlüğü orkestrasyona da taşıdığını belirtti.