Lambda připravuje open-source plánovač Run:ai pro službu Kubernetes

Lambda 13. října 2026 uvedla, že spolupracuje se společností NVIDIA na tom, aby se plánovač GPU Run:ai s otevřeným zdrojovým kódem stal plnohodnotnou spravovanou možností ve službě Lambda Kubernetes Service (LKS), která je součástí plánované knihovny plánovačů dodávaných jako spravované komponenty.

Tento plán byl představen v příspěvku na blogu společnosti Lambda z 13. října 2026. „Vítáme rozhodnutí společnosti NVIDIA zveřejnit zdrojový kód Run:ai a pracujeme na tom, aby se stal plnohodnotnou možností ve službě Lambda Kubernetes Service (LKS),“ uvedla společnost. Lambda sdělila, že Run:ai podporuje na své infrastruktuře od roku 2022. Jejím cílem je usnadnit týmům zavádění a provozování funkcí Run:ai prostřednictvím LKS, aby měly větší kontrolu nad přidělováním a sdílením kapacity GPU.

NVIDIA zveřejnila zdrojový kód plánovače v roce 2025

NVIDIA oznámila vydání plánovače KAI Scheduler s otevřeným zdrojovým kódem, licencovaného pod Apache 2.0. Jde o řešení pro plánování úloh na GPU, nativní pro Kubernetes, které bylo původně vyvinuto v rámci platformy Run:ai. Vydání proběhlo 1. dubna 2025, podle oznámení společnosti NVIDIA. NVIDIA uvedla, že plánovač se nadále dodává jako součást platformy NVIDIA Run:ai.

Podle společnosti NVIDIA plánovač průběžně přepočítává hodnoty spravedlivého podílu a v reálném čase upravuje kvóty a limity. Kombinuje plánování skupin úloh, sdílení GPU a hierarchické fronty; vestavěná komponenta podgrouper navíc automaticky propojuje úlohy s frameworky, jako jsou Kubeflow, Ray, Argo a Training Operator. NVIDIA popisuje plánovací cyklus, který pořídí snímek clusteru Kubernetes, vypočítá spravedlivý podíl pro každou frontu ve fázích přidělování kvót a využívání prostředků nad rámec kvót a poté použije akce přidělení, konsolidace, uvolnění a preventivního ukončení úloh, aby aktuální přidělení odpovídala vypočtenému stavu.

Sdílení GPU a plánování podle kvót v Run:ai

Lambda popsala různorodé nároky, které vývoj umělé inteligence klade na GPU: při ladění může stačit jen část jednoho GPU, vyhodnocování se může rozvětvit do mnoha nezávislých úloh a distribuovaný trénink může současně vyžadovat velký počet úzce propojených GPU. Požadavky se přitom mění s tím, jak práce postupuje od prvotních nápadů přes experimenty až k produkčnímu nasazení. Pokud malé úlohy dostanou celá GPU, výzkumníci čekají, zatímco rezervovaná kapacita zůstává nevyužitá; týmy navíc mohou zjistit, že jejich experimenty čekají za nečinnými GPU rezervovanými pro jinou skupinu.

Run:ai je podle popisu společnosti Lambda plánovač GPU pro Kubernetes, který rozšiřuje výchozí plánovač Kubernetes ve dvou ohledech: umožňuje sdílení GPU, takže na jednom GPU může běžet více než jedna úloha, a plánuje podle kvót, čímž každému týmu zaručuje přidělenou kapacitu a současně umožňuje týmům vzájemně si půjčovat nevyužitou kapacitu.

Dokumentace společnosti NVIDIA k dělení GPU na části uvádí, že paměť GPU lze rozdělit na menší části, které mohou sdílet různé úlohy. Požadovaná velikost paměti každé úlohy se vynucuje, takže úloha nemůže překročit svůj požadavek ani zasahovat do paměti jiné úlohy. Každý pod získává vlastní oddělený virtuální adresní prostor paměti; dokumentace toto uspořádání označuje jako „logické GPU“.

Podle dokumentace se části GPU ve výchozím nastavení sdílejí prostřednictvím časového multiplexování společnosti NVIDIA. Více-GPU části přidělují stejnou velikost části napříč několika GPU v rámci jednoho uzlu: například model, který využívá 8 GPU a vyžaduje 40 GB paměti na každém GPU, může dostat přiděleno 8×40 GB namísto celé paměti každého GPU. Na každém GPU tak zůstane 40 GB dostupných pro jiné úlohy v daném uzlu. Dokumentace upozorňuje, že na stejném uzlu nelze současně používat části GPU a režim Multi-Instance GPU (MIG).

Dokumentace společnosti NVIDIA k principům plánovače uvádí, že každý nově vytvořený pod se přiřazuje do skupiny podů a že plánování skupiny úloh znamená, že se úloha složená z více podů buď naplánuje celá, nebo zůstane celá čekat. Pro každý projekt a oddělení v rámci každého fondu uzlů se vytvoří plánovací fronta; přidělené kvóty omezují, které úlohy, jež nelze předčasně ukončit, mohou běžet, zatímco prostředky nad rámec kvót jsou dostupné pouze úlohám, které předčasně ukončit lze. Plánovač vypočítává hodnotu spravedlivého podílu pro každý projekt a oddělení v rámci každého fondu uzlů. Pokud je jedna fronta pod úrovní svého spravedlivého podílu a jiná ji překračuje, přesouvá mezi nimi prostředky, aby podíly vyrovnal; při tomto procesu může předčasně ukončit úlohy, které lze ukončit a využívají prostředky nad rámec kvót. Plánovač může také uvolňovat prostředky mezi projekty a odděleními a správci mohou pro každý fond uzlů nastavit strategie umístění úloh spočívající v jejich soustředění do co nejmenšího počtu uzlů nebo v jejich rozložení.

Automatická náprava problémů uzlů v LKS

Lambda upozornila, že sdílení i preventivní ukončování úloh předpokládají, že GPU pod nimi funguje správně, což při provozu ve velkém měřítku není zaručeno: akcelerátory hlásí chyby XID, propojení NVLink a PCIe se zhoršují, řádky paměti se přemapovávají a rychlost portů InfiniBand klesá pod očekávanou úroveň. Plánovač nedokáže rozlišit funkční GPU od GPU, které selhává, a dál proto odesílá úlohy na uzel, který je následně přerušuje.

Lambda uvedla, že automatická náprava problémů je v LKS již dostupná. Společnost sleduje každý uzel kvůli těmto závadám a každou z nich hlásí jako standardní stavovou podmínku uzlu Kubernetes. Když se taková podmínka aktivuje, uzel se vyřadí z plánování nových úloh, běžící úlohy se z něj odvedou a závada se buď automaticky odstraní, nebo se předá k opravě hardwaru. Uzel se vrátí do provozu teprve poté, co znovu úspěšně projde ověřením.

Dokumentace Lambda ke spravovanému Kubernetes popisuje tuto službu jako prostředí Kubernetes s podporou GPU a InfiniBandu (RDMA) a sdíleným trvalým úložištěm napříč všemi uzly v clusteru vytvořeném jedním kliknutím. NVIDIA GPU Operator a NVIDIA Network Operator jsou předinstalované a služba průběžně ověřuje, zda GPU, síťové připojení a úložiště správně fungují. Zároveň automaticky napravuje problémy uzlů: zjišťuje hardwarové potíže a obnovuje jejich provoz.

Plán vývoje knihovny spravovaných plánovačů

Lambda popsala plánování GPU jako vrstvu, kterou záměrně ponechává otevřenou, a uvedla, že LKS nyní směřuje k tomu, čemu říká knihovna softwaru pro AI: k plánovačům, které běží v Kubernetes, například Slurm a Run:ai. Ty mají být dodávány jako spravované komponenty, jejichž funkčnost Lambda ověřuje na vlastním hardwaru a které průběžně aktualizuje, místo aby si je zákazníci sestavovali ručně z grafů Helm. Run:ai je pro tuto knihovnu jedním z hlavních cílů a Lambda uvedla, že na tom spolupracuje se společností NVIDIA.

Podle společnosti Lambda umožňuje tento přístup právě vydání s otevřeným zdrojovým kódem: společnost může Run:ai přímo začlenit do LKS, testovat a udržovat, namísto toho, aby zákazníkům předávala soubor pokynů k integraci. Lambda uvedla, že usiluje o integraci připravenou k okamžitému použití, při níž bude zajišťovat balení, ověřování i průběžný provoz.

Lambda, která sama vytváří otevřený výzkum, uvedla, že si cení možnosti nástroje, na nichž závisí, zkoumat, přizpůsobovat a vylepšovat. Rozhodnutí společnosti NVIDIA popsala jako rozšíření této svobody i na orchestraci.