Modely a platformy AI

vCluster přidává samoobslužné privátní cloudy s vyhrazeným hardwarem pro AI

vCluster Platform v5.0 poskytuje zákazníkům cloudových služeb pro AI samoobslužný přístup k vyhrazeným serverům a prostředím Kubernetes, Slurm a pro inferenci schváleným poskytovatelem.

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Rows of dedicated GPU server racks inside an AI data center
Klíčové bodyvCluster Platform v5.0 umožňuje zákazníkům zřizovat bare-metal GPU servery bez toho…
Zobrazit více
  • vCluster Platform v5.0 umožňuje zákazníkům zřizovat bare-metal GPU servery bez toho, aby personál poskytovatele vyřizoval každý požadavek.
  • Poskytovatelé kontrolují, ke kterým typům strojů a šablonám má každý nájemce přístup, zatímco zákazníci si samoobslužně zřizují v rámci kvót.
  • Omezená dostupnost znamená, že operátoři musí stále ověřovat kompatibilitu a měřit, zda se zátěž podpory skutečně snižuje.

Společnost vCluster Labs uvedla platformu vCluster Platform v5.0 v režimu omezené dostupnosti. Poskytovatelům cloudových služeb pro AI tak nabízí možnost poskytovat samoobslužná prostředí na vyhrazených fyzických serverech. Zákazníci si mohou z přidělené kapacity zřizovat stroje, vybírat obraz operačního systému a spouštět clustery Kubernetes, Slurm nebo pro inferenci, aniž by museli poskytovatele žádat o vyřízení každého požadavku.

Vydání z 19. listopadu řeší praktický problém provozovatelů, kteří se již zavázali poskytovat kapacitu na fyzických serverech. Zákazník si může pronajmout blok serverů s GPU, ale přesto být závislý na provozním týmu poskytovatele, který musí připravovat stroje pro nové projekty. Nová platforma přesouvá část těchto rozhodnutí na zákazníka, zatímco vlastnictví hardwaru a přidělování kapacity zůstává poskytovateli.

Jeden inventář fyzických serverů

Toto vydání zařazuje fyzické servery do inventáře spravovaného komponentou vMetal, která zajišťuje zřizování prostředků pod platformou. Provozovatel přiděluje kapacitu zákazníkům, nebo ji ponechává k dispozici na vyžádání, a následně určuje, které typy strojů, obrazy a šablony clusterů mohou jednotliví zákazníci používat. Platforma zavádí nad jednotlivé projekty jasně vymezenou zákaznickou hranici zvanou tenant. Kvóty omezují, kolik kapacity si zákazník může nárokovat, a zákazníci nevidí inventář, který jim nebyl zpřístupněn.

Pro tým zákazníka odpovědný za platformu to znamená, že ze stejné smlouvy může čerpat několik interních skupin, aniž by každá z nich musela od poskytovatele získat nové přidělení kapacity. Výzkumná skupina může připravit prostředí Slurm pro plánování úloh, zatímco aplikační tým nasadí inferenční úlohu na Kubernetes. Poskytovatel rozhoduje, které konfigurace podporuje, a zákazník si může vybrat z těchto možností. Rozsah kontroly, kterou zákazník má, tedy závisí na tom, co zahrnuje jeho přidělená kapacita a které šablony poskytovatel zpřístupňuje.

Společnost uvádí, že poskytovatelé mohou používat její konzoli, nebo na stejném základním API vytvořit portál pod vlastní značkou. Tento rozdíl je důležitý pro provozovatele, kteří prodávají infrastrukturu pod svou značkou: rozhraní se může lišit, aniž by bylo nutné pro každý typ služby provozovat samostatný inventář a systém zřizování.

Vyhrazený hardware se zřizováním ve stylu cloudu

Bare metal poskytuje přístup k fyzickým serverům, nikoli k instancím, které sdílejí hostitelský server s jinými zákazníky. To může být lákavé pro kupující, kteří chtějí mít zaručenou konfiguraci hardwaru, vyhrazenou kapacitu akcelerátorů nebo kontrolu nad softwarovým prostředím. Samotná rezervace fyzických serverů však ještě neposkytuje použitelnou cloudovou službu. Někdo musí stále nainstalovat operační systém, nastavit přístup a připravit cluster.

Přístup vCluster kombinuje vyhrazené stroje a síťové prostředí pro každého zákazníka se samoobslužným zřizováním. Poskytovatel může stejný inventář využívat k jednoduchému pronájmu serverů i k poskytování komplexněji spravovaných produktů. Obchodní přínos spočívá v tom, že menší počet kroků vyřizovaných pracovníky poskytovatele by mohl usnadnit zapojení každého zákazníka, zatímco kupující, kteří upřednostňují spravovaný cluster, si mohou pořídit službu na jiné úrovni. Toto vydání neuvádí, kolik by ušetřila kterákoli ze stran; ekonomická výhodnost bude záviset na míře využití hardwaru a na rozsahu podpory, kterou zákazníci potřebují.

Důležité je také to, jak provozovatelé nakládají s hardwarem, který mezi projekty zůstává nevyužitý. Rezervovaná kapacita dává kupujícím jistotu, ale tyto stroje mohou zůstat nedostupné ostatním zákazníkům, i když se nepoužívají. Fond kapacity dostupné na vyžádání může zvýšit flexibilitu, ale pouze tehdy, pokud poskytovatel dokáže spolehlivě pokrýt poptávku. Platforma umožňuje poskytovatelům nabízet oba modely; neodstraňuje však potřebu stanovit podmínky rezervací ani plánovat pro případ nedostatku kapacity.

Co omezená dostupnost znamená pro provozovatele

Verze 5.0 není obecně dostupná. Dokumentace dodavatele doporučuje pro současná nasazení ponechat stávající vydání s dlouhodobou podporou, Platform v4.12 a vCluster v0.37. Provozovatelé, kteří zvažují novou verzi, musí stále posoudit její kompatibilitu se svými nástroji pro zřizování prostředků a správu sítí a ověřit, zda zákazníci mohou přejít od přiděleného stroje k použitelnému clusteru, aniž by vznikla nová úzká místa v podpoře.

Bezprostřední zkouškou bude provozní praxe: jak rychle dokáže poskytovatel po přidělení hardwaru dodat funkční infrastrukturu a jak často zákazníci následně potřebují pomoc. Pokud se tyto ukazatele zlepší, aniž by se správa vyhrazené kapacity zkomplikovala, mohla by se samoobsluha stát významným rozlišovacím prvkem mezi poskytovateli cloudových služeb pro AI, kteří nabízejí podobný hardware.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.