ScaleOps získává 130 milionů dolarů v sérii C pro autonomní infrastrukturu v provozu AI

ScaleOps získala 130 milionů dolarů ve financování série C při valuaci přesahující 800 milionů dolarů, protože rychle roste poptávka po systémech, které mohou spravovat stále složitější cloudové a AI úkoly bez stálého lidského zásahu.

Kolo bylo vedené Insight Partners, s pokračující podporou ze strany Lightspeed Venture Partners, NFX, Glilot Capital Partners a Picture Capital. Společnost nyní získala více než 210 milionů dolarů celkem.

Od optimalizace Kubernetes k autonomní infrastruktuře

ScaleOps se objevila v roce 2022 se zaměřením na automatizaci jednoho z nejtrvalejších problémů v moderní infrastruktuře: přidělování zdrojů v prostředích Kubernetes. Místo toho, aby se spoléhala na statické konfigurace, platforma nepřetržitě upravuje výpočetní zdroje, jako je CPU a paměť, na základě chování úkolu v reálném čase.

Systém v jádru funguje jako optimalizační motor s uzavřenou zpětnovazební smyčkou. Sleduje nároky pracovních úloh, vyhodnocuje signály výkonu a provádí změny automaticky. To zahrnuje dynamické změny velikosti úkolu, úpravu počtu replik a optimalizaci využití uzlů napříč clusterem.

V průběhu času se to rozšířilo za hranice tradiční cloudové optimalizace do prostředí s vysokou hustotou GPU spojených s AI systémy. Platforma nyní aplikuje podobné principy na přidělování GPU, kde neefektivní využití se může rychle stát významnou překážkou.

Proč se tato vrstva stává zásadní

Moderní AI systémy zavádějí úroveň variability, na kterou tradiční nástroje infrastruktury nebyly navrženy. Zátěž nepředvídatelně skokově roste, modely soutěží o omezenou kapacitu GPU a požadavky na výkon se mění v reálném čase.

Historicky týmy spravovaly toto prostřednictvím manuálního ladění nebo automatizace založené na pravidlech. Ale tyto přístupy mají potíže při nasazení ve velkém měřítku. Samotný Kubernetes, ačkoli je navržen pro orchestraci, stále silně závisí na statických konfiguracích, které inženýři musí neustále upravovat, aby se vyhnuli nedostatečnému nebo nadměrnému přidělování zdrojů.

To vytváří strukturální neefektivitu. Inženýrské týmy tráví značné množství času reagováním na problémy s výkonem, laděním přidělování zdrojů a řešením porušení SLO, místo toho, aby stavěly nové systémy.

Přístup ScaleOps nahrazuje tento reaktivní model kontinuální, automatizací zohledňující kontext. Místo předem definovaných prahových hodnot se systém přizpůsobuje v reálném čase na základě pozorovaného chování napříč celým clusterem.

Směrem k systémům, které se samy optimalizují

Co dělá tuto kategorii pozoruhodnou, není jen optimalizace nákladů, ale posun v tom, jak se infrastruktura chová.

V tradičních prostředích je infrastruktura nakonfigurována. V novějších systémech se od ní očekává, že se přizpůsobí.

ScaleOps odráží tuto transformaci tím, že zachází s infrastrukturou jako s něčím, co může nepřetržitě rebalancovat samo sebe. Platforma aplikuje zásady, monitoruje výsledky a upravuje alokace bez nutnosti zásahu inženýrů. V produkčních prostředích může toto vést až k téměř úplné automatizaci rozhodnutí o zdrojích.

Tento model již ukázal měřitelný dopad v reálných nasazeních. V jednom případě umožnila automatická úprava přidělené kapacity pracovním úlohám dynamicky reagovat na výkyvy provozu při zachování výkonnostních cílů a snížení plýtvání napříč clusterem.

Za hranice optimalizace nákladů

Rané nástroje pro cloudovou optimalizaci se zaměřovaly primárně na snižování nákladů. ScaleOps stále zdůrazňuje efektivitu nákladů, s tvrzeními o významných úsporách plynoucích z odstranění nadměrného přidělování zdrojů a nečinných zdrojů.

Ale širší směr se posouvá směrem ke spolehlivosti výkonu a odolnosti systému.

Jakmile se AI systémy stávají stále více integrovanými do produkčních prostředí, rozhodnutí o infrastruktuře přímo ovlivňují výkon modelu, latenci a dostupnost. Nesprávné přidělování již není pouze otázkou nákladů, stává se funkční limitací.

To je zvláště relevantní pro úkoly s vysokou hustotou GPU, kde poptávka často překračuje nabídku. Efektivní přidělování na úrovni infrastruktury může určit, zda modely běží efektivně nebo čekají nečinně na zdroje.

Nová řídicí rovina infrastruktury AI

Dlouhodobým důsledkem je vznik nové řídicí vrstvy pro výpočetní zdroje.

Místo toho, aby inženýři manuálně konfigurovali infrastrukturu nebo spoléhali na fragmentované nástroje, platformy jako ScaleOps fungují jako autonomní řídicí rovina, která nepřetržitě slaďuje nabídku s poptávkou.

To se stává stále důležitějším, protože organizace nasazují několik AI systémů současně, každý s odlišnými požadavky na výkon a vzorci využití.

V tomto kontextu se správa infrastruktury podobá spíše řízení dopravy než statickému přidělování. Zdroje jsou směrovány, rebalancovány a optimalizovány nepřetržitě, spíše než přiděleny jednou a ponechány beze změny.

Díky tomuto nejnovějšímu financování se očekává, že ScaleOps rozšíří svou platformu za hranice výpočtů a GPU do širších oblastí správy infrastruktury, včetně dalších vrstev cloudové a AI orchestrace.

Tento vývoj naznačuje posun směrem k prostředím, kde rozhodnutí o infrastruktuře již nejsou přímo spravována inženýry. Místo toho je řídí systémy, které interpretují záměr úkolu a automaticky upravují zdroje.

Jakmile se AI úkoly dále škálovají, tento posun se může stát méně optimalizací a více požadavkem.