ScaleOps pozyskuje 130 milionów dolarów w ramach rundy C, aby wprowadzić autonomiczną infrastrukturę do rdzenia operacji AI

ScaleOps pozyskał 130 milionów dolarów w ramach rundy C, przy wycenie przekraczającej 800 milionów dolarów, ponieważ rośnie popyt na systemy, które mogą zarządzać coraz bardziej złożonymi obciążeniami chmury i AI bez stałej interwencji człowieka.

Rundę tę poprowadził Insight Partners, z kontynuowanym wsparciem Lightspeed Venture Partners, NFX, Glilot Capital Partners oraz Picture Capital. Firma ta pozyskała do tej pory ponad 210 milionów dolarów.

Od optymalizacji Kubernetes do autonomicznej infrastruktury

ScaleOps pojawił się w 2022 roku z naciskiem na automatyzację jednego z najbardziej uporczywych wyzwań we współczesnej infrastrukturze: przydziału zasobów w środowiskach Kubernetes. Zamiast polegać na statycznych konfiguracjach, platforma ciągle dostosowuje zasoby obliczeniowe, takie jak CPU i pamięć, w oparciu o zachowanie obciążeń w czasie rzeczywistym.

W swojej istocie system działa jako zamknięty silnik optymalizacji. Obserwuje popyt na obciążenie, ocenia sygnały wydajności i wykonuje zmiany automatycznie. Obejmuje to dynamiczne zmiany rozmiaru obciążeń, dostosowanie liczby replik i optymalizację wykorzystania węzłów w klastrach.

W miarę upływu czasu ta funkcjonalność rozwinęła się poza tradycyjną optymalizację chmury do środowisk z dużą ilością procesorów GPU związanych z systemami AI. Platforma stosuje podobne zasady do alokacji GPU, gdzie niewydajne wykorzystanie może szybko stać się znacznym wąskim gardłem.

Dlaczego ta warstwa staje się krytyczna

Współczesne systemy AI wprowadzają poziom zmienności, którego tradycyjne narzędzia infrastruktury nie były zaprojektowane do obsługi. Obciążenia szczytowe w sposób nieprzewidywalny, modele konkurują o ograniczoną pojemność GPU, a wymagania dotyczące wydajności zmieniają się w czasie rzeczywistym.

Historycznie zespoły zarządzały tym poprzez ręczne dostrajanie lub automatyzację opartą na regułach. Jednakże te podejścia mają trudności w skali. Sam Kubernetes, chociaż zaprojektowany do orkiestracji, nadal opiera się w dużej mierze na statycznych konfiguracjach, które inżynierowie muszą ciągle dostosowywać, aby uniknąć niedo- lub nadwyżki.

To tworzy strukturalną niewydajność. Zespoły inżynierskie spędzają znaczną ilość czasu na reagowaniu na problemy z wydajnością, dostosowywaniu przydziału zasobów i rozwiązywaniu naruszeń SLO, zamiast budować nowe systemy.

Podejście ScaleOps zastępuje ten model reaktywny ciągłą, kontekstowo świadomą automatyzacją. Zamiast definiowania progów z wyprzedzeniem, system dostosowuje się w czasie rzeczywistym w oparciu o zaobserwowane zachowania w całym klastrze.

Przechodzenie w kierunku samooptymalizujących się systemów

To, co sprawia, że ta kategoria jest godna uwagi, nie jest tylko optymalizacja kosztów, ale zmiana w tym, jak zachowuje się infrastruktura.

W tradycyjnych środowiskach infrastruktura jest konfigurowana. W nowszych systemach oczekuje się, że będzie się dostosowywać.

ScaleOps odzwierciedla tę transformację, traktując infrastrukturę jako coś, co może ciągle ponownie równoważyć się. Platforma stosuje zasady, monitoruje wyniki i dostosowuje przydziały bez wymagania interwencji inżynierów. W środowiskach produkcyjnych może to rozciągać się na niemal pełną automatyzację decyzji dotyczących zasobów.

Model ten już wykazał wymierny wpływ w przypadku wdrożeń w środowisku rzeczywistym. W jednym przypadku zautomatyzowane dostosowanie rozmiaru obciążeń pozwoliło na dynamiczne dostosowanie do fluktuacji ruchu, utrzymując cele wydajności i redukując marnotrawstwo w klastrach.

Rozszerzanie poza optymalizację kosztów

Wczesne narzędzia do optymalizacji chmury koncentrowały się głównie na redukowaniu wydatków. ScaleOps nadal podkreśla wydajność kosztową, z twierdzeniami o znaczących oszczędnościach wynikających z wyeliminowania nadmiarowych przydziałów i bezczynnych zasobów.

Jednakże szerszy kierunek zmiany jest skierowany ku niezawodności wydajności i odporności systemu.

Ponieważ systemy AI stają się coraz bardziej ściśle zintegrowane z środowiskami produkcyjnymi, decyzje infrastrukturalne mają bezpośredni wpływ na wydajność modelu, opóźnienia i dostępność. Niewłaściwy przydział nie jest już tylko kwestią kosztów, staje się ograniczeniem funkcjonalnym.

Ma to szczególne znaczenie dla obciążeń związanych z procesorami GPU, gdzie popyt często przekracza podaż. Wydajna alokacja na poziomie infrastruktury może określać, czy modele działają wydajnie, czy pozostają bezczynne, czekając na zasoby.

Nowy plan sterowania dla infrastruktury AI

Długoterminowa implikacja jest pojawieniem się nowej warstwy sterowania zasobami obliczeniowymi.

Zamiast inżynierowie ręcznie konfigurowali infrastrukturę lub polegali na fragmentarycznych narzędziach, platformy takie jak ScaleOps działają jako autonomiczna warstwa sterowania, która ciągle dopasowuje podaż do popytu.

Staje się to coraz bardziej istotne, gdy organizacje wdrażają wiele systemów AI jednocześnie, każdy z różnymi wymaganiami wydajności i wzorcami użycia.

W tym kontekście zarządzanie infrastrukturą zaczyna bardziej przypominać kontrolę ruchu niż statyczne przydziały. Zasoby są kierowane, ponownie równoważone i optymalizowane ciągle, zamiast przydzielane raz i pozostawione bez zmian.

Wraz z tym najnowszym finansowaniem ScaleOps ma rozszerzyć swoją platformę poza obliczenia i procesory GPU do szerszych obszarów zarządzania infrastrukturą, w tym dodatkowych warstw orkiestracji chmury i AI.

Trajektoria sugeruje przesunięcie w kierunku środowisk, w których decyzje infrastrukturalne nie są już bezpośrednio podejmowane przez inżynierów. Zamiast tego są one zarządzane przez systemy, które interpretują intencje obciążeń i dostosowują zasoby automatycznie.

Ponieważ obciążenia AI będą nadal rosły, to przesunięcie może stać się mniej optymalizacją, a bardziej wymogiem.