ScaleOps keräsi 130 miljoonaa dollaria C-kierroksella autonomiseen infrastruktuuriin tekoälytoiminnoissa

ScaleOps on kerännyt 130 miljoonaa dollaria C-rahoituskierroksella, ja sen arvo ylittää 800 miljoonaa dollaria, kun kysyntä kasvaa nopeasti järjestelmille, jotka voivat hallita yhä monimutkaisempia pilvi- ja tekoälytyökuormia ilman jatkuvaa ihmisen väliintuloa.

Rahoituskierroksen vetäjänä toimi Insight Partners, ja siihen osallistuivat myös Lightspeed Venture Partners, NFX, Glilot Capital Partners ja Picture Capital. Yhtiö on nyt kerännyt yhteensä yli 210 miljoonaa dollaria.

Kubernetesin optimoinnista autonomiseen infrastruktuuriin

ScaleOps aloitti toimintansa vuonna 2022 keskittyen yhden nykyaikaisen infrastruktuurin sitkeimmän haasteen automatisointiin: resurssien jakamiseen Kubernetes-ympäristöissä. Sen sijaan, että luotettaisiin staattisiin konfiguraatioihin, alusta sovittaa jatkuvasti laskentaresursseja, kuten suoritintehoa ja muistia, työmäärän reaaliaikaisen käyttäytymisen mukaan.

Järjestelmän ytimessä toimii suljettua palautesilmukkaa käyttävä optimointimoottori. Se havaitsee työmäärän tarpeen, arvioi suorituskykysignaaleja ja suorittaa muutoksia automaattisesti. Tähän sisältyy työkuormille varattujen resurssien dynaaminen mitoittaminen, replikoiden määrän säätäminen ja solmujen käytön optimointi klustereissa.

Ajan myötä tämä on laajentunut perinteistä pilvioptimointia laajemmalle, paljon grafiikkasuorittimia käyttäviin ympäristöihin, jotka liittyvät tekoälyjärjestelmiin. Alusta soveltaa nyt samankaltaisia periaatteita GPU-resurssien jakamiseen, jossa tehokkaan käytön puute voi nopeasti muodostua merkittäväksi pullonkaulaksi.

Miksi tästä kerroksesta tulee kriittinen

Nykyiset tekoälyjärjestelmät tuovat mukanaan vaihtelua, jonka käsittelyyn perinteisiä infrastruktuurityökaluja ei ole suunniteltu. Työkuormissa esiintyy ennakoimattomia piikkejä, mallit kilpailevat rajoitetusta GPU-kapasiteetista, ja suorituskykyvaatimukset muuttuvat reaaliajassa.

Historiallisesti tiimit ovat hallinneet tätä manuaalisella säädöllä tai sääntöpohjaisella automaatiolla. Mutta nämä lähestymistavat toimivat huonosti suuressa mittakaavassa. Kubernetes itsessään, vaikka se on suunniteltu orkestraatiota varten, riippuu edelleen voimakkaasti staattisista konfiguraatioista, joita insinöörien on jatkuvasti säädettävä, jotta voidaan välttää alikapasiteettia tai ylikapasiteettia.

Tämä aiheuttaa rakenteellista tehottomuutta. Insinööritiimit käyttävät huomattavasti aikaa suorituskykyongelmiin reagoimiseen, resurssijaon säätämiseen ja palvelutasotavoitteiden (SLO) rikkomusten ratkaisemiseen sen sijaan, että rakentaisivat uusia järjestelmiä.

ScaleOpsin lähestymistapa korvaa tämän reaktiivisen mallin jatkuvalla, kontekstin huomioivalla automaatiolla. Sen sijaan, että määriteltäisiin kynnyksiä etukäteen, järjestelmä sopeutuu reaaliajassa havaitun käyttäytymisen mukaan koko klusterissa.

Siirtyminen itseään optimoiviin järjestelmiin

Se, mikä tekee tästä kategoriasta merkittävän, ei ole ainoastaan kustannusten optimointi, vaan siirtymä siihen, miten infrastruktuuri käyttäytyy.

Perinteisissä ympäristöissä infrastruktuuria konfiguroidaan. Uudemmissa järjestelmissä sen odotetaan mukautuvan.

ScaleOps heijastaa tätä siirtymää käsittelemällä infrastruktuuria kokonaisuutena, joka voi jatkuvasti tasapainottaa itsensä uudelleen. Alusta soveltaa käytäntöjä, seuraa tuloksia ja sovittaa resursseja ilman insinöörien puuttumista toimintaan. Tuotantoympäristöissä tämä voi laajentua lähes täydelliseen resurssipäätösten automaatioon.

Tämä malli on jo osoittanut mitattavaa vaikutusta todellisissa käyttökohteissa. Yhdessä tapauksessa automaattinen resurssien mitoitus antoi työkuormien mukautua dynaamisesti liikenteen vaihteluihin niin, että suorituskykytavoitteet säilyivät ja resurssien hukka väheni klustereissa.

Kustannusten optimointia laajemmalle

Varhaiset pilvioptimoinnin työkalut keskittyivät pääasiassa kustannusten vähentämiseen. ScaleOps korostaa edelleen kustannustehokkuutta, ja väittää saavuttavansa merkittäviä säästöjä poistamalla ylikapasiteetin ja käyttämättömät resurssit.

Laajempi fokus on kuitenkin siirtymässä suorituskykyluotettavuuteen ja järjestelmän kestävyyteen.

Kun tekoälyjärjestelmät integroidaan tiukemmin tuotantoympäristöihin, infrastruktuuripäätökset vaikuttavat suoraan mallin suorituskykyyn, viiveisiin ja saatavuuteen. Resurssien väärä jakaminen ei ole enää ainoastaan kustannusongelma, vaan toiminnallinen rajoitus.

Tämä on erityisen relevanttia GPU-työmäärien osalta, joissa kysyntä usein ylittää tarjonnan. Tehokas resurssien jakaminen infrastruktuuritasolla voi määrätä, toimivatko mallit tehokkaasti vai joutuvatko ne odottamaan resursseja toimettomina.

Uusi ohjauskerros tekoälyinfrastruktuurille

Pitkän aikavälin vaikutus on uuden ohjauskerroksen ilmaantuminen laskentaresursseille.

Sen sijaan, että insinöörit määrittäisivät infrastruktuuria manuaalisesti tai luottaisivat hajanaisiin työkaluihin, alustat kuten ScaleOps toimivat autonomisena ohjauskerroksena, joka jatkuvasti sovittaa tarjontaa kysyntään.

Tämä tulee yhä tärkeämmäksi, kun organisaatiot käyttävät useita tekoälyjärjestelmiä samanaikaisesti, joilla on erilaiset suorituskykyvaatimukset ja käyttömallit.

Tässä kontekstissa infrastruktuurin hallinta alkaa muistuttaa enemmän liikenteen ohjausta kuin staattista määritystä. Resursseja reititetään, tasapainotetaan uudelleen ja optimoidaan jatkuvasti sen sijaan, että ne määriteltäisiin kerran ja jätettäisiin muuttumattomiksi.

Uusimman rahoituksen myötä ScaleOpsin odotetaan laajentavan alustaansa laskennan ja GPU:iden ulkopuolelle, kattamaan laajempia infrastruktuurin hallinnan aloja, mukaan lukien pilvi- ja tekoälyorkestraation lisäkerrokset.

Kehityssuunta viittaa ympäristöihin, joissa insinöörit eivät enää tee infrastruktuuripäätöksiä suoraan. Niitä ohjaavat sen sijaan järjestelmät, jotka tulkitsevat työkuorman tarkoituksen ja säätävät resursseja automaattisesti.

Kun tekoälytyömäärät jatkavat kasvamistaan, tämä muutos voi lakata olemasta pelkkää optimointia ja muuttua vaatimukseksi.