ScaleOps kerää 130 miljoonaa dollaria C-sarjan rahoitukseen ja vie autonomisen infrastruktuurin AI-toimintojen ytimeen

ScaleOps on kerännyt 130 miljoonaa dollaria C-sarjan rahoituksesta, ja sen arvo ylittää 800 miljoonaa dollaria, kun kysyntä kiihtyy järjestelmille, jotka voivat hallita yhä monimutkaisempia pilvi- ja tekoälytyömääriä ilman jatkuvaa ihmisen väliintuloa.

Rahoituksen johtajana toimi Insight Partners, ja siihen osallistuivat myös Lightspeed Venture Partners, NFX, Glilot Capital Partners ja Picture Capital. Yhtiö on nyt kerännyt yhteensä yli 210 miljoonaa dollaria.

Kubernetes-optimoitumisesta autonomiseen infrastruktuuriin

ScaleOps aloitti toimintansa vuonna 2022 keskittyen automaatioon yhteen nykyaikaisen infrastruktuurin pysyvimmistä haasteista: resurssien jakamiseen Kubernetes-ympäristöissä. Sen sijaan, että luotaisiin staattisiin konfiguraatioihin, alusta sovittaa jatkuvasti laskentaresursseja, kuten CPU: ta ja muistia, työmäärän reaaliaikaisen käyttäytymisen mukaan.

Alustan ydin toimii suljetun optimointimoottorina. Se havaitsee työmäärän tarpeen, arvioi suorituskykymerkkejä ja suorittaa muutoksia automaattisesti. Tähän sisältyy dynaaminen kokoa muuttaminen, replikoiden määrän säätäminen ja solmujen käytön optimointi klustereiden yli.

Ajan myötä tämä on laajentunut perinteisestä pilvi-optimoitumisesta GPU-värisiin ympäristöihin, jotka liittyvät tekoälyjärjestelmiin. Alusta soveltaa nyt samankaltaisia periaatteita GPU-jakamiseen, jossa tehokkaan käytön puute voi nopeasti muodostua merkittäväksi pullonkaulaksi.

Miksi tämä kerros on tulevaisuudessa kriittinen

Nykyiset tekoälyjärjestelmät tuottavat muuttuvuuden, jota perinteiset infrastruktuurivälineet eivät ole suunniteltu käsittämään. Työmäärät kasvavat ennalta arvaamattomasti, mallit kilpailevat rajoitetusta GPU-kapasiteetista, ja suorituskykyvaatimukset muuttuvat reaaliajassa.

Historiallisesti tiimit ovat hallinneet tätä manuaalisella säätöllä tai sääntöpohjaisella automaatiolla. Mutta nämä lähestymistavat kamppailevat mittakaavassa. Kubernetes itsessään, vaikka se on suunniteltu orkestraatiota varten, riippuu edelleen voimakkaasti staattisista konfiguraatioista, joita insinöörit on jatkuvasti sovitettava, jotta voidaan välttää alikapasiteettia tai ylikapasiteettia.

Tämä luo rakenteellisen tehokkuuden. Insinööritiimit viettävät merkittävän ajan reagoiden suorituskykyongelmiin, säätäen resurssien jakoa ja ratkaisemalla SLO-rikkomuksia, sen sijaan, että he kehittäisivät uusia järjestelmiä.

ScaleOpsin lähestymistapa korvaa tämän reaktiivisen mallin jatkuvalla, kontekstiaavalla automaatiolla. Sen sijaan, että määriteltäisiin kynnyksiä etukäteen, järjestelmä sopeutuu reaaliajassa havaitun käyttäytymisen mukaan koko klusterin yli.

Siirtyminen itseoptimoihin järjestelmiin

Se, mikä tekee tästä kategoriasta merkittävän, ei ole ainoastaan kustannusoptimoituminen, vaan siirtymä siihen, miten infrastruktuuri käyttäytyy.

Perinteisissä ympäristöissä infrastruktuuria konfiguroidaan. Uudemmissa järjestelmissä sitä odotetaan sopeutuvan.

ScaleOps heijastaa tätä siirtymää kohdellaan infrastruktuuria jatkuvasti uudelleen tasapainottavana. Alusta soveltaa käytäntöjä, seuraa tuloksia ja sovittaa resursseja ilman, että insinöörit tarvitsevat väliintulon. Tuotantoympäristöissä tämä voi laajentua lähes täydelliseen resurssipäätösten automaatioon.

Tämä malli on jo osoittanut mitattavaa vaikutusta todellisissa käyttökohteissa. Yhdessä tapauksessa automaattinen oikea koko salli työmäärien sopeutua dynaamisesti liikenteen mukaan säilyttäen suorituskykykohteet ja vähentäen haaskaa klustereiden yli.

Laajentuminen kustannusoptimoitumisen ulkopuolelle

Varhaiset pilvi-optimoitumisvälineet keskittyivät pääasiassa kustannusten vähentämiseen. ScaleOps korostaa edelleen kustannustehokkuutta, ja väittää saavuttavansa merkittäviä säästöjä poistamalla ylikapasiteetin ja käyttämättömät resurssit.

Laajempi fokus on kuitenkin siirtymässä suorituskykyluotettavuuteen ja järjestelmän kestävyyteen.

Kun tekoälyjärjestelmät integroidaan tiukemmin tuotantoympäristöihin, infrastruktuuripäätökset vaikuttavat suoraan mallin suorituskykyyn, viiveisiin ja saatavuuteen. Resurssien väärä jakaminen ei ole enää ainoastaan kustannusongelma, vaan toiminnallinen rajoitus.

Tämä on erityisen relevanttia GPU-työmäärien osalta, joissa kysyntä usein ylittää tarjonnan. Tehokas resurssien jakaminen infrastruktuuritasolla voi määrätä, suoritetaanko mallit tehokkaasti vai odotellaanko resursseja.

Uusi ohjauskerros tekoälyinfrastruktuurille

Pitkän aikavälin vaikutus on uuden ohjauskerroksen ilmaantuminen laskentaresursseille.

Sen sijaan, että insinöörit määrittäisivät infrastruktuuria manuaalisesti tai luottaisivat hajanaisiin työkaluihin, alustat kuten ScaleOps toimivat autonomisena ohjauskerroksena, joka jatkuvasti sovittaa tarjontaa kysyntään.

Tämä tulee yhä tärkeämmäksi, kun organisaatiot käyttävät useita tekoälyjärjestelmiä samanaikaisesti, joilla on erilaiset suorituskykyvaatimukset ja käyttömallit.

Tässä kontekstissa infrastruktuurin hallinta alkaa muistuttaa enemmän liikenteen ohjausta kuin staattista määritystä. Resursseja reititellään, uudelleen tasapainotellaan ja optimoidaan jatkuvasti sen sijaan, että ne määriteltäisiin kerran ja jätettäisiin muuttumattomaksi.

Uusimman rahoituksen myötä ScaleOps odotetaan laajentavan alustaa laskennan ja GPU:iden ulkopuolelle, kattamaan laajempia infrastruktuurin hallinnan aloja, mukaan lukien pilvi- ja tekoälyorkestraation lisäkerrokset.

Traektoria osoittaa siirtymistä kohti ympäristöjä, joissa infrastruktuuripäätökset eivät enää tehdä suoraan insinööreillä. Sen sijaan ne hallitaan järjestelmillä, jotka tulkkaavat työmäärän tarkoituksen ja sovittavat resursseja automaattisesti.

Kun tekoälytyömäärät jatkavat kasvamistaan, tämä siirtymä saattaa tulla vähemmän optimoitumiseksi ja enemmän vaatimukseksi.