ScaleOps raccoglie 130 milioni di dollari nella serie C per spingere l’infrastruttura autonoma nel cuore delle operazioni AI

ScaleOps ha raccolto 130 milioni di dollari nel finanziamento della serie C a una valutazione superiore a 800 milioni di dollari, poiché la domanda di sistemi in grado di gestire carichi di lavoro cloud e AI sempre più complessi senza un intervento umano costante aumenta.

Il round è stato guidato da Insight Partners, con il continuo sostegno di Lightspeed Venture Partners, NFX, Glilot Capital Partners e Picture Capital. La società ha ora raccolto più di 210 milioni di dollari in totale.

Dall’ottimizzazione di Kubernetes all’infrastruttura autonoma

ScaleOps è emerso nel 2022 con un focus sull’automatizzazione di una delle sfide più persistenti nell’infrastruttura moderna: l’allocazione delle risorse in ambienti Kubernetes. Invece di affidarsi a configurazioni statiche, la piattaforma regola continuamente le risorse di calcolo come CPU e memoria in base al comportamento del carico di lavoro in tempo reale.

Al suo nucleo, il sistema funziona come un motore di ottimizzazione a ciclo chiuso. Osserva la domanda del carico di lavoro, valuta i segnali di prestazione ed esegue modifiche automaticamente. Ciò include il ridimensionamento dinamico dei carichi di lavoro, la regolazione dei conteggi dei replica e l’ottimizzazione dell’utilizzo dei nodi nei cluster.

Nel tempo, ciò si è esteso oltre l’ottimizzazione cloud tradizionale in ambienti con GPU legati ai sistemi AI. La piattaforma applica principi simili all’allocazione della GPU, dove un utilizzo inefficiente può rapidamente diventare un collo di bottiglia importante.

Perché questo livello sta diventando critico

I sistemi AI moderni introducono un livello di variabilità che gli strumenti di infrastruttura tradizionali non erano progettati per gestire. I carichi di lavoro aumentano in modo imprevedibile, i modelli competono per la capacità GPU limitata e i requisiti di prestazione si spostano in tempo reale.

Storicamente, i team hanno gestito questo attraverso la regolazione manuale o l’automatizzazione basata su regole. Ma questi approcci lottano a livello di scala. Kubernetes stesso, sebbene progettato per l’orchestrazione, si affida ancora pesantemente a configurazioni statiche che gli ingegneri devono costantemente regolare per evitare la sottoprovisione o la sovrapprovisione.

Ciò crea un’inefficienza strutturale. I team di ingegneri spendono molto tempo a reagire a problemi di prestazione, a regolare l’allocazione delle risorse e a risolvere le violazioni degli SLO invece di costruire nuovi sistemi.

L’approccio di ScaleOps sostituisce questo modello reattivo con un’automatizzazione continua e consapevole del contesto. Invece di definire soglie in anticipo, il sistema si adatta in tempo reale in base al comportamento osservato in tutto il cluster.

Verso sistemi di auto-ottimizzazione

Ciò che rende questa categoria degna di nota non è solo l’ottimizzazione dei costi, ma il cambiamento nel modo in cui l’infrastruttura si comporta.

Negli ambienti tradizionali, l’infrastruttura è configurata. Nei nuovi sistemi, ci si aspetta che si adatti.

ScaleOps riflette questa transizione trattando l’infrastruttura come qualcosa che può continuamente riequilibrarsi. La piattaforma applica politiche, monitora i risultati e regola le allocazioni senza richiedere l’intervento degli ingegneri. Negli ambienti di produzione, ciò può estendersi quasi alla piena automazione delle decisioni sulle risorse.

Questo modello ha già mostrato un impatto misurabile nei deploy reali. In un caso, il ridimensionamento automatizzato ha consentito ai carichi di lavoro di adattarsi dinamicamente alle fluttuazioni del traffico mantenendo gli obiettivi di prestazione e riducendo gli sprechi nei cluster.

Estendendosi oltre l’ottimizzazione dei costi

Gli strumenti di ottimizzazione cloud iniziali si concentravano principalmente sulla riduzione della spesa. ScaleOps enfatizza ancora l’efficienza dei costi, con affermazioni di risparmi significativi derivanti dall’eliminazione della sovrapprovisione e delle risorse inattive.

Ma la direzione più ampia sta spostandosi verso l’affidabilità delle prestazioni e la resilienza del sistema.

Man mano che i sistemi AI si integrano più strettamente negli ambienti di produzione, le decisioni sull’infrastruttura influenzano direttamente le prestazioni del modello, la latenza e la disponibilità. L’allocazione errata non è più solo un problema di costo, diventa una limitazione funzionale.

Ciò è particolarmente rilevante per i carichi di lavoro della GPU, dove la domanda spesso supera l’offerta. Un’allocazione efficiente a livello di infrastruttura può determinare se i modelli eseguono in modo efficiente o rimangono inattivi in attesa di risorse.

Un nuovo piano di controllo per l’infrastruttura AI

La implicazione a lungo termine è l’emergere di un nuovo livello di controllo per le risorse di calcolo.

Invece di ingegneri che configurano manualmente l’infrastruttura o si affidano a strumenti frammentati, piattaforme come ScaleOps agiscono come un piano di controllo autonomo che allinea continuamente l’offerta con la domanda.

Ciò diventa sempre più importante man mano che le organizzazioni distribuiscono più sistemi AI contemporaneamente, ognuno con requisiti di prestazione e modelli di utilizzo diversi.

In quel contesto, la gestione dell’infrastruttura inizia ad assomigliare al controllo del traffico più che alla provisione statica. Le risorse vengono instradate, riequilibrate e ottimizzate continuamente piuttosto che assegnate una volta e lasciate invariate.

Con questo ultimo finanziamento, ScaleOps è atteso espandere la sua piattaforma oltre il calcolo e le GPU in aree più ampie della gestione dell’infrastruttura, comprese ulteriori livelli di orchestrazione cloud e AI.

La traiettoria suggerisce una mossa verso ambienti in cui le decisioni sull’infrastruttura non sono più gestite direttamente dagli ingegneri. Invece, sono governate da sistemi che interpretano l’intento del carico di lavoro e regolano le risorse automaticamente. Man mano che i carichi di lavoro AI continuano a scalare, questo spostamento potrebbe diventare meno un’ottimizzazione e più un requisito.

As AI workloads continuano a scalare, questo spostamento potrebbe diventare meno un’ottimizzazione e più un requisito.