Corey Sanders, Vice Presidente Esecutivo Product presso CoreWeave – Intervista

Corey Sanders, Vice Presidente Esecutivo Product presso CoreWeave (CRWV ), guida la strategia e l’esecuzione del prodotto per una delle piattaforme cloud più veloci e focalizzate sull’AI. È responsabile della scalabilità dell’innovazione, della creazione di soluzioni personalizzate con i clienti e del rafforzamento della posizione di CoreWeave nel mercato dell’infrastruttura AI. Prima di unirsi a CoreWeave, Sanders ha trascorso due decenni in ruoli di leadership senior presso Microsoft (MSFT ), coprendo ingegneria cloud, piattaforme specifiche per settore, strategia di soluzione commerciale e partnership aziendali su larga scala, con una profonda esperienza nel collegamento tra esecuzione tecnica e strategia di mercato.

CoreWeave è un fornitore di servizi cloud nativi per l’AI, costruito specificamente per il calcolo ad alte prestazioni e per carichi di lavoro di intelligenza artificiale su larga scala. La società opera una rete di data center in rapida espansione negli Stati Uniti e in Europa, offrendo infrastrutture e software accelerati da GPU progettati per l’addestramento AI, l’inferenza e utilizzi avanzati del calcolo. Concentrandosi su un’architettura progettata appositamente piuttosto che su un cloud generico, CoreWeave è diventata un partner fondamentale per i laboratori di intelligenza artificiale e le imprese che cercano prestazioni, scalabilità ed efficienza su larga scala.

Ha trascorso più di 20 anni lavorando presso Microsoft, coprendo ingegneria di Windows, strategia di vendita cloud e Microsoft Cloud per settori specifici. Cosa ha imparato da questo percorso sull’adozione aziendale e come sta applicando queste lezioni oggi presso CoreWeave?

L’adozione aziendale inizia con la risoluzione di un problema specifico del cliente. L’innovazione fine a se stessa non è poi così cruciale per le aziende. È questione di mettersi nei loro panni per capire cosa li affligge veramente – se si tratta del costo del supporto, delle complessità operative, del collegamento con i clienti o della gestione di team globali e nuove linee di prodotti – e poi fornire servizi che aiutino. Spesso sono disposti ad essere innovativi nel loro approccio, ma la considerazione più cruciale è aiutarli a risolvere il loro problema. L’errore più frequente che ho visto nella progettazione del prodotto è quello di essere troppo coinvolti nella “coolness” del prodotto. Sebbene questo abbia peso nello spazio consumer, i clienti aziendali, alla fine, si preoccupano molto più dell’utilità che della “coolness”.

CoreWeave è spesso descritta come un’offerta di infrastruttura AI progettata appositamente. In termini pratici, cosa significa essere progettata appositamente dal punto di vista del prodotto e dove le piattaforme cloud generiche lottano con i carichi di lavoro AI?

Il maggior vantaggio di essere progettata appositamente è la capacità di concentrarsi e fornire servizi senza dover risolvere ogni caso d’uso generico. Posso fornire due esempi: uno nel software e uno nel hardware.

Sul lato software, la nostra offerta di Object Storage con LOTA cache è focalizzata specificamente sulla memorizzazione nella cache per carichi di lavoro AI. Si distribuisce direttamente sui nodi GPU, fornisce un endpoint S3 per l’applicazione e risponde alle richieste GPU estendendo la sua cache su più nodi. Ciò aumenta il throughput verso la GPU fino a 7 GB/s, superando di gran lunga ciò che offrono le piattaforme cloud generiche. Possiamo raggiungere questo perché facciamo assunzioni di progettazione attorno a carichi di lavoro AI specifici, split di lettura/scrittura e layout del cluster. Se un cliente utilizzasse questo per ospitare un database o un sito di e-commerce, non avrebbe lo stesso impatto. Questa è la definizione di software progettato appositamente.

L’esempio hardware è simile. Data la nostra ampia distribuzione di SKU NVIDIA (NVDA ) di ultima generazione – molti dei quali richiedono raffreddamento a liquido – CoreWeave ha costruito una specifica competenza e progettazione di data center per supportare tali esigenze. A differenza delle piattaforme cloud più grandi che costruiscono per la fungibilità e poi devono aggiungere retroattivamente il raffreddamento a liquido, CoreWeave costruisce data center progettati per l’AI fin dall’inizio. Ciò si traduce in costi inferiori e maggiore disponibilità per i tipi di SKU più recenti.

Di seguito è riportata un’immagine della cache LOTA menzionata.

Quando i clienti iniziano a pensare alla scalabilità dell’AI, molti credono di aver bisogno solo di accesso alle GPU. Cosa si rendono conto di stare mancando una volta iniziato l’addestramento o la messa in servizio di modelli su larga scala?

Data la complessità di eseguire carichi di lavoro su enormi cluster di GPU, i servizi circostanti diventano i veri driver del successo. Ciò include quelli ovvi, come archiviazione e rete, ma anche servizi operativi critici come osservabilità, orchestrazione e sicurezza. È qui che CoreWeave eccelle veramente con la nostra offerta Mission Control. Fornisce ai clienti una profonda consapevolezza della salute dei nodi e del runtime su tutta la flotta, integrando quella conoscenza direttamente nel motore di orchestrazione. Ciò consente al cliente di trattare la propria infrastruttura non come 1.000 GPU individuali, ma come un’unica entità di lavoro coesa.

Quali sono le principali priorità di prodotto su cui si sta concentrando attualmente per migliorare i risultati dei clienti, che sia in termini di prestazioni, affidabilità, prevedibilità dei costi o esperienza dello sviluppatore?

Nella piattaforma core, siamo costantemente concentrati sulle prestazioni, sull’affidabilità e sull’osservabilità. Dobbiamo assicurarci che i clienti possano eseguire lavori in modo ripetibile e prevedibile, sfruttando appieno ogni TFLOP in ogni GPU. Oltre a ciò, stiamo lavorando per semplificare l’onboarding per i clienti che potrebbero non essere familiari con ogni campanello e ogni fischio in uno strumento come SLURM (che tutti usano, ma quasi tutti odiano). Infine, stiamo sviluppando servizi e modelli di fatturazione aggiuntivi per rendere più facile innovare e iniziare con piccoli progetti. Attualmente, sperimentare è sorprendentemente difficile a causa delle alte barriere all’ingresso, come vincoli di capacità, impegni triennali e la necessità di esperti specializzati solo per iniziare. Vogliamo riportare la facilità di innovazione sulla piattaforma AI.

Man mano che i carichi di lavoro AI si spostano da addestramento intensivo a inferenza intensiva, come questo passaggio influenza le decisioni di progettazione dell’infrastruttura e del roadmap del prodotto?

Crea significative opportunità di applicare la differenziazione esistente di CoreWeave alle esigenze di inferenza. Ad esempio, la cache LOTA che ho menzionato si concentra sull’alimentazione delle GPU durante l’addestramento; tuttavia, possiamo prendere quella stessa tecnologia, integrarla in cose come il KVCache e trasformarla in un potente differenziatore per l’inferenza. Allo stesso modo, strumenti come Mission Control diventano ancora più vitali per l’inferenza, poiché osservare la salute della GPU è cruciale per eseguire applicazioni agentiche ad alta disponibilità.

Nel prossimo anno o due, cosa definirà la leadership nel mercato cloud AI e quali capacità saranno più importanti per i clienti?

Credo che la leadership sarà definita da due cose. La prima è la consegna delle sempre crescenti esigenze di scalabilità per l’addestramento. Ciò richiederà progressi nell’osservabilità, nel monitoraggio della salute e nel recupero automatico. Quando si passa da centinaia a decine di migliaia di GPU distribuite a livello globale, la risposta manuale ai guasti non è più sostenibile.

La seconda è la consegna dei servizi giusti per l’inferenza e i carichi di lavoro agentic. Ciò richiede capacità di distribuzione globale e modelli di business che incoraggiano l’esperimentazione. Questo modello di utilizzo è stato ciò che ha aiutato la crescita del cloud inizialmente e in qualche modo è stato perso nell’era dell’AI. Dobbiamo riportarlo attraverso un miglior supporto di piattaforma, capacità multi-cloud e facilità di utilizzo multi-regione.

Ha guidato iniziative cloud specifiche per settore attraverso sanità, retail, servizi finanziari, produzione e cloud sovrano. Quali lezioni da questi settori verticali si traducono direttamente nell’infrastruttura AI e quali no?

I passaggi generazionali delle GPU continuano a introdurre nuove complessità. Ogni nuovo rilascio porta con sé una maggiore interconnessione, una maggiore memoria e una maggiore necessità di potenza, tutte cose che richiedono di rivedere le nostre ipotesi su come i nodi sono collegati e come il software viene consegnato. Dobbiamo rimanere implacabili in questo. Dall’altro lato, l’area che migliora più rapidamente è la scala di ciò che i clienti possono realizzare; la velocità con cui stanno adattandosi a un’impronta computazionale più grande è impressionante.

Man mano che i data center e i cluster AI continuano a scalare, quali sfide operative stanno dimostrando di essere le più difficili da risolvere attualmente e quali stanno migliorando più rapidamente?

I passaggi generazionali delle GPU continuano a creare nuove complessità nella progettazione e nel software. Ogni nuovo rilascio di GPU porta con sé una maggiore interconnessione, una maggiore memoria e una maggiore necessità di potenza, tutte cose che richiedono di rivedere le nostre ipotesi su come i nodi sono collegati, come i rack vengono gestiti e come il software viene consegnato. Dovremo continuare a concentrarci su questo lavoro per assicurarci di mantenere la nostra posizione di leadership. Quelle che migliorano più rapidamente sono ciò che i clienti possono realizzare con la crescente scala del calcolo.

Nell’infrastruttura AI, l’affidabilità va oltre il tempo di attività. Come CoreWeave definisce l’affidabilità e quali indicatori riflettono meglio il successo dal punto di vista del cliente?

In scala, la considerazione più grande per un cliente è semplicemente ottenere il lavoro fatto. In operazioni massive, fallimenti o rallentamenti individuali sono previsti. La chiave è come rileviamo e rispondiamo automaticamente a quei problemi per assicurarci che il lavoro venga completato nonostante le sfide. È per questo che integriamo Mission Control in servizi di livello superiore come SUNK (Slurm su Kubernetes). Ciò consente ai clienti di rispondere ai fallimenti in modo automatico senza perdere ore o settimane di lavoro. Per noi, il successo non è solo il tempo di attività del nodo; è il successo del lavoro.

Guardando avanti, quale grande cambiamento nell’infrastruttura AI ritiene sia ancora sottovalutato, sia esso legato all’evoluzione dell’hardware, alla specializzazione degli stack, ai requisiti di sovranità o a nuovi modelli di distribuzione?

Credo che l’avvento dell’apprendimento per rinforzo (RL) come parte rinnovata dello stack AI sia ancora sottovalutato. Sebbene non sia un nuovo campo di studio, è stato in gran parte oscurato durante la prima ondata di sviluppo di LLM. L’apprendimento per rinforzo sta tornando e giocherà un ruolo vitale nel rendere i servizi AI più rispondenti ai paesaggi in continua evoluzione dei loro utenti. Per questo, siamo molto entusiasti dell’offerta di apprendimento per rinforzo serverless che abbiamo oggi.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare CoreWeave.