Corey Sanders, Senior Vice President Product i CoreWeave – Intervju-serie

Corey Sanders, Senior Vice President Product i CoreWeave (CRWV ), leder produktstrategi og -utførelse for en av de raskest voksende AI-fokuserte skyplattformene. Han er ansvarlig for å skalerer innovasjon, forme løsninger sammen med kunder og styrke CoreWeaves posisjon i AI-infrastrukturmarkedet. Før CoreWeave, tilbrakte Sanders to tiår i Microsoft (MSFT ) i senior ledelsesroller som omfatter skyingeniørarbeid, bransjespesifikke plattformer, kommersiell løsningsstrategi og storstilte bedriftspartnerskap, med dyptgående erfaring i å kombinere teknisk gjennomføring og markedsstrategi.

CoreWeave er en AI-nativ skytjenestebygger spesifikt for høy-ytelsesregning og storstilte kunstig intelligensarbeidsbelastninger. Selskapet opererer en raskt utvidende fotavtrykk av datasteder i USA og Europa, og leverer GPU-akselerert infrastruktur og programvare designet for AI-trening, inferens og avansert beregningsbruk. Ved å fokusere på formål-bygget arkitektur i stedet for generell sky, har CoreWeave blitt en kritisk infrastrukturpartner for AI-laboratorier og bedrifter som søker ytelse, skalerbarhet og effisiens i stor skala.

Du tilbrakte over 20 år i Microsoft og arbeidet med Windows-ingeniørarbeid, sky-salgstrategi og Microsoft Cloud for Industry. Hva lærte denne utviklingen deg om hva som virkelig driver bedriftsadopsjon, og hvordan anvender du disse lærdommene i dag i CoreWeave?

Bedriftsadopsjon starter med å løse et spesifikt kundeproblem. Innovasjon for innovasjons skyld er ikke så viktig for bedrifter. Det handler om å sette seg i deres sko for å forstå hva som virkelig plager dem – enten det er kostnadene for support, operasjonelle kompleksiteter, å knytte seg til kunder eller å håndtere globale team og nye produktlinjer – og deretter levere tjenester som hjelper. De er ofte villige til å være innovative i sin tilnærming, men det viktigste er å hjelpe dem med å løse deres problem. Det vanligste feilen jeg har sett i produktutvikling er å bli for opptatt av produktets “coolness”. Mens det har en viss verdi i forbrukermarkedet, bryr bedriftskunder seg mer om nytten enn coolness.

CoreWeave beskrives ofte som å tilby formål-bygget AI-infrastruktur. Hva betyr dette i praksis fra et produktperspektiv, og hvor sliter generelle skyplattformer med AI-arbeidsbelastninger?

Det største fordelene med å være formål-bygget er evnen til å fokusere og levere tjenester uten å måtte løse for alle generelle bruksområder. Jeg vil gi to eksempler: ett på programvaresiden og ett på maskinvensiden.

På programvaresiden er vår Object Storage-tilbud med LOTA-cache fokusert spesifikt på caching for AI-arbeidsbelastninger. Den deployer direkte på GPU-nodene, leverer en S3-endepunkt for applikasjonen og responderer på GPU-forespørsler ved å spre sin cache over flere noder. Dette øker gjennomstrømmingen til GPU opp til 7 GB/s, langt over hva generelle skytjenester tilbyr. Vi kan oppnå dette fordi vi gjør designantagelser rundt AI-spesifikke arbeidsbelastninger, les/skriv-delinger og cluster-layout. Hvis en kunde bruker dette for å hoste en database eller en e-handelside, ville det ikke ha samme effekt. Dette er definisjonen av formål-bygget programvare.

Eksemplet på maskinvensiden er lignende. Gitt vår omfattende deployering av nyeste generasjons NVIDIA (NVDA ) -SKUer – mange av dem krever væskeavkjøling – har CoreWeave bygget spesifikke ferdigheter og datacentersdesign for å støtte disse behovene. I motsetning til større skytjenester som bygger for fungibilitet og deretter må legge til væskeavkjøling retrospektivt, bygger CoreWeave datasteder fokusert på AI fra bunnen av. Dette resulterer i lavere kostnader og høyere tilgjengelighet for de nyeste SKU-typer.

Under er et bilde av LOTA-cachen nevnt.

Når kunder først tenker på å skalerer AI, tror mange at de bare trenger tilgang til GPUer. Hva innser de vanligvis at de mangler når de først begynner å trene eller betjene modeller i stor skala?

Gitt kompleksiteten ved å kjøre arbeidsbelastninger over store GPU-kluster, blir de omgivende tjenestene de virkelige drivkreftene for suksess. Dette inkluderer de åpenbare, som lagring og nettverk, men også kritiske operasjonelle tjenester som observasjon, orkestrering og sikkerhet. Dette er der CoreWeave virkelig skinner med vårt Mission Control-tilbud. Det gir kundene en dypt forståelse av nodehelse og kjøretid over deres flåte, og integrerer denne kunnskapen direkte i orkestreringsmotoren. Dette tillater kunden å behandle sin infrastruktur ikke som 1 000 enkeltvis GPUer, men som en enkelt, sammenhengende jobbenhet.

Hva er de øverste produktprioritetene du fokuserer på nå for å forbedre kundeutfall, enten det er ytelse, pålitelighet, kostnadsprediktor eller utvikleropplevelse?

I kjernen av plattformen er vi konstant fokusert på ytelse, pålitelighet og observasjon. Vi må sikre at kundene kan kjøre jobber på en gjentakende, forutsigbar måte samtidig som de tar fullt utbytte av hver TFLOP i hver GPU. Ut over dette arbeider vi med å forenkle påmelding for kunder som kanskje ikke er familiære med hver enkelt klokke og fløyte i et verktøy som SLURM (som alle bruker, men nesten alle hater). Til slutt utvikler vi ytterligere tjenester og faktureringsmodeller for å gjøre det enklere å innovere og starte smått. Nå er det overraskende vanskelig å eksperimentere på grunn av høye inngangsbarrierer, som kapasitetsbegrensninger, treårsforpliktelser og behov for spesialiserte eksperter bare for å komme i gang. Vi ønsker å bringe tilbake lettheten av innovasjon til AI-plattformen.

Ettersom flere AI-arbeidsbelastninger skifter fra treningstunge til inferens-tunge, hvordan påvirker denne overgangen infrastrukturdesign og produktveiprioriteter?

Det skaper betydelige muligheter til å anvende CoreWeaves eksisterende differensiering til inferenskrav. For eksempel fokuserer LOTA-cachen jeg nevnte på å mate GPUer under trening; imidlertid kan vi ta samme teknologi, integrere den i ting som KVCache og omdanne den til en kraftfull inferensdifferensierer. Liknende verktøy som Mission Control blir enda mer vitale for inferens, ettersom å observere GPU-helse er avgjørende for å kjøre høyt tilgjengelige agenteapplikasjoner.

Over de neste ett til to årene, hva vil definere lederskap i AI-skytjenestemarkedet, og hvilke evner vil være viktigst for kundene?

Jeg tror lederskap vil bli definert av to ting. Det første er å levere den stadig økende skala kravene for trening. Dette vil kreve fremgang i observasjon, helseovervåking og automatisk gjenopprettelse. Når du flytter fra hundrevis til titusener av GPUer distribuert globalt, er manuell respons på feil ikke mulig.

Det andre er å levere riktige tjenester for inferens og agente-arbeidsbelastninger. Dette krever globale deployeringsmuligheter og forretningsmodeller som oppmuntrer til eksperimentering. Denne bruksmønsteren var det som hjalp skyen til å vokse opprinnelig, og det har vært noe tapt i AI-alderen. Vi må bringe det tilbake gjennom bedre plattformstøtte, multi-sky- og multi-region lett bruk.

Du ledet tidligere bransjespesifikke skyinitiativer over helse, detaljhandel, finansielle tjenester, produksjon og suverene sky. Hvilke lærdommer fra disse vertikale overfører seg direkte til AI-infrastruktur, og hvilke gjør det ikke?

Generasjonskifter i GPUer introduserer stadig nye kompleksiteter. Hver ny utgave bringer økt interkonnektivitet, høyere minne og større kraftbehov, alle som krever at vi gjennomgår våre antagelser om hvordan noder er koblet sammen og hvordan programvaren leveres. Vi må forbli ubøydige her for å opprettholde vårt lederskap. På den andre siden er området som forbedres raskest skalaen av hva kundene kan oppnå; hastigheten ved hvilken de tilpasser seg større beregningsfotavtrykk er imponerende.

Ettersom AI-datasteder og -kluster fortsetter å skalerer, hva er de operasjonelle utfordringene som viser seg å være hardest å løse i dag, og hvilke er det som forbedres raskest?

Generasjonskiftene i GPUene fortsetter å skape nye kompleksiteter i design og programvare. Hver ny GPU-utgave kommer med økt interkonnektivitet, høyere minne og større kraftbehov, som krever at vi gjennomgår våre antagelser om hvordan nodene kobles sammen, hvordan rackene håndteres og hvordan programvaren leveres. Vi må fortsette å fokusere på dette arbeidet for å sikre at vi opprettholder vårt lederskapsposisjon. De som forbedres raskest er hva kundene kan oppnå med den voksende skalaen av beregning.

I AI-infrastruktur, går pålitelighet utover oppetid. Hvordan definerer CoreWeave pålitelighet, og hvilke indikatorer reflekterer best suksess fra kundens perspektiv?

I stor skala er den største overvegelsen for en kunde å få jobben gjort. I massive operasjoner er enkeltfeil eller nedetid forventet. Nøkkelen er hvordan vi oppdager og responderer automatisk på disse problemene for å sikre at jobben fullføres til tross for utfordringene. Dette er hvorfor vi integrerer Mission Control i høyere nivåtjenester som SUNK (Slurm på Kubernetes). Det tillater kundene å responderer på feil automatisk uten å tape timer eller uker med arbeid. For oss er suksess ikke bare om node-oppetid; det handler om jobbsuksess.

Ettersom vi ser fremover, hva er den største skiftet i AI-infrastruktur som du mener fortsatt er underverdiert, enten det er relatert til maskinutvikling, spesialisering av staker, suverenitetskrav eller nye deployeringsmodeller?

Jeg tror at fremkomsten av Forsterkingslæring (RL) som en fornyende del av AI-staken er fortsatt underverdiert. Mens det ikke er et nytt studiefelt, ble det i stor grad overskygget under den innledende bølgen av LLM-utvikling. RL kommer tilbake og vil spille en viktig rolle i å gjøre AI-tjenestene mer responsive til de endrede landskapene til deres brukere. Fordi av dette er vi svært glade for det serverløse RL-tilbudet vi har i dag.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke CoreWeave.