Christian Stano, Field CTO på Anyscale – Intervjuserie

Christian Stano, Field CTO på Anyscale, har byggt en karriär vid skärningspunkten mellan storskalig AI-infrastruktur, maskinlärningsplattformar och distribuerad datorkapacitet. Innan han gick med i Anyscale ledde han AI/ML-plattformsorganisationen på Attentive, där han skalförde infrastruktur som stödde personalisering för mer än en halv miljard abonnenter och hjälpte till att driva adoptionen av Ray-baserade enhetliga beräkningsystem som förbättrade utvecklingshastigheten samtidigt som de minskade driftskostnaderna. Tidigare i sin karriär arbetade han med cybersäkerhet, molnarkitektur och offentliga AI-initiativ på företag som Coalfire och Deloitte, där han bidrog till en av USA:s försvarsdepartements första maskinlärningsplattformar. Hans bakgrund spänner över AI-plattformsingenjörskap, MLOps, molnbaserad infrastruktur, utvecklaraktivering och organisationsutveckling, vilket ger honom djup erfarenhet av att hjälpa företag att operationalisera AI i produktionsskala.

Anyscale är företaget bakom Ray, det öppna distribuerade beräkningsramverket som används för att skala AI- och Python-arbetsbelastningar över kluster av CPU:er och GPU:er. Grundat av de ursprungliga skaparna av Ray från UC Berkeley’s RISELab, fokuserar företaget på att förenkla distributionen, orkestreringen och hanteringen av storskalig AI-infrastruktur för utbildning, inferens, datahantering och agenterbaserad AI-arbetsbelastning. Dess plattform möjliggör för organisationer att köra distribuerade AI-system över moln- och lokala miljöer samtidigt som den tillhandahåller övervaknings-, styrnings- och prestandaoptimeringar som är utformade för moderna AI-applikationer. Ray har blivit en kärnkomponent i den framväxande AI-infrastrukturstacken, vilket hjälper utvecklare att skala arbetsbelastningar från en enda maskin till tusentals noder med minimala ändringar av befintlig Python-kod.

Du har arbetat med allt från cybersäkerhet till offentliga ML-plattformar och hyperskala-personaliseringssystem. Vilka mönster har du sett när organisationer försöker gå från AI-piloter till produktion?

Inom branschen visas tre mönster regelbundet. Först har teamen ingen pålitlig väg från utveckling till produktion. De kan bygga en modell i en anteckningsbok, men det finns ingen standardiserad metod för att få den att fungera i produktion. Varje distribution blir en engångsföreteelse, och varje fel är en överraskning. Andra, infrastrukturen kan inte skala med behoven. Systemet som fungerade i en pilot kollapsar när du matar det med riktiga datavolymer eller riktigt trafik. Tredje, teamen flyger blint. De saknar övervakningsförmågan att veta hur deras system faktiskt fungerar, var de kommer att bryta och när de ska ingripa.

Vad som förenar alla tre är samma grundläggande utmaning — teamen har inte en sund mental modell för skalning. De försöker lösa allt på en gång i stället för att vara medvetna om sekvensen. Jag tänker på det som tre faser: få det att fungera, få det rätt, få det snabbt. Dessa är inte en gångs milestolpar — dessa faser är iterativa. Du prioriterar ständigt mellan vad som är trasigt just nu och vad som kommer att bryta nästa. Teamen som lyckas vet vilken fas de är i och håller sig disciplinerade om att inte hoppa framåt innan grunden är solid.

På Anyscale ser vi team komma in på varje stadium. Vissa försöker fortfarande få det att fungera — de behöver en pålitlig väg från utveckling till produktion. Andra har det, men drunknar i operativ komplexitet och behöver få det rätt. Och många kommer till oss för att de har byggt något som fungerar, men kan inte skala det till den nivå som affären kräver. Ett enhetligt beräkningslager hjälper på varje stadium, men ingångspunkten beror på var smärtan är skarpast.

På Attentive hjälpte du till att skala AI-system som stödde hundratals miljoner användare. Vilka var de största arkitektoniska eller organisatoriska flaskhalsarna du hade att övervinna för att nå den nivån av skalbarhet?

Den största flaskhalsen var S-kurvan av infrastrukturkomplexitet. När vi tryckte på våra modeller för att inkorporera mer data och betjäna fler kunder, nådde vi en beräkningsinflektionspunkt där till och med de största vertikalt skalade noderna kastade ut-minnesfel, och naiv horisontell skalning fungerade inte heller. Vår beräkning kunde inte hålla jämna steg med dataskalans omfattning.

Det naturliga svaret var att lägga till fler verktyg för att arbeta runt begränsningarna. Detta var min interna handbok från tidigare erfarenhet. Varje verktyg löste ett smalt problem, men lade till operativ komplexitet. Vår ML-pipeline stod inför att bli en patchwork av integreringar, och varje nytt användningsfall innebar mer syning, fler felmoder, högre kostnader och mer överhuvud för plattformsteamet.

Vad som slutligen låste upp skalbarheten för oss var att förena datahantering, utbildning, inferens och servering på Ray och Anyscale. Effekten var omedelbar: med dramatiskt lägre infrastrukturkostnader, betydligt snabbare utbildningscykler även när datavolymer växte, och möjligheten att skala modeller till flera beställningar av fler kunder.

Vad motiverade ditt beslut att gå med i Anyscale på detta stadium, och hur ser du på rollen som Field CTO för att forma företags AI-antagande?

Min erfarenhet av att ta in Anyscale i Attentive förändrade grundläggande min handbok för att bygga ML-plattformar. Innan dess var en betydande del av plattformsingenjörskapet kostnaden för att sy ihop fragmenterade system. Med Anyscale kunde vi eliminera mycket av den överhuvudet och i stället fokusera på utvecklarupplevelse, tillförlitlighet och prestanda. Den skiftet hade en enorm inverkan på både teamproduktivitet och systemutfall. Att gå med i Anyscale var en möjlighet att arbeta på det problemet på heltid och hjälpa andra organisationer att navigera samma övergång. Som Field CTO är min roll verkligen att ta dessa riktiga världsläxor och förvandla dem till upprepningsbara mönster som våra kunder kan tillämpa när de skalför AI.

Många företag är fortfarande fast i “pilotfasen” av AI. Från din synvinkel, vad bryter specifikt när företag försöker skala dessa tidiga experiment till produktionssystem?

När företag flyttar från AI-experiment till produktion, vad som bryter är sällan bara modellen — det är det omgivande systemet och operationerna. I vissa fall träffar teamen infrastrukturgränser tidigt och kan inte utbilda eller betjäna i den skala de vill. De måste begränsa antalet kunder eller användningsfall som deras modell betjänar som ett resultat. Mer ofta uppstår problem i produktion genom oväntade kanter eller förändringar i data. En av de vanligaste felpunkterna är minne: när datamängd, fördelning eller modalitet skiftar, kör jobben utom minne och misslyckas. Dessa problem är svåra att förutse och ännu svårare att återhämta sig från automatiskt. Verkligheten är att fel är oundvikliga i produktion AI. Målet är inte att undvika det helt, utan att upptäcka det snabbt, förstå det och bygga självläkande system för att lösa det innan det påverkar affären.

Ray, det distribuerade beräkningsramverket som skapades av teamet bakom Anyscale, får alltmer uppmärksamhet som en grund för AI-arbetsbelastningar. Varför blir distribuerad körning en så kritisk lager i modern AI-infrastruktur?

Distribuerad körning och arbetsbelastningshantering har blivit en given för AI-pipelines. Moderna AI-arbetsbelastningar är inneboende parallella och resurskrävande. Utbildning, inferens och datahantering kräver alla samordning av stora mängder uppgifter över CPU:er och GPU:er, ofta dynamiskt. I dagens beräkningslandskap är komplexiteten i att hantera dessa arbetsbelastningar över knappa resurser en enorm operativ börda. Traditionella system var inte utformade för denna nivå av komplexitet eller skala. Ramverk som Ray är kritiska eftersom de tillåter team att skala arbetsbelastningar sömlöst från en enda maskin till tusentals noder genom att automatisera den underliggande samordningen. Denna skiftning återspeglar en bredare rörelse mot AI-nativ datorkapacitet, där infrastruktur är utformad specifikt för AI-arbetsbelastningsmönster snarare än anpassad från äldre paradigm.

När fler företag antar Ray genom Anyscale-plattformen, vilka skillnader ser du mellan organisationer som standardiserar på en enhetlig metod jämfört med de som syr ihop fragmenterad verktygsutrustning?

Skillnaden mellan enhetliga plattformar och fragmenterad verktygsutrustning kommer slutligen ner till fokus och effektivitet. När teamen förlitar sig på flera frånkopplade system, tillbringar de en betydande mängd tid med att sy ihop dessa system, hantera inkonsekvenser och svara på fel över olika miljöer. Detta skapar operativ överhuvud och bromsar ner experiment. I kontrast tillåter en enhetlig metod team att koncentrera sina ansträngningar på att förbättra ett enda system, vilket leder till bättre tillförlitlighet, starkare prestanda och en mer strömlinjeformad utvecklarupplevelse. Det förenklar också på-kalle- och felsökningsprocesser eftersom mönster är konsekventa och lättare att förstå. Resultatet är inte bara teknisk effektivitet, utan organisatorisk tydlighet.

Baserat på din erfarenhet av att bygga änd-till-ända ML-plattformar, hur viktig är utvecklarupplevelse (DevEx) för att påskynda AI-antagande över team?

Utvecklarupplevelse är ett av de högsta hävstängsarna för att påskynda AI-antagande. När plattformsteam investerar i att göra systemen lättare att använda genom standardiserade arbetsflöden, mallar och minskad infrastrukturfriction, förstärker de produktiviteten hos varje ingenjör i organisationen. Detta är särskilt viktigt i AI, där förändringstakten är extremt snabb och teamen behöver iterera snabbt för att hålla jämna steg. Förbättringar av utvecklarupplevelse översätter direkt till snabbare experiment, snabbare tid till produktion och slutligen mer affärspåverkan. AI-kodningsverktyg förstärker dessa DevEx-grundläggande principer. På många sätt är det den mest skalbara metoden för att öka hastigheten över en organisation.

Kostnadseffektivitet blir alltmer en stor oro när AI-arbetsbelastningar skalför. Vilka är några av de mest förbisedda sätten företag kan minska infrastrukturkostnader utan att offra prestanda?

När AI-arbetsbelastningar skalför, blir kostnadshantering både viktigare och mer komplex. En av de mest förbisedda utmaningarna är hur snabbt kostnader kan spirala på grund av ineffektiviteter, särskilt med GPU-baserad infrastruktur. Stora kluster kan starta tusentals noder, och om resurserna inte hanteras eller stängs av ordentligt, ackumuleras kostnaderna snabbt. Detta skapar en form av AI-specifik spridning, där beräkningsanvändning växer snabbare än team kan spåra eller kontrollera. Att hantera detta kräver en kombination av stark styrning, synlighet och automatisering, såsom autoskalning, autoavslutning och central resurshantering. I skala är kostnadseffektivitet inte bara en operativ oro, utan en grundläggande del av systemdesign.

Du har arbetat med allt från funktionsbutiker till realtidsinferencesystem. Hur tror du att balansen mellan batch- och realtids AI-arbetsbelastningar utvecklas?

Balansen mellan batch- och realtids AI-arbetsbelastningar har inte förändrats i grunden — den förblir en fråga om affärsbehov. Batchbearbetning är vanligtvis mer kostnadseffektiv och enklare att driva, vilket gör den lämplig för många användningsfall. Realtidssystem är däremot avgörande när latens direkt påverkar användarupplevelsen eller affärsutfallet, såsom i chattapplikationer eller bedrägeridetektering. Båda metoderna kommer att fortsätta att coexistera, och nyckeln för organisationer är att bygga plattformar som kan stödja båda effektivt. Beslutet slutligen beror på avvägningar mellan kostnad, latens och tillförlitlighet.

Om vi ser framåt, vad ser en “mogen” företags AI-plattform ut som på 2–3 år — och hur passar verktyg som Ray och plattformar som Anyscale in i den framtiden?

Under de närmaste åren kommer mogna företags AI-plattformar att definieras av ett fåtal nyckelkaraktärsdrag. De kommer att förlita sig på enhetlig infrastruktur som stöder hela AI-livscykeln, från datahantering till utbildning till inferens, snarare än en samling frånkopplade verktyg. De kommer att ha starka dag 2-operationer, med agentbaserad övervakning, tillförlitlighet och snabb felsökning. Kostnadshantering kommer att vara förutsägbar och styrd, vilket tillåter organisationer att skala hållbart. Och kanske viktigast, de kommer att möjliggöra hög utvecklarhastighet, vilket gör det enkelt för team att gå från idé till produktion snabbt. Plattformar som Ray och Anyscale spelar en central roll i den framtiden genom att tillhandahålla den AI-nativa grunden som gör den nivån av skala och effektivitet möjlig.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Anyscale.