Christian Stano, Field CTO hos Anyscale – interviewserie

Christian Stano, Field CTO hos Anyscale, har opbygget en karriere i krydsfeltet mellem AI-infrastruktur i stor skala, maskinlæringsplatforme og distribueret databehandling. Før han kom til Anyscale, ledede han AI/ML-platformorganisationen hos Attentive. Her skalerede han infrastruktur, der understøttede personalisering for mere end en halv milliard abonnenter, og fremmede indførelsen af Ray-baserede, fælles beregningssystemer, som øgede udviklingshastigheden og sænkede driftsomkostningerne. Tidligere arbejdede han med cybersikkerhed, cloudarkitektur og AI-initiativer i den offentlige sektor hos blandt andre Coalfire og Deloitte, hvor han bidrog til en af det amerikanske forsvarsministeriums første maskinlæringsplatforme. Hans erfaring omfatter udvikling af AI-platforme, MLOps, cloud-native infrastruktur, støtte til udviklere og skalering af organisationer. Det har givet ham indgående erfaring med at hjælpe virksomheder med at sætte AI i produktion i stor skala.

Anyscale er virksomheden bag Ray, et framework til distribueret databehandling med åben kildekode, som i vid udstrækning bruges til at skalere AI- og Python-arbejdsbelastninger på tværs af klynger af CPU’er og GPU’er. Virksomheden blev grundlagt af Rays oprindelige udviklere fra RISELab ved UC Berkeley. Den fokuserer på at forenkle udrulning, orkestrering og administration af stor AI-infrastruktur til træning, inferens, databehandling og AI-agenters arbejdsbelastninger. Platformen giver organisationer mulighed for at køre distribuerede AI-systemer både i cloudmiljøer og lokalt med observerbarhed, styring og ydelsesoptimering til moderne AI-applikationer. Ray er blevet et centralt lag i den fremvoksende AI-infrastruktur. Det hjælper udviklere med at skalere arbejdsbelastninger fra en enkelt maskine til tusindvis af noder med minimale ændringer i eksisterende Python-kode.

Du har arbejdet med cybersikkerhed, maskinlæringsplatforme i den offentlige sektor og personaliseringssystemer i meget stor skala. Hvilke mønstre har du gennemgående set, når organisationer forsøger at gå fra AI-piloter til produktion?

Tre mønstre går igen på tværs af brancher. For det første mangler teamene en pålidelig, veletableret vej fra udvikling til produktion. De kan bygge en model i et notebook-miljø, men har ingen standardiseret metode til at få den i produktion. Hver udrulning bliver en særskilt løsning, og hver fejl er en overraskelse. For det andet kan infrastrukturen ikke skalere med behovet. Det system, der fungerede i piloten, bryder sammen, når det får virkelige datamængder eller virkelig trafik. For det tredje mangler teamene indsigt. De har ikke den observerbarhed, der skal til for at vide, hvordan systemerne faktisk klarer sig, hvor de er ved at svigte, og hvornår de skal gribe ind.

Alle tre hænger sammen med samme grundlæggende udfordring: Teamene har ikke en solid forståelse af, hvordan de skal skalere ud over flere maskiner. De prøver at løse alt på én gang i stedet for at planlægge rækkefølgen bevidst. Jeg tænker på det som tre faser: Få det til at virke, få det til at fungere ordentligt, og gør det hurtigt. Det er ikke milepæle, der passeres én gang, men faser, der gentages. Man prioriterer løbende mellem det, der er gået i stykker nu, og det, der vil svigte næste gang. De succesfulde teams ved, hvilken fase de er i, og går ikke videre, før fundamentet er solidt.

Hos Anyscale kommer teams til os i alle faser. Nogle prøver stadig at få systemet til at virke og har brug for en pålidelig vej fra udvikling til produktion. Andre har den på plads, men drukner i driftsmæssig kompleksitet og må få orden på systemet. Mange har bygget noget, der fungerer, men kan ikke skalere det til det niveau, forretningen kræver. Et fælles beregningslag hjælper i hver fase, men begyndelsespunktet afhænger af, hvilket problem der er mest presserende.

Hos Attentive hjalp du med at skalere AI-systemer, der understøttede hundredvis af millioner af brugere. Hvad var de største arkitektoniske eller organisatoriske flaskehalse, du måtte overvinde for at nå den skala?

Den største flaskehals var infrastrukturkompleksitetens S-kurve. Da vores modeller skulle inddrage flere data og betjene flere kunder, nåede vi et vendepunkt i beregningskapaciteten. Selv de største vertikalt skalerede noder gav fejl på grund af hukommelsesmangel, og simpel horisontal skalering var heller ikke tilstrækkelig. Beregningskapaciteten kunne ikke følge med datamængderne.

Den naturlige reaktion var at tilføje flere værktøjer for at omgå begrænsningerne. Det var min sædvanlige fremgangsmåde fra tidligere erfaringer. Hvert værktøj løste et afgrænset problem, men øgede den driftsmæssige kompleksitet. Vores ML-pipeline var i fare for at blive et kludetæppe af integrationer. Hver ny anvendelse betød mere sammenkobling, flere mulige fejl, højere omkostninger og mere arbejde for platformteamet.

Det, der til sidst gjorde skalering mulig, var at samle databehandling, træning, inferens og tilgængeliggørelse af modeller på Ray og Anyscale. Virkningen var øjeblikkelig: markant lavere infrastrukturomkostninger, betydeligt hurtigere træningscyklusser, selv når datamængderne voksede, og mulighed for at lade modellerne betjene kundegrupper, der var flere størrelsesordener større.

Hvad motiverede dig til at blive en del af Anyscale på dette tidspunkt, og hvordan ser du rollen som Field CTO påvirke virksomheders indførelse af AI?

Min erfaring med at indføre Anyscale hos Attentive ændrede grundlæggende min tilgang til at bygge ML-platforme. Tidligere gik en betydelig del af arbejdet og omkostningerne ved platformudvikling til at forbinde adskilte systemer. Med Anyscale kunne vi fjerne meget af dette ekstraarbejde og i stedet fokusere på udvikleroplevelse, pålidelighed og ydelse. Skiftet havde stor betydning for både teamets produktivitet og systemets resultater. At komme til Anyscale gav mulighed for at arbejde med problemet på fuld tid og hjælpe andre organisationer gennem den samme omstilling. Som Field CTO er min rolle at omsætte disse praktiske erfaringer til gentagelige fremgangsmåder, som vores kunder kan bruge, når de skalerer AI.

Mange virksomheder sidder stadig fast i AI’s pilotfase. Hvad er det konkret, der svigter, når de prøver at skalere de tidlige eksperimenter til produktionssystemer?

Når virksomheder går fra AI-eksperimenter til produktion, er det sjældent kun modellen, der svigter. Det er systemerne og driften omkring den. I nogle tilfælde rammer teamene infrastrukturens grænser tidligt og kan ikke træne eller tilgængeliggøre modeller i den ønskede skala. Derfor må de begrænse antallet af kunder eller anvendelser, som modellen understøtter. Oftere opstår problemerne i produktion på grund af uventede særtilfælde eller ændringer i data. Hukommelse er et af de hyppigste problemer: Når dataenes størrelse, fordeling eller type ændres, løber jobbene tør for hukommelse og fejler. Disse problemer er svære at forudse og endnu sværere at komme sig over automatisk. Fejl er uundgåelige i AI-systemer i produktion. Målet er ikke at undgå dem fuldstændigt, men at opdage og forstå dem hurtigt og bygge selvreparerende systemer, der løser dem, før de påvirker forretningen.

Ray, det distribuerede beregningsframework skabt af teamet bag Anyscale, vinder frem som fundament for AI-arbejdsbelastninger. Hvorfor er distribueret udførelse blevet så vigtigt et lag i moderne AI-infrastruktur?

Distribueret udførelse og styring af arbejdsbelastninger er blevet grundkrav til AI-pipelines. Moderne AI-arbejdsbelastninger er parallelle af natur og kræver mange ressourcer. Træning, inferens og databehandling kræver alle koordinering af mange opgaver på tværs af CPU’er og GPU’er, ofte dynamisk. I nutidens beregningsmiljø giver håndteringen af disse arbejdsbelastninger på knappe ressourcer en enorm driftsbyrde. Traditionelle systemer blev ikke designet til denne kompleksitet eller skala. Frameworks som Ray er afgørende, fordi de automatiserer den underliggende koordinering og lader teams skalere arbejdsbelastninger problemfrit fra en enkelt maskine til tusindvis af noder. Det afspejler en bredere bevægelse mod beregning skabt til AI. Infrastrukturen designes specifikt til AI-arbejdsbelastningernes mønstre frem for at blive tilpasset fra ældre paradigmer.

Når flere virksomheder tager Ray i brug via Anyscales platform, hvilke forskelle ser du mellem organisationer, der standardiserer på en samlet tilgang, og dem, der kobler adskilte værktøjer sammen?

Forskellen handler i sidste ende om fokus og effektivitet. Når teams er afhængige af flere adskilte systemer, bruger de meget tid på at forbinde dem, håndtere uoverensstemmelser og reagere på fejl i forskellige miljøer. Det øger driftsarbejdet og forsinker eksperimenter. En samlet tilgang lader derimod teamene koncentrere sig om at forbedre ét system. Det giver bedre pålidelighed, stærkere ydelse og en mere strømlinet udvikleroplevelse. Også vagtordninger og fejlfinding bliver enklere, fordi mønstrene er ensartede og lettere at forstå. Resultatet er ikke kun teknisk effektivitet, men også organisatorisk klarhed.

Hvor vigtig er udvikleroplevelsen (DevEx) for at accelerere indførelsen af AI på tværs af teams, når du ser på dine erfaringer med at bygge komplette ML-platforme?

Udvikleroplevelsen er et af de områder, hvor man kan opnå størst effekt på indførelsen af AI. Når platformteams gør systemer lettere at bruge gennem standardiserede arbejdsgange, skabeloner og færre forhindringer i infrastrukturen, øger de hver ingeniørs produktivitet i hele organisationen. Det er særligt vigtigt inden for AI, hvor forandringer sker ekstremt hurtigt, og teams må udvikle og forbedre løsninger hurtigt for at forblive konkurrencedygtige. Bedre udvikleroplevelse fører direkte til hurtigere eksperimenter, kortere tid til produktion og i sidste ende større forretningsmæssig effekt. AI-baserede programmeringsværktøjer forstærker disse grundlæggende DevEx-principper. På mange måder er det den mest skalerbare metode til at øge tempoet i hele organisationen.

Omkostningseffektivitet bliver en stor bekymring, når AI-arbejdsbelastninger vokser. Hvilke ofte oversete metoder kan virksomheder bruge til at reducere infrastrukturomkostninger uden at ofre ydelse?

Når AI-arbejdsbelastninger vokser, bliver omkostningsstyring både vigtigere og mere kompleks. En af de mest oversete udfordringer er, hvor hurtigt omkostningerne kan løbe løbsk på grund af ineffektivitet, især med GPU-baseret infrastruktur. Store klynger kan starte tusindvis af noder. Hvis ressourcerne ikke styres eller lukkes korrekt ned, vokser omkostningerne hurtigt. Det skaber en AI-specifik form for ukontrolleret ressourcevækst, hvor brugen af beregningsressourcer stiger hurtigere, end teamene kan følge eller kontrollere. Det kræver en kombination af stærk styring, overblik og automatisering, såsom automatisk skalering, automatisk lukning og central ressourcestyring. I stor skala er omkostningseffektivitet ikke kun et driftsspørgsmål, men en grundlæggende del af systemdesignet.

Du har arbejdet med alt fra feature stores til systemer til inferens i realtid. Hvordan mener du, at balancen mellem AI-arbejdsbelastninger i batch og i realtid udvikler sig?

Balancen har ikke ændret sig grundlæggende. Den afhænger fortsat af forretningens krav. Batchbehandling er normalt mere omkostningseffektiv og lettere at drive og passer derfor til mange anvendelser. Realtidssystemer er derimod nødvendige, når forsinkelser direkte påvirker brugeroplevelsen eller forretningsresultatet, som i chatapplikationer eller afsløring af svindel. Begge tilgange vil fortsat eksistere side om side. Organisationer skal bygge platforme, der kan understøtte begge effektivt. Valget afhænger i sidste ende af afvejninger mellem omkostninger, forsinkelse og pålidelighed.

Hvordan ser en moden AI-platform til virksomheder ud om 2–3 år, og hvordan passer værktøjer som Ray og platforme som Anyscale ind i den fremtid?

I de kommende år vil modne AI-platforme til virksomheder have nogle få centrale kendetegn. De vil bygge på fælles infrastruktur, der understøtter hele AI-livscyklussen fra databehandling til træning og inferens, frem for en samling adskilte værktøjer. De vil have velfungerende løbende drift efter udrulningen med agentautomatiseret observerbarhed, pålidelighed og hurtig fejlfinding. Omkostningsstyringen vil være forudsigelig og under kontrol, så organisationerne kan skalere bæredygtigt. Måske vigtigst vil de muliggøre en høj udviklingshastighed og gøre det let for teams hurtigt at gå fra idé til produktion. Platforme som Ray og Anyscale spiller en central rolle ved at levere et fundament skabt til AI, som gør denne skala og effektivitet mulig.

Tak for et godt interview. Læsere, der vil vide mere, kan besøge Anyscale.