Christian Stano, Field CTO la Anyscale – seria de interviuri

Christian Stano, Field CTO la Anyscale, și-a construit cariera la intersecția infrastructurii de inteligență artificială la scară largă, a platformelor de învățare automată și a calculului distribuit. Înainte de a se alătura Anyscale, el a condus departamentul responsabil de platformele AI/ML de la Attentive, unde a scalat infrastructura care susține personalizarea pentru peste jumătate de miliard de abonați și a ajutat la adoptarea sistemelor de calcul unificate bazate pe Ray, care au îmbunătățit viteza de dezvoltare și au redus costurile operaționale. Mai devreme în cariera sa, el a lucrat în domeniul securității cibernetice, arhitecturii cloud și inițiativelor de inteligență artificială din sectorul public la organizații precum Coalfire și Deloitte, unde a contribuit la una dintre primele platforme de învățare automată ale Departamentului Apărării din Statele Unite. Experiența sa cuprinde ingineria platformelor de inteligență artificială, MLOps, infrastructura nativă cloud, sprijinirea dezvoltatorilor și scalarea organizațională, oferindu-i o experiență vastă în sprijinirea companiilor pentru a utiliza inteligența artificială în producție, la scară largă.

Anyscale este compania din spatele Ray, cadrul de calcul distribuit open-source utilizat pe scară largă pentru scalarea sarcinilor de inteligență artificială și Python în clustere de procesoare și unități de procesare grafică. Fondată de creatorii originali ai Ray de la RISELab UC Berkeley, compania se concentrează pe simplificarea implementării, orchestrării și gestionării infrastructurii de inteligență artificială la scară largă pentru antrenarea modelelor, inferență, prelucrarea datelor și sarcini ale agenților de inteligență artificială. Platforma sa permite organizațiilor să ruleze sisteme de inteligență artificială distribuite în medii cloud și on-premise, oferind observabilitate, guvernanță și optimizări de performanță concepute pentru aplicațiile moderne de inteligență artificială. Ray a devenit un strat fundamental în stiva de infrastructură de inteligență artificială emergentă, ajutând dezvoltatorii să scaleze sarcinile de la o singură mașină la mii de noduri cu modificări minime ale codului Python existent.

Ați lucrat în domenii precum securitatea cibernetică, platformele de învățare automată din sectorul public și sistemele de personalizare la scară foarte mare. Care sunt tiparele pe care le-ați observat în mod constant atunci când organizațiile încearcă să treacă de la proiecte-pilot de inteligență artificială la producție?

În toate industriile, trei tipare apar în mod regulat. În primul rând, echipele nu au o cale bine stabilită și fiabilă de la dezvoltare la producție. Pot construi un model într-un mediu notebook, dar nu există o modalitate standardizată de a-l face să ruleze în producție. Fiecare implementare devine o soluție separată, realizată de la zero, iar fiecare eșec este o surpriză. În al doilea rând, infrastructura nu poate scala în funcție de necesități. Sistemul care a funcționat într-un proiect-pilot se prăbușește atunci când îi oferiți volume reale de date sau trafic real. În al treilea rând, echipele lucrează fără o imagine clară a situației. Le lipsește observabilitatea pentru a ști cum funcționează în realitate sistemele lor, unde sunt pe cale să se prăbușească și când să intervină.

Ceea ce leagă toate acestea este aceeași provocare de bază — echipele nu au o înțelegere solidă a scalării prin distribuirea lucrului pe mai multe calculatoare. Încearcă să rezolve totul deodată, în loc să stabilească deliberat ordinea etapelor. Mă gândesc la trei faze: fă sistemul să funcționeze, pune-l la punct, apoi fă-l rapid. Nu sunt etape parcurse o singură dată, ci faze care se repetă. Stabiliți permanent priorități între ceea ce este defect acum și ceea ce se va defecta în continuare. Echipele care reușesc știu în ce fază se află și rămân disciplinate pentru a nu avansa înainte de a avea o bază solidă.

La Anyscale, vedem echipe care vin în fiecare etapă. Unele încă încearcă să facă sistemul să funcționeze — au nevoie de o cale fiabilă de la dezvoltare la producție. Altele au deja această cale, dar se îneacă în complexitatea operațională și trebuie să pună sistemul la punct. Și multe vin la noi pentru că au construit ceva care funcționează, dar nu pot să îl scaleze la nivelul pe care afacerea îl cere. Un strat de calcul unificat ajută la fiecare fază, dar punctul de intrare depinde de problema cea mai presantă.

La Attentive, ați ajutat la scalarea sistemelor de inteligență artificială care susțin sute de milioane de utilizatori. Care au fost cele mai mari blocaje arhitecturale sau organizaționale pe care ați trebuit să le depășiți pentru a ajunge la acest nivel de scalare?

Cel mai mare blocaj a fost curba în forma literei S a complexității infrastructurii. Pe măsură ce modelele noastre prelucrau mai multe date și deserveau mai mulți clienți, am ajuns la un punct de cotitură al capacității de calcul. Chiar și cele mai mari noduri scalate vertical generau erori de memorie insuficientă, iar simpla scalare orizontală nu era nici ea suficientă. Capacitatea de calcul nu putea ține pasul cu volumul datelor.

Răspunsul natural a fost să adăugăm mai multe instrumente pentru a ocoli limitările. Acesta a fost modul meu obișnuit de lucru, bazat pe experiența anterioară. Fiecare instrument a rezolvat o problemă punctuală, dar a adăugat complexitate operațională. Pipeline-ul nostru de învățare automată risca să devină un amalgam de integrări, iar fiecare nouă utilizare a însemnat mai multă muncă de conectare, mai multe posibilități de defectare, costuri mai mari și mai multă muncă suplimentară pentru echipa platformei.

Ceea ce ne-a deblocat în cele din urmă scalabilitatea a fost unificarea prelucrării datelor, antrenării, inferenței și punerii modelelor la dispoziția utilizatorilor pe Ray și Anyscale. Impactul a fost imediat: costuri de infrastructură mult mai mici, cicluri de antrenare semnificativ mai rapide chiar și în condițiile creșterii volumelor de date și capacitatea de a scala modelele pentru un număr de clienți mai mare cu mai multe ordine de mărime.

Ce v-a motivat decizia de a vă alătura Anyscale în acest stadiu, și cum vedeți rolul de Field CTO în modelarea adoptării inteligenței artificiale la nivel de întreprindere?

Experiența mea de a aduce Anyscale în Attentive a schimbat fundamental planul meu pentru construirea de platforme de învățare automată. Anterior, conectarea sistemelor separate reprezenta o parte semnificativă a costurilor de dezvoltare a platformei. Cu Anyscale, am putut să eliminăm o parte semnificativă din această muncă suplimentară și să ne concentrăm în schimb asupra experienței dezvoltatorului, a fiabilității și a performanței. Această schimbare a avut un impact uriaș atât asupra productivității echipei, cât și asupra rezultatelor sistemului. Alăturarea Anyscale a fost o oportunitate de a lucra la această problemă cu normă întreagă și de a ajuta alte organizații să parcurgă aceeași tranziție. Ca Field CTO, rolul meu este de fapt să iau aceste lecții practice și să le transform în metode repetabile pe care clienții noștri le pot aplica pe măsură ce scalează utilizarea inteligenței artificiale.

Multe întreprinderi sunt încă blocate în faza “pilot” a inteligenței artificiale. Din perspectiva dvs., ce anume cedează atunci când companiile încearcă să scaleze aceste experimente timpurii în sisteme de producție?

Când companiile trec de la experimente de inteligență artificială la producție, rareori cedează doar modelul; problema se află în sistemul din jurul său și în operarea lui. În unele cazuri, echipele ating devreme limitele infrastructurii și nu pot antrena sau pune modelele la dispoziție la scara dorită. Prin urmare, trebuie să limiteze numărul clienților sau al utilizărilor deservite de model. Mai des, problemele apar în producție prin cazuri marginale neașteptate sau schimbări în date. Unul dintre punctele de eșec cele mai frecvente este memoria: pe măsură ce dimensiunea datelor, distribuția sau modalitatea se schimbă, sarcinile rămân fără memorie și eșuează. Aceste probleme sunt dificil de anticipat, iar recuperarea automată după ele este și mai dificilă. Realitatea este că eșecul este inevitabil în sistemele de inteligență artificială aflate în producție. Scopul nu este să îl evităm în totalitate, ci să îl detectăm rapid, să îl înțelegem și să construim sisteme autoreparabile pentru a-l rezolva înainte de a afecta afacerea.

Ray, cadrul de calcul distribuit creat de echipa din spatele Anyscale, câștigă teren ca fundament pentru sarcinile de inteligență artificială. De ce executarea distribuită devine un strat atât de critic în infrastructura modernă de inteligență artificială?

Executarea distribuită și gestionarea sarcinilor de lucru au devenit cerințe de bază pentru fluxurile de procesare ale inteligenței artificiale. Sarcinile moderne de inteligență artificială sunt în mod inerent paralele și consumatoare de resurse. Antrenarea, inferența și prelucrarea datelor necesită coordonarea a numeroase sarcini de lucru pe procesoare și unități de procesare grafică, adesea dinamic. În peisajul actual de calcul, complexitatea gestionării acestor sarcini de lucru pe resurse limitate este o povară operațională masivă. Sistemele tradiționale nu au fost concepute pentru acest nivel de complexitate sau scară. Cadre precum Ray sunt esențiale pentru că permit echipelor să scaleze sarcinile de lucru de la o singură mașină la mii de noduri, automatizând coordonarea subiacentă. Această schimbare reflectă o mișcare mai largă către calculul conceput de la început pentru inteligența artificială, unde infrastructura este concepută în mod special pentru tiparele sarcinilor de inteligență artificială, și nu adaptată din paradigme mai vechi.

Pe măsură ce mai multe companii adoptă Ray prin platforma Anyscale, ce diferențe observați între organizațiile care adoptă ca standard o abordare unificată și cele care conectează instrumente separate?

Diferența dintre platformele unificate și instrumentele separate se reduce în cele din urmă la concentrare și eficiență. Când echipele se bazează pe mai multe sisteme separate, ele petrec o cantitate semnificativă de timp pentru a conecta aceste sisteme, pentru a gestiona incoerențele și pentru a răspunde la eșecuri în medii diferite. Acest lucru creează muncă operațională suplimentară și încetinește experimentarea. În contrast, o abordare unificată permite echipelor să-și concentreze eforturile pe îmbunătățirea unui singur sistem, ceea ce duce la o mai bună fiabilitate, performanțe mai bune și o experiență mai fluentă pentru dezvoltatori. De asemenea, simplifică serviciile de intervenție la incidente și procesele de depanare, deoarece tiparele sunt consecvente și mai ușor de înțeles. Rezultatul nu este doar eficiență tehnică, ci și claritate organizațională.

Pe baza experienței dvs. de a construi platforme de învățare automată complete, cât de importantă este experiența dezvoltatorului (DevEx) în accelerarea adoptării inteligenței artificiale în echipe?

Experiența dezvoltatorului este una dintre zonele cu cel mai mare impact pentru accelerarea adoptării inteligenței artificiale. Când echipele platformei investesc în facilitarea utilizării sistemelor prin fluxuri de lucru standardizate, șabloane și reducerea dificultăților legate de infrastructură, ele amplifică productivitatea fiecărui inginer din organizație. Acest lucru este deosebit de important în inteligența artificială, unde ritmul schimbărilor este extrem de rapid și echipele trebuie să repete rapid ciclurile de dezvoltare pentru a rămâne competitive. Îmbunătățirile experienței dezvoltatorului se traduc direct în experimentarea mai rapidă, timpul mai scurt de ajungere la producție și, în cele din urmă, în impactul mai mare asupra afacerii. Instrumentele de programare bazate pe inteligență artificială amplifică efectul acestor principii de bază ale experienței dezvoltatorului. În multe feluri, este cel mai scalabil mod de a crește viteza în întreaga organizație.

Eficiența costurilor devine o preocupare majoră pe măsură ce sarcinile de inteligență artificială cresc. Care sunt unele dintre cele mai des trecute cu vederea modalități prin care întreprinderile pot reduce costurile infrastructurii fără a sacrifica performanța?

Pe măsură ce sarcinile de inteligență artificială cresc, gestionarea costurilor devine atât mai importantă, cât și mai complexă. Una dintre cele mai des trecute cu vederea provocări este modul în care costurile pot crește rapid din cauza ineficiențelor, în special cu infrastructura bazată pe unități de procesare grafică. Clusterele mari pot porni mii de noduri, și dacă resursele nu sunt gestionate corespunzător sau oprite, costurile se acumulează rapid. Acest lucru creează o formă de extindere necontrolată specifică inteligenței artificiale, unde utilizarea resurselor de calcul crește mai repede decât echipele pot urmări sau controla. Abordarea acestei provocări necesită o combinație de guvernanță puternică, vizibilitate și automatizare, cum ar fi scalarea automată, oprirea automată și gestionarea centralizată a resurselor. La scară largă, eficiența costurilor nu este doar o preocupare operațională, ci și o parte fundamentală a proiectării sistemului.

Ați lucrat la tot, de la depozite de caracteristici pentru învățarea automată (feature stores) la sisteme de inferență în timp real. Cum credeți că evoluează echilibrul dintre sarcinile de inteligență artificială în lot și cele în timp real?

Echilibrul dintre sarcinile de inteligență artificială în lot și cele în timp real nu s-a schimbat fundamental — rămâne o chestiune de cerințe de afaceri. Prelucrarea în lot este, de obicei, mai eficientă din punct de vedere al costurilor și mai ușor de operat, făcând-o potrivită pentru multe cazuri de utilizare. Sistemele în timp real sunt esențiale atunci când latența afectează direct experiența utilizatorului sau rezultatul afacerii, cum ar fi în aplicațiile de chat sau detectarea fraudelor. Ambele abordări vor continua să coexiste, iar cheia pentru organizații este să construiască platforme care să poată susține fiecare în mod eficient. Decizia se reduce în cele din urmă la compromisuri între cost, latență și fiabilitate.

Privind spre viitor, cum va arăta o platformă matură de inteligență artificială pentru întreprinderi peste 2–3 ani — și cum se încadrează instrumente precum Ray și platforme precum Anyscale în acest viitor?

În următorii ani, platformele mature de inteligență artificială la nivel de întreprindere vor fi definite de câteva caracteristici cheie. Ele se vor baza pe infrastructură unificată care susține întregul ciclu de viață al inteligenței artificiale, de la prelucrarea datelor la antrenare și inferență, și nu pe o colecție de instrumente separate. Vor avea operațiuni curente solide după implementare, cu observabilitate automatizată de agenți, fiabilitate și depanare rapidă. Gestionarea costurilor va fi previzibilă și guvernată, permițând organizațiilor să își extindă sistemele în mod sustenabil. Și, probabil, cel mai important, vor permite un ritm ridicat de dezvoltare, facilitând trecerea rapidă a echipelor de la idee la producție. Platforme precum Ray și Anyscale joacă un rol central în acest viitor, oferind baza concepută pentru inteligența artificială care face posibil acest nivel de amploare și eficiență.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe pot vizita Anyscale.