Christian Stano, Field CTO di Anyscale – serie di interviste

Christian Stano, Field CTO di Anyscale, ha costruito la sua carriera all’intersezione di grandi infrastrutture di intelligenza artificiale, piattaforme di apprendimento automatico e calcolo distribuito. Prima di unirsi ad Anyscale, ha guidato la divisione delle piattaforme AI/ML di Attentive, dove ha scalato l’infrastruttura per supportare la personalizzazione per oltre mezzo miliardo di abbonati e ha contribuito a promuovere l’adozione di sistemi di calcolo unificati basati su Ray, migliorando la velocità di sviluppo e riducendo i costi operativi. In precedenza, ha lavorato in settori come la sicurezza informatica, l’architettura cloud e le iniziative di intelligenza artificiale nel settore pubblico presso organizzazioni come Coalfire e Deloitte, dove ha contribuito a creare una delle prime piattaforme di apprendimento automatico del Dipartimento della Difesa degli Stati Uniti. La sua esperienza copre l’ingegneria delle piattaforme di intelligenza artificiale, MLOps, infrastrutture cloud-native, supporto agli sviluppatori ed espansione delle organizzazioni, fornendogli una profonda esperienza nell’aiutare le imprese a mettere l’intelligenza artificiale in produzione su larga scala.

Anyscale è l’azienda dietro Ray, il framework di calcolo distribuito open-source ampiamente utilizzato per scalare carichi di lavoro di intelligenza artificiale e Python su cluster di CPU e GPU. Fondata dai creatori originali di Ray del RISELab di UC Berkeley, l’azienda si concentra sulla semplificazione della distribuzione, dell’orchestrazione e della gestione di grandi infrastrutture di intelligenza artificiale per l’addestramento, l’inferenza, l’elaborazione dei dati e i carichi di lavoro degli agenti di intelligenza artificiale. La sua piattaforma consente alle organizzazioni di eseguire sistemi di intelligenza artificiale distribuiti in ambienti cloud e on-premise, fornendo osservabilità, governance e ottimizzazioni delle prestazioni progettate per applicazioni di intelligenza artificiale moderne. Ray è diventato un livello fondamentale nello stack di infrastrutture di intelligenza artificiale emergente, aiutando gli sviluppatori a scalare carichi di lavoro da una singola macchina a migliaia di nodi con minimi cambiamenti al codice Python esistente.

Ha lavorato in settori come la sicurezza informatica, le piattaforme di apprendimento automatico nel settore pubblico e i sistemi di personalizzazione iperscalari. Quali schemi ricorrenti ha osservato quando le organizzazioni cercano di spostarsi dai progetti pilota di AI alla produzione?

In tutti i settori, tre schemi si presentano regolarmente. In primo luogo, i team non hanno un percorso collaudato e affidabile dalla fase di sviluppo alla produzione. Possono costruire un modello in un notebook, ma non c’è un modo standardizzato per metterlo in esecuzione in produzione. Ogni rilascio diventa una soluzione a sé e ogni fallimento è una sorpresa. In secondo luogo, l’infrastruttura non può scalare con le esigenze. Il sistema che funziona in un progetto pilota si blocca quando viene alimentato con volumi di dati reali o traffico reale. In terzo luogo, i team sono alla cieca. Non hanno l’osservabilità necessaria per sapere come stanno funzionando i loro sistemi, dove stanno per rompersi e quando intervenire.

Ciò che collega tutti e tre è la stessa sfida di base — i team non hanno una comprensione solida di come distribuire il lavoro su più macchine per aumentare la scala. Cercano di risolvere tutto in una volta invece di pianificare consapevolmente l’ordine delle attività. Penso a questo come a tre fasi: farlo funzionare, metterlo a punto, renderlo veloce. Queste non sono pietre miliari una tantum — queste fasi sono iterative. Si è costantemente impegnati a stabilire le priorità tra ciò che è rotto in questo momento e ciò che si romperà dopo. I team che hanno successo sanno in quale fase si trovano e evitano di procedere oltre prima che la base sia solida.

In Anyscale, vediamo team che arrivano in ogni fase. Alcuni stanno ancora cercando di farlo funzionare — hanno bisogno di un percorso collaudato e affidabile dalla fase di sviluppo alla produzione. Altri ce l’hanno, ma sono sommersi dalla complessità operativa e devono metterlo a punto. E molti vengono da noi perché hanno costruito qualcosa che funziona, ma non possono spingerlo alla scala che l’azienda richiede. Un livello di calcolo unificato aiuta in ogni fase, ma il punto di ingresso dipende da quale problema è più urgente.

In Attentive, ha aiutato a scalare i sistemi di intelligenza artificiale che supportano centinaia di milioni di utenti. Quali sono stati i principali collo di bottiglia architettonici o organizzativi che ha dovuto superare per raggiungere quel livello di scalabilità?

Il collo di bottiglia più grande è stata la curva a S della complessità dell’infrastruttura. Mentre ampliavamo i modelli per includere più dati e servire più clienti, abbiamo raggiunto un punto di svolta della capacità di calcolo in cui anche i nodi più grandi, potenziati verticalmente, generavano errori di memoria insufficiente e la semplice scalabilità orizzontale non bastava. La nostra capacità di calcolo non riusciva a tenere il passo con la scala dei nostri dati.

La risposta naturale è stata quella di aggiungere strati di strumenti per aggirare i limiti. Questo è stato il mio metodo di lavoro, basato sulle esperienze precedenti. Ogni strumento risolveva un problema circoscritto, ma aggiungeva complessità operativa. La nostra pipeline di apprendimento automatico rischiava di trasformarsi in un mosaico di integrazioni e ogni nuovo caso d’uso significava più lavoro di collegamento, più possibili guasti, costi più alti e più lavoro aggiuntivo per il team della piattaforma.

Ciò che ha sbloccato la scalabilità per noi è stato unificare l’elaborazione dei dati, l’addestramento, l’inferenza e la messa a disposizione dei modelli su Ray e Anyscale. L’impatto è stato immediato: costi infrastrutturali drasticamente inferiori, cicli di addestramento significativamente più veloci anche con volumi di dati in crescita e capacità di scalare i modelli per servire gruppi di clienti più grandi di diversi ordini di grandezza.

Cosa l’ha motivato a unirsi ad Anyscale in questa fase, e come vede il ruolo di Field CTO nell’orientare l’adozione dell’intelligenza artificiale nelle aziende?

La mia esperienza nell’introdurre Anyscale in Attentive ha fondamentalmente cambiato il mio approccio alla costruzione di piattaforme di apprendimento automatico. Prima di allora, una parte significativa dei costi di sviluppo della piattaforma derivava dal collegamento di sistemi frammentati. Con Anyscale, siamo stati in grado di eliminare gran parte di quel sovraccarico e concentrarci invece sull’esperienza dello sviluppatore, l’affidabilità e le prestazioni. Quel cambiamento ha avuto un impatto enorme sia sulla produttività del team che sui risultati del sistema. Unirsi ad Anyscale è stata un’opportunità di lavorare a tempo pieno su quel problema e aiutare altre organizzazioni ad affrontare la stessa transizione. Come Field CTO, il mio ruolo è fondamentalmente quello di prendere quelle lezioni pratiche e trasformarle in modelli ripetibili che i nostri clienti possono applicare mentre scalano l’intelligenza artificiale.

Molte aziende sono ancora bloccate nella “fase di progetto pilota” dell’intelligenza artificiale. Dal suo punto di vista, cosa si rompe specificamente quando le aziende cercano di scalare questi primi esperimenti in sistemi di produzione?

Quando le aziende si spostano da esperimenti di intelligenza artificiale alla produzione, raramente il problema riguarda soltanto il modello: a cedere sono il sistema circostante e la sua gestione operativa. In alcuni casi, i team raggiungono i limiti dell’infrastruttura precocemente e non possono addestrare o mettere a disposizione i modelli alla scala desiderata. Di conseguenza devono limitare il numero di clienti o di casi d’uso serviti dal modello. Più spesso, problemi emergono in produzione attraverso casi limite inaspettati o cambiamenti nei dati. Uno dei punti di fallimento più comuni è la memoria: quando la dimensione, la distribuzione o la modalità dei dati cambiano, i processi esauriscono la memoria e falliscono. Questi problemi sono difficili da prevedere e rendono ancora più difficile il ripristino automatico. La realtà è che il fallimento è inevitabile nella produzione di intelligenza artificiale. L’obiettivo non è quello di evitarlo completamente, ma di rilevarlo rapidamente, comprenderlo e costruire sistemi capaci di ripristinarsi automaticamente per risolverlo prima che abbia un impatto sull’azienda.

Ray, il framework di calcolo distribuito creato dal team dietro Anyscale, sta guadagnando popolarità come fondamento per carichi di lavoro di intelligenza artificiale. Perché l’esecuzione distribuita sta diventando un livello così critico nelle infrastrutture di intelligenza artificiale moderne?

L’esecuzione distribuita e la gestione dei carichi di lavoro sono diventate fondamentali per le pipeline di intelligenza artificiale. I carichi di lavoro di intelligenza artificiale moderni sono intrinsecamente paralleli e intensivi in termini di risorse. L’addestramento, l’inferenza e l’elaborazione dei dati richiedono tutti il coordinamento di un gran numero di attività su CPU e GPU, spesso in modo dinamico. Nell’attuale panorama del calcolo, la complessità della gestione di questi carichi di lavoro su risorse scarse è un onere operativo massiccio. I sistemi tradizionali non sono stati progettati per questo livello di complessità o scalabilità. Framework come Ray sono essenziali perché consentono ai team di scalare carichi di lavoro in modo trasparente da una singola macchina a migliaia di nodi automatizzando il coordinamento sottostante. Questo cambiamento riflette un passaggio più ampio verso il calcolo nativo dell’intelligenza artificiale, in cui l’infrastruttura è progettata specificamente per i modelli di carichi di lavoro di intelligenza artificiale piuttosto che adattata da paradigmi più vecchi.

Man mano che più aziende adottano Ray attraverso la piattaforma di Anyscale, quali differenze vede tra le organizzazioni che scelgono un approccio unificato come standard e quelle che collegano strumenti separati?

La differenza tra piattaforme unificate e strumenti frammentati riguarda in ultima analisi concentrazione ed efficienza. Quando i team si affidano a più sistemi non collegati, spendono una quantità significativa di tempo a collegarli, gestire le incoerenze e rispondere ai fallimenti in ambienti diversi. Ciò crea un sovraccarico operativo e rallenta la sperimentazione. Al contrario, un approccio unificato consente ai team di concentrare i loro sforzi sul miglioramento di un singolo sistema, portando a una maggiore affidabilità, prestazioni più solide e un’esperienza dello sviluppatore più fluida. Semplifica anche i turni di reperibilità e le procedure di debug perché i modelli sono coerenti e più facili da comprendere. Il risultato non è solo l’efficienza tecnica, ma anche la chiarezza organizzativa.

Basandosi sulla sua esperienza nella costruzione di piattaforme di apprendimento automatico end-to-end, quanto è importante l’esperienza dello sviluppatore (DevEx) nell’accelerare l’adozione di intelligenza artificiale nei diversi team?

L’esperienza dello sviluppatore è una delle aree ad alto rendimento per accelerare l’adozione di intelligenza artificiale. Quando i team di piattaforma investono nel rendere i sistemi più facili da usare attraverso flussi di lavoro standardizzati, modelli predefiniti e minori ostacoli legati all’infrastruttura, amplificano la produttività di ogni ingegnere nell’organizzazione. Ciò è particolarmente importante nell’intelligenza artificiale, dove il ritmo del cambiamento è estremamente veloce e i team devono iterare rapidamente per rimanere competitivi. I miglioramenti dell’esperienza dello sviluppatore si traducono direttamente in una sperimentazione più rapida, tempi più brevi per arrivare in produzione e, in definitiva, un maggiore impatto aziendale. Gli strumenti di programmazione basati su AI amplificano questi fondamenti di DevEx. In molti modi, è il modo più scalabile per aumentare la velocità in tutta l’organizzazione.

L’efficienza dei costi sta diventando una preoccupazione maggiore man mano che i carichi di lavoro di intelligenza artificiale si espandono. Quali sono alcuni dei modi più trascurati in cui le aziende possono ridurre i costi di infrastruttura senza sacrificare le prestazioni?

Man mano che i carichi di lavoro di intelligenza artificiale si espandono, la gestione dei costi diventa sia più importante che più complessa. Una delle sfide più trascurate è come i costi possano aumentare rapidamente a causa di inefficienze, specialmente con l’infrastruttura basata su GPU. I grandi cluster possono avviare migliaia di nodi e, se le risorse non vengono gestite o spente correttamente, i costi si accumulano rapidamente. Ciò crea una forma di proliferazione incontrollata delle risorse specifica dell’intelligenza artificiale, in cui l’utilizzo del calcolo cresce più velocemente di quanto i team possano tracciare o controllare. Risolvere questo problema richiede una combinazione di governance solida, visibilità e automazione, come l’autoscaling, l’autoterminazione e la gestione delle risorse centralizzata. Su larga scala, l’efficienza dei costi non è solo una preoccupazione operativa, ma un aspetto fondamentale della progettazione del sistema.

Ha lavorato su tutto, dai repository di caratteristiche per i modelli, i cosiddetti feature store, ai sistemi di inferenza in tempo reale. Come pensa che si stia evolvendo l’equilibrio tra carichi di lavoro di intelligenza artificiale batch e in tempo reale?

L’equilibrio tra carichi di lavoro di intelligenza artificiale batch e in tempo reale non è fondamentalmente cambiato — rimane una questione di requisiti aziendali. L’elaborazione batch è generalmente più conveniente in termini di costi ed è più facile da gestire, rendendola adatta per molti casi d’uso. I sistemi in tempo reale, d’altra parte, sono essenziali quando la latenza ha un impatto diretto sull’esperienza dell’utente o sul risultato aziendale, come nelle applicazioni di chat o nella rilevazione delle frodi. Entrambi gli approcci continueranno a coesistere e la chiave per le organizzazioni è costruire piattaforme che possano supportare entrambi in modo efficace. La decisione alla fine si riduce ai compromessi tra costo, latenza e affidabilità.

Guardando avanti, come sarà una piattaforma matura di intelligenza artificiale aziendale tra 2–3 anni — e come strumenti come Ray e piattaforme come Anyscale si inseriscono in quel futuro?

Nei prossimi anni, le piattaforme di intelligenza artificiale aziendale mature saranno definite da alcune caratteristiche chiave. Si affideranno a un’infrastruttura unificata che supporti l’intero ciclo di vita dell’intelligenza artificiale, dall’elaborazione dei dati all’addestramento all’inferenza, piuttosto che a una raccolta di strumenti non connessi. Avranno una solida gestione continuativa dopo il rilascio, con osservabilità automatizzata dagli agenti, affidabilità e debug rapido. La gestione dei costi sarà prevedibile e gestita, consentendo alle organizzazioni di scalare in modo sostenibile. E forse più importante, consentiranno un elevato ritmo di sviluppo, rendendo facile per i team spostarsi dall’idea alla produzione rapidamente. Piattaforme come Ray e Anyscale svolgono un ruolo centrale in questo futuro fornendo la base progettata appositamente per l’intelligenza artificiale che rende possibile questo livello di scalabilità ed efficienza.

Grazie per questa interessante intervista. I lettori che desiderano saperne di più possono visitare Anyscale.