Victor Thu, Presidente di Datatron – Serie di Interviste

Victor Thu è il Presidente di Datatron, una piattaforma che aiuta le aziende a sfruttare il potere del machine learning, velocizzando i deploy, rilevando i problemi precocemente e aumentando l’efficienza della gestione di più modelli su larga scala.

Il tuo background è nel Product Marketing, Go-to-market, & Product Management, come ti ha portato a lavorare nel machine learning e nell’AI?

Amo la tecnologia e alcuni dei miei amici stretti mi chiamano addirittura il “sussurro della tecnologia”. Mi piace prendere argomenti tecnologici complessi e tradurli in un linguaggio che le persone possano capire, ed educarmi su nuove tecnologie per arrivare al “perché” dietro le tecnologie che più interessano alle persone.

Il mio primo incontro con ciò che chiamo “AI moderna” è stato quando stavo guardando una presentazione di un famoso professore di AI di Stanford, il Dr. Fei-Fei Li. La presentazione del Dr. Li è stata così affascinante che è stata un punto di svolta per me nella mia carriera. Quella presentazione mi ha convinto che questo è dove volevo essere dopo. Volevo essere parte della prossima ondata di tecnologia in cui usiamo l’AI e il ML per risolvere sfide aziendali.

Da allora, sono stato con diverse startup di AI/ML, lavorando per utilizzare la tecnologia per affrontare esigenze aziendali reali. Ho lavorato a stretto contatto con scienziati di ML di livello Ph.D., che mi hanno fornito una grande conoscenza in AI/ML. E sto ancora imparando oggi, poiché lo spazio si evolve così rapidamente.

Quindi, è stata veramente la mia passione per la tecnologia e per come utilizzarla per aiutare gli altri che mi ha portato a lavorare a stretto contatto con l’AI/ML.

Datatron si concentra su MLOps, per i lettori che non conoscono questo termine, potresti descrivere specificamente cosa è?

MLOps è essenzialmente la codifica e la semplificazione del processo altamente artigianale di portare i modelli di AI e ML dal prototipo alla produzione.

Una delle più grandi misconzioni è che una volta che i data scientist hanno costruito i loro modelli di AI, possano metterli in produzione rapidamente. Tuttavia, la realtà è che può richiedere fino a un anno prima che un modello possa essere distribuito.

Il motivo principale di questo ritardo è che le persone che hanno competenze nello sviluppo di modelli non hanno necessariamente competenze di ingegneria del software. Un buon paragone è quello degli architetti che progettano grattacieli – non sono anche i costruttori che li realizzano.

MLOps è essenzialmente il ponte tra gli sviluppatori di modelli e l’ingegneria del software. Invece di dover spendere più di 12 mesi per portare i modelli in produzione, MLOps può ridurre questo processo lungo e noioso a solo pochi giorni.

In un articolo che hai scritto per noi nel settembre 2021, hai discusso come “Il principale ostacolo nel portare le soluzioni in produzione non è la qualità dei modelli, ma piuttosto la mancanza di infrastrutture in posto per consentire alle aziende di farlo.” Perché è così un ostacolo per la maggior parte delle aziende?

Ci sono diversi fattori che contribuiscono a ciò.

• L’idealizzazione eccessiva del software open-source “gratuito”. Voglio sottolineare che amiamo il software open-source e crediamo fortemente che abbia aiutato l’industria a progredire a passi da gigante. Tuttavia, molte persone non capiscono la complessità del software open-source in relazione all’AI e al ML. Oggi, c’è una grave carenza di talenti di AI/ML. Quando si abbina questo con la difficoltà di trovare ingegneri del software (ingegneri di ML o ingegneri di MLOps) che sappiano gestire le proprietà uniche dei codici di AI/ML, e poi si aspetta di assumere e costruire una piattaforma di MLOps interna su larga scala, figurandosi come si possa farlo con i 300+ progetti di MLOps open-source, significa prepararsi al fallimento.
• Mancanza di infrastrutture per supportare i team di ingegneria. Le aziende hanno bisogno di un ambiente migliore per far sì che gli ingegneri abbiano successo. Ci deve essere una larghezza di banda e un budget adeguati per fornire ai team gli strumenti corretti. L’AI è una tecnologia abbastanza nuova. Le aziende che fanno AI non sanno sempre cosa fare per far uscire i modelli rapidamente, ed è per questo che MLOps è uno strumento così vitale.

Come utilizzare MLOps risolve il problema della mancanza di infrastrutture?

MLOps risolve il problema della mancanza di infrastrutture in quattro modi:

1. Nessun cambio di codice proprietario: i data scientist vogliono la flessibilità di costruire modelli che si adattino ai casi d’uso aziendali nel loro ambiente, quindi qualsiasi processo di MLOps che richieda modifiche al codice complica l’integrità dei loro modelli.
2. Automatizzazione/scripting: molte squadre stanno scrivendo modelli in modo hard-coded, il che richiede molto tempo. MLOps automatizza l’intero processo, risparmiando molto tempo ed energia.
3. Aggiornamenti semplificati: i modelli di AI cambiano regolarmente per adattarsi al loro ambiente. A volte, i data scientist devono tornare indietro per aggiornare i modelli frequentemente. Senza MLOps, non c’è modo di evitare questo aggiornamento ripetitivo.
4. Gestione dell’infrastruttura sottostante: per far uscire i modelli, è necessario calcolare la rete e l’archiviazione, il che richiede proprietà uniche dei modelli di AI/ML. Gli strumenti di MLOps hanno la capacità di accedere alle risorse corrette per scalarle di conseguenza.

Ci sono anche requisiti aziendali che spesso non vengono considerati quando si costruisce uno strumento di MLOps, come ad esempio il controllo degli accessi basato sui ruoli (RBAC), l’integrazione e l’interoperabilità, il supporto per diversi strumenti di ML, la risoluzione delle vulnerabilità di sicurezza e la partenza inaspettata dei membri chiave del team.

Quali sono le tue opinioni personali sull’importanza della governance dell’AI?

Ci sono state innumerevoli storie orribili di modelli di AI che non funzionano correttamente, dal fatto di etichettare in modo errato certi gruppi di persone a causare perdite finanziarie massive per aziende quotate in borsa.

La governance dell’AI è estremamente importante per le aziende quando hanno modelli di AI in esecuzione in produzione. Detto questo, non è diverso da altre governance IT o aziendali. Oggi, quando il tuo IT esegue applicazioni nel cloud o anche nei propri data center, ci sono una serie di strumenti per assicurarsi che le applicazioni funzionino correttamente.

Una volta che hai modelli di AI in esecuzione, è necessario avere meccanismi e strumenti in posto per aiutare a dare alla azienda e ai data scientist la visibilità su cosa stanno facendo i modelli.

Soprattutto in questa fase nascente dell’AI/ML, non c’è opzione “impostazione e dimentica”. All’inizio, è necessario monitorare come si comporta il modello e apportare gli aggiustamenti appropriati. Avere capacità di monitoraggio adeguate in modo che possano allertarti quando i tuoi modelli si comportano al di fuori dei limiti desiderati è fondamentale.

La gestione del rischio del modello (MRM) deve anche tenere conto dei diversi individui coinvolti nello sviluppo e nella distribuzione del modello. Quali controlli di accesso hai messo in atto per assicurarti l’integrità dei modelli? O come assicurarti che gli individui di diversi gruppi non utilizzino accidentalmente i tuoi modelli per casi d’uso per i quali i modelli non sono stati progettati? Sono tutte domande che i team devono porsi.

Come aiuta Datatron nella gestione del rischio del modello?

MLOps consente di aggiornare e modificare rapidamente i modelli. Ad esempio, se un modello rifiuta in modo inappropriato le persone che richiedono un prestito, MLOps consente di ritirare il modello e reintrodurre uno nuovo, gestendo così il rischio in modo semplice.

Protegge i modelli da una deriva dei pregiudizi e mantiene le metriche chiave mentre sono in produzione attraverso un semplice cruscotto che presenta queste metriche utilizzando dati dettagliati approfonditi da un’overview ad alto livello che può essere facilmente compresa dai responsabili delle decisioni aziendali.

La piattaforma di Datatron fornisce una governance dell’AI che offre un livello superiore rispetto a una capacità di monitoraggio generica – fornendo contesto e logica aggiuntivi che mostrano una visibilità chiara dei modelli che sono più rilevanti per i casi d’uso dei clienti.

Nel post del blog su Datatron, hai descritto come Datatron stava adottando il mantra di Reliable AI™. Potresti descrivere cosa significa questo secondo te?

Quando abbiamo pensato a questo, abbiamo riflettuto su come siamo così a nostro agio a volare su aerei commerciali oggi perché sono molto affidabili.

Nonostante tutte queste discussioni sull’AI etica, sull’AI responsabile, ecc., il bisogno chiave è che le aziende possano utilizzare l’AI/ML in modo affidabile – proprio come se i loro dipendenti salissero su un aereo commerciale.

Utilizzare termini come AI etica, AI responsabile, deriva veramente dal problema che i modelli di AI attuali non fanno ciò che dovrebbero, e quindi vengono considerati inaffidabili. Le aziende non sono disposte a utilizzare l’AI perché non hanno fiducia che i loro modelli non siano prevenuti. Ciò significa che i loro modelli sono inaffidabili e Datatron è determinata a cambiare questo.

C’è qualcos’altro che ti piacerebbe condividere su Datatron?

Siamo uno dei pochi giocatori di MLOps che sono stati provati nel Super Bowl – lavorando con successo in uno scenario ad alto stress, il che non è tipico per una startup o uno strumento open-source. Il cliente, Domino’s Pizza, lavora con Datatron per operazionalizzare facilmente e rapidamente i modelli di AI in produzione, che sono stati poi sottoposti al test definitivo durante il Super Bowl.

MLOps è veramente il modo per aiutare i modelli di AI/ML a entrare in produzione mentre si preservano le risorse e si riducono i costi. Siamo una fonte sostenibile per modelli di AI/ML di successo e serviamo come catalizzatore per il ricavo. Le aziende possono finalmente ottenere il loro ROI dai loro progetti di AI e ML. Indipendentemente dai tuoi margini, puoi produrre risultati utilizzando MLOps.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Datatron.