Victor Thu, Presidente di Datatron – Serie di Interviste

Victor Thu è il Presidente di Datatron, una piattaforma che aiuta le imprese a sfruttare il potere dell’apprendimento automatico, velocizzando i deploy, rilevando i problemi precocemente e aumentando l’efficienza della gestione di più modelli su larga scala.

Il tuo background è nel Marketing di Prodotto, Go-to-market e Gestione di Prodotto, come ti ha portato a lavorare con l’intelligenza artificiale e l’apprendimento automatico?

Amo la tecnologia e alcuni dei miei amici stretti mi chiamano addirittura il “sussurro della tecnologia”. Mi piace prendere argomenti tecnologici complessi e tradurli in un linguaggio che le persone possano capire, ed educarmi su nuove tecnologie per capire il “perché” dietro le tecnologie che più interessano alle persone.

Il mio primo incontro con ciò che chiamo “intelligenza artificiale moderna” è stato quando ho visto una presentazione di un famoso professore di intelligenza artificiale di Stanford, il Dr. Fei-Fei Li. La presentazione del Dr. Li è stata così affascinante che ha segnato un punto di svolta nella mia carriera. Quella presentazione mi ha convinto che era lì che volevo essere il prossimo. Volevo essere parte della prossima ondata di tecnologia in cui utilizziamo l’intelligenza artificiale e l’apprendimento automatico per risolvere sfide aziendali.

Da allora, sono stato con diverse startup di intelligenza artificiale e apprendimento automatico, lavorando per utilizzare la tecnologia per rispondere a esigenze aziendali reali. Ho lavorato a stretto contatto con scienziati di apprendimento automatico di livello Ph.D., che mi hanno fornito una conoscenza enorme sull’intelligenza artificiale e l’apprendimento automatico. E sto ancora imparando oggi, poiché lo spazio si evolve così rapidamente.

Quindi, è stata veramente la mia passione per la tecnologia e per come utilizzarla per aiutare gli altri che mi ha portato a lavorare a stretto contatto con l’intelligenza artificiale e l’apprendimento automatico.

Datron si concentra su MLOps, per i lettori che non conoscono questo termine, potresti descrivere specificamente cosa è?

MLOps è essenzialmente la codificazione e la semplificazione del processo altamente artigianale di portare i modelli di intelligenza artificiale e apprendimento automatico dal prototipo alla produzione.

Una delle più grandi fraintendimenti è che, una volta che gli scienziati dei dati hanno costruito i loro modelli di intelligenza artificiale, possono metterli in produzione rapidamente. Tuttavia, la realtà è che può richiedere fino a un anno prima che un modello possa essere distribuito.

Il motivo principale di questo ritardo è che le persone che hanno competenze nello sviluppo di modelli non hanno necessariamente competenze di ingegneria del software. Un buon confronto è con gli architetti che progettano grattacieli – non sono anche gli sviluppatori che li costruiscono.

MLOps è essenzialmente il ponte tra gli sviluppatori di modelli e l’ingegneria del software. Invece di dover spendere più di 12 mesi per mettere i modelli in produzione, MLOps può ridurre quel lungo processo a solo pochi giorni.

Nel tuo articolo che hai scritto per noi nel settembre 2021, hai discusso come “L’ostacolo principale per portare le soluzioni in produzione non è la qualità dei modelli, ma piuttosto la mancanza di infrastrutture per consentire alle aziende di farlo.” Perché è un ostacolo così grande per la maggior parte delle aziende?

Ci sono diversi fattori che contribuiscono a questo.

• La romanticizzazione eccessiva del software open-source “gratuito”. Voglio sottolineare innanzitutto che amiamo il software open-source e crediamo fortemente che abbia aiutato l’industria a progredire a grandi passi. Tuttavia, molte persone non capiscono la complessità del software open-source in relazione all’intelligenza artificiale e all’apprendimento automatico. Oggi, c’è una grave carenza di talenti di intelligenza artificiale e apprendimento automatico. Quando si abbina questo con la difficoltà di trovare ingegneri del software (ingegneri di apprendimento automatico o MLOps) che sappiano gestire le proprietà uniche dei codici di intelligenza artificiale e apprendimento automatico, e poi si aspetta di assumere e costruire una piattaforma MLOps su larga scala internamente, capendo i 300+ progetti MLOps open-source, si sta preparando al fallimento.
• Mancanza di infrastrutture per supportare i team di ingegneria. Le aziende hanno bisogno di un ambiente migliore per preparare gli ingegneri al successo. Ci deve essere una banda adeguata e un budget per fornire ai team gli strumenti corretti. L’intelligenza artificiale è una tecnologia abbastanza nuova. Le imprese che utilizzano l’intelligenza artificiale non sanno sempre cosa fare per mettere i modelli in produzione rapidamente, ed è per questo che MLOps è uno strumento così vitale.

Come utilizzare MLOps risolve il problema della mancanza di infrastrutture?

MLOps risolve il problema della mancanza di infrastrutture in quattro modi:

1. Nessun cambiamento di codice proprietario: gli scienziati dei dati vogliono la flessibilità di costruire modelli per adattarsi ai casi d’uso aziendali nel loro ambiente, quindi qualsiasi processo MLOps che richieda modifiche al codice complica l’integrità dei loro modelli.
2. Automazione/scripting: molte squadre stanno scrivendo modelli in modo hard-coded, il che richiede molto tempo. MLOps automatizza l’intero processo, risparmiando molto tempo e energia.
3. Aggiornamenti semplificati: i modelli di intelligenza artificiale cambiano regolarmente per adattarsi al loro ambiente. A volte, gli scienziati dei dati devono tornare indietro per aggiornare i modelli frequentemente. Senza MLOps, non c’è modo per evitare questo aggiornamento ripetitivo.
4. Gestione dell’infrastruttura sottostante: per mettere i modelli in produzione, è necessario calcolare la rete e l’archiviazione, il che richiede proprietà uniche dei modelli di intelligenza artificiale e apprendimento automatico. Gli strumenti MLOps hanno la capacità di accedere alle risorse corrette per scalarle di conseguenza.

Ci sono anche requisiti aziendali che spesso non vengono considerati quando si costruisce uno strumento MLOps, come ad esempio: il controllo di accesso basato sui ruoli (RBAC), l’integrazione e l’interoperabilità, il supporto per diversi strumenti di apprendimento automatico, la risoluzione delle vulnerabilità di sicurezza e la partenza inaspettata di membri chiave del team.

Quali sono le tue opinioni personali sull’importanza della governance dell’intelligenza artificiale?

Ci sono state innumerevoli storie orribili di modelli di intelligenza artificiale che non funzionano correttamente, dalla etichettatura errata di certi gruppi di persone alla causazione di perdite finanziarie massive per aziende quotate in borsa.

La governance dell’intelligenza artificiale è estremamente importante per le aziende quando hanno modelli di intelligenza artificiale in esecuzione in produzione. Detto questo, non è diverso da altre forme di governance IT o aziendale. Oggi, quando il tuo IT esegue applicazioni nel cloud o anche nei propri data center, ci sono una serie di strumenti per assicurarsi che le applicazioni funzionino correttamente.

Una volta che hai modelli di intelligenza artificiale in esecuzione, è necessario avere meccanismi e strumenti in atto per fornire all’azienda e agli scienziati dei dati la visibilità su cosa stanno facendo i modelli.

Soprattutto in questa fase nascente dell’intelligenza artificiale e dell’apprendimento automatico, non c’è opzione “impostazione e dimentica”. All’inizio, è necessario monitorare come si comporta il modello e apportare gli aggiustamenti appropriati. Avere capacità di monitoraggio adeguate in modo che possa avvisarti quando i modelli si comportano al di fuori dei confini desiderati è fondamentale.

La gestione del rischio del modello (MRM) deve anche tenere conto delle diverse persone coinvolte nello sviluppo e nella distribuzione del modello. Quali controlli di accesso hai messo in atto per garantire l’integrità dei modelli? O come assicurarti che le persone di diversi gruppi non utilizzino accidentalmente i tuoi modelli per casi d’uso per i quali i modelli non sono stati progettati? Sono tutte domande che i team devono porsi.

Come Datatron aiuta con la gestione del rischio del modello?

MLOps consente aggiornamenti e modifiche rapide dei modelli. Ad esempio, se un modello sta rifiutando in modo inappropriato le persone per una richiesta di prestito, MLOps consente di ritirare il modello e reintrodurre uno nuovo, gestendo quel rischio in modo semplice.

Protegge i modelli da una deriva dei pregiudizi e mantiene metriche chiave mentre sono in produzione attraverso un dashboard semplice che presenta queste metriche utilizzando dati dettagliati a livello avanzato che possono essere facilmente compresi dai responsabili delle decisioni aziendali.

La piattaforma Datatron fornisce una governance dell’intelligenza artificiale che offre un livello superiore rispetto a una capacità di monitoraggio generica – fornendo contesto e logica aggiuntivi che visualizzano una chiara visibilità dei modelli più rilevanti per i casi d’uso dei clienti.

Nel tuo post del blog su Datatron, hai descritto come Datatron stava adottando il mantra di Reliable AI. Potresti descrivere cosa significa questo secondo te?

Quando abbiamo creato questo, abbiamo pensato a come siamo così a nostro agio a volare su aerei commerciali oggi perché sono molto affidabili.

Nonostante tutti questi discorsi sull’intelligenza artificiale etica, responsabile, ecc., il bisogno chiave è che le aziende possano utilizzare l’intelligenza artificiale e l’apprendimento automatico in modo affidabile – proprio come se i loro dipendenti salissero su un aereo commerciale.

Usare termini come intelligenza artificiale etica, responsabile, è veramente scaturito dal problema che i modelli di intelligenza artificiale attuali non fanno ciò che dovrebbero, e quindi sono considerati inaffidabili. Le aziende non sono disposte a utilizzare l’intelligenza artificiale perché non hanno fiducia che i loro modelli non siano prevenuti. Ciò significa che i loro modelli sono inaffidabili e Datatron è determinato a cambiare questo.

C’è qualcos’altro che vorresti condividere su Datatron?

Siamo uno dei pochi giocatori MLOps che sono stati provati nel Super Bowl – lavorando con successo in uno scenario ad alto stress, il che non è tipico per una startup o uno strumento open-source. Il cliente, Domino’s Pizza , lavora con Datatron per operazionalizzare facilmente e rapidamente i modelli di intelligenza artificiale in produzione, che sono stati poi sottoposti al test definitivo durante il Super Bowl.

MLOps è veramente il modo per aiutare i modelli di intelligenza artificiale e apprendimento automatico a entrare in produzione mentre si preserva le risorse e si riduce il costo. Siamo una fonte sostenibile per modelli di intelligenza artificiale e apprendimento automatico di successo e serviamo come catalizzatore per il fatturato. Le aziende possono finalmente ottenere il loro ROI dai loro progetti di intelligenza artificiale e apprendimento automatico. Indipendentemente dalle tue margine, puoi produrre risultati utilizzando MLOps.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Datatron.