Wilson Pang, Co-Autore di Real World AI – Intervista

Wilson Pang si è unito ad Appen nel novembre 2018 come CTO e si occupa dei prodotti e della tecnologia dell’azienda. Wilson ha oltre diciannove anni di esperienza nell’ingegneria del software e nella scienza dei dati. Prima di unirsi ad Appen, Wilson era il chief data officer di Ctrip in Cina, la seconda più grande azienda di viaggi online del mondo, dove ha guidato gli ingegneri dei dati, gli analisti, i responsabili dei prodotti dei dati e gli scienziati per migliorare l’esperienza dell’utente e aumentare l’efficienza operativa, facendo crescere l’azienda. Prima di ciò, era il direttore senior dell’ingegneria presso eBay in California e ha fornito la leadership in vari ambiti, tra cui servizi di dati e soluzioni, scienza della ricerca, tecnologia di marketing e sistemi di fatturazione. Ha lavorato come architetto presso IBM prima di eBay, costruendo soluzioni tecnologiche per vari clienti. Wilson ha ottenuto la laurea magistrale e la laurea in ingegneria elettrica presso l’Università di Zhejiang in Cina.

Discutiamo del suo nuovo libro: Il mondo reale dell’AI: Una guida pratica per il machine learning responsabile

Descrivi come, quando guidavi i team di scienza della ricerca di eBay, una delle tue prime lezioni con il machine learning fosse capire l’importanza di sapere quali metriche misurare. L’esempio dato era come la metrica “acquisti per sessione” non teneva conto del valore monetario di un articolo. Come possono le aziende capire meglio quali metriche devono misurare per evitare problemi simili?

Inizia con gli obiettivi che il tuo team attribuisce al modello di intelligenza artificiale – nel nostro caso, volevamo aumentare i ricavi con il machine learning. Quando si associano metriche agli obiettivi, pensa a quali meccanismi quelle metriche produrranno, una volta rilasciato il modello e le persone inizieranno a interagire con esso, ma anche prendi nota delle tue ipotesi. Nel nostro caso, abbiamo ipotizzato che il modello si sarebbe ottimizzato per i ricavi, ma il numero di acquisti per sessione non si traduceva in ciò, perché il modello si stava ottimizzando per un alto numero di vendite a basso valore, e alla fine non stavamo facendo più soldi. Una volta che abbiamo capito questo, siamo stati in grado di cambiare le metriche e indirizzare il modello nella direzione giusta. Quindi, determinare le metriche granulari, così come notare le ipotesi, è fondamentale per il successo di un progetto.

Cosa hai imparato personalmente dalla ricerca e dalla stesura di questo libro?

Abbiamo molti problemi diversi che possono essere risolti dall’AI di diverse aziende e settori. I casi d’uso possono essere molto diversi, la soluzione AI potrebbe essere diversa, i dati per addestrare quella soluzione AI potrebbero essere diversi. Tuttavia, nonostante tutte queste differenze, gli errori che le persone hanno fatto durante il loro percorso di AI sono piuttosto simili. Quegli errori si sono verificati più e più volte in tutte le aziende di tutti i settori.

Abbiamo condiviso alcune best practice comuni per l’implementazione di progetti di AI con la speranza di aiutare più persone e aziende a evitare quegli errori e a guadagnare la fiducia per distribuire un’AI responsabile.

Quali sono alcune delle lezioni più importanti che sperate che le persone trarranno dalla lettura di questo libro?

Crediamo fermamente che un utilizzo pensato, responsabile ed etico della tecnologia di apprendimento automatico possa rendere il mondo un posto più giusto, equo e inclusivo. La tecnologia di apprendimento automatico promette di ridisegnare tutto nel mondo degli affari, ma non deve essere difficile. Ci sono metodi e processi testati e verificati che i team possono seguire e ottenere la fiducia per distribuire in produzione.

Un’altra lezione chiave è che i responsabili dell’attività (come i responsabili dei prodotti) e i membri del team sul lato più tecnico (come gli ingegneri e gli scienziati dei dati) devono parlare una lingua comune. Per distribuire con successo l’AI, i leader devono colmare il divario tra i team, fornendo ai specialisti aziendali e ai dirigenti sufficiente contesto per conversare efficientemente con gli implementatori tecnici.

Molte persone pensano prima al codice quando pensano all’AI. Una delle lezioni chiave del libro è che i dati sono fondamentali per il successo di un modello di AI. C’è molto che riguarda i dati, dalla raccolta all’etichettatura, all’archiviazione e ogni passaggio influenzerà il successo del modello. I più grandi successi di distribuzione di AI sono quelli che pongono un’enfasi alta sui dati e si sforzano di migliorare continuamente questo aspetto del loro modello di apprendimento automatico.

Tutto ciò di cui ha bisogno l’AI del mondo reale è un team cross-funzionale e uno spirito innovativo.

Si discute di come determinare quando l’accuratezza di un modello di AI sia sufficiente per supportare l’uso di AI. Qual è il modo più semplice per valutare il tipo di accuratezza necessaria?

Dipende dai casi d’uso e dalla tolleranza al rischio. I team che sviluppano l’AI dovrebbero sempre avere una fase di test in cui determinano i livelli di accuratezza e i limiti accettabili per le loro organizzazioni e gli stakeholder. Per i casi d’uso in cui c’è il potenziale di danno se l’AI va storto – come nel caso del software di condanna, delle auto a guida autonoma, dei casi medici, la barra è molto, molto alta – e i team devono mettere in atto contromisure nel caso in cui i modelli siano errati. Per i casi d’uso più tolleranti, in cui c’è molta soggettività in gioco – come il contenuto, la ricerca o la rilevanza degli annunci, i team possono affidarsi al feedback degli utenti per continuare ad aggiustare i loro modelli anche mentre sono in produzione. Naturalmente, ci sono alcuni casi d’uso ad alto rischio anche qui, in cui il materiale illegale o immorale potrebbe essere mostrato agli utenti, quindi devono essere messe in atto salvaguardie e meccanismi di feedback.

Puoi definire l’importanza di definire il successo per un progetto fin dall’inizio?

È altrettanto importante iniziare con un problema aziendale quanto definire il successo fin dall’inizio, poiché le due cose vanno di pari passo. Seguendo l’esempio nel libro sull’azienda di concessionari automobilistici che utilizza l’AI per etichettare le immagini, non hanno determinato cosa significasse il successo perché non avevano definito un problema aziendale da risolvere. Il successo per loro avrebbe potuto essere una serie di cose diverse, il che rende difficile risolvere un problema, anche per i team di persone, figuriamoci per un modello di apprendimento automatico con un ambito fisso. Se avessero definito il successo come etichettare correttamente l’80% di tutti i veicoli con ammaccature per creare un elenco di veicoli che necessitavano di riparazioni e avessero definito il successo come risparmiare tempo/denaro sul processo di richiesta o ottimizzare il processo di riparazione del X%, allora quando avrebbero etichettato correttamente l’85%, il team avrebbe considerato un successo. Ma se quel successo non è legato al problema aziendale e all’impatto aziendale diretto, è difficile valutare il progetto al di fuori della definizione di accuratezza di etichettatura in questo esempio. Qui, il problema aziendale era più complesso e l’etichettatura delle ammaccature era solo un componente di esso. Nel loro caso, sarebbero stati meglio definendo il successo come risparmiare tempo/denaro sul processo di richiesta o ottimizzare il processo di riparazione del X% e poi tradurre l’impatto di etichettatura in risultati aziendali reali.

Quanto è importante assicurarsi che gli esempi di dati di addestramento coprano tutti i casi d’uso che si verificheranno nella distribuzione di produzione?

È estremamente importante che il modello sia addestrato su tutti i casi d’uso per evitare pregiudizi. Ma è anche importante notare che, mentre è impossibile coprire assolutamente tutti i casi d’uso in produzione, i team che costruiscono l’AI devono capire i loro dati di produzione, così come i loro dati di addestramento, in modo che addestrino l’AI per ciò che incontrerà in produzione. L’accesso ai dati di addestramento che provengono da grandi gruppi diversi con vari casi d’uso sarà fondamentale per il successo del modello. Ad esempio, un modello addestrato a riconoscere i pet dei propri utenti in un’immagine caricata deve essere addestrato su tutti i tipi di animali domestici; cani, gatti, uccelli, piccoli mammiferi, lucertole, ecc. Se il modello è addestrato solo su cani, gatti e uccelli, allora quando qualcuno carica un’immagine con il suo porcellino d’India, il modello non sarà in grado di identificarlo. Mentre questo è un esempio molto semplice, mostra come l’addestramento su molti casi d’uso probabili sia fondamentale per il successo di un modello.

Si discute nel libro della necessità di sviluppare buone abitudini di igiene dei dati dall’alto verso il basso, quali sono i primi passi comuni per coltivare questa abitudine?

Le buone abitudini di igiene dei dati aumenteranno l’usabilità dei dati interni e li prepareranno per i casi d’uso di apprendimento automatico. L’intera azienda deve diventare brava nell’organizzare e tenere traccia dei propri set di dati. Un modo sicuro per raggiungere questo obiettivo è renderlo un requisito aziendale e tracciare l’implementazione in modo che ci siano pochi rapporti che finiscano per essere lavori personalizzati e i team lavorino sempre più con pipeline di dati canalizzate in un repository centrale, con un’ontologia chiara. Un’altra buona pratica è tenere un registro di quando e dove i dati sono stati raccolti e cosa è successo loro prima di essere inseriti nel database, nonché stabilire processi per pulire i dati inutilizzati o obsoleti periodicamente.

Grazie per la grande intervista, per i lettori che sono interessati a saperne di più, consiglio di leggere il libro Il mondo reale dell’AI: Una guida pratica per il machine learning responsabile.