Wilson Pang, coautore di Real World AI – Serie di interviste

Wilson Pang si unì Appen nel novembre 2018 come CTO ed è responsabile dei prodotti e della tecnologia dell'azienda. Wilson ha oltre diciannove anni di esperienza nell'ingegneria del software e nella scienza dei dati. Prima di entrare in Appen, Wilson è stato chief data officer di Ctrip in Cina, la seconda più grande società di agenzie di viaggi online al mondo, dove ha guidato ingegneri di dati, analisti, data product manager e scienziati per migliorare l'esperienza dell'utente e aumentare l'efficienza operativa che è cresciuto il business. In precedenza, è stato direttore senior dell'ingegneria presso eBay in California e ha fornito la leadership in vari settori, tra cui servizi e soluzioni dati, scienza della ricerca, tecnologia di marketing e sistemi di fatturazione. Ha lavorato come architetto in IBM prima di eBay, costruendo soluzioni tecnologiche per vari clienti. Wilson ha conseguito il master e la laurea in ingegneria elettrica presso l'Università di Zhejiang in Cina.

Parliamo del suo nuovo libro: Il mondo reale dell'IA: una guida pratica per un apprendimento automatico responsabile

Descrivi come quando hai guidato i team scientifici di ricerca di eBay, una delle tue prime lezioni con l'apprendimento automatico è stata capire l'importanza di sapere quali metriche misurare. L'esempio fornito è stato il modo in cui la metrica "acquisti per sessione" non è riuscita a tenere conto del valore monetario di un articolo. In che modo le aziende possono comprendere al meglio quali metriche devono essere misurate per evitare problemi simili?

Inizia con gli obiettivi che il tuo team attribuisce al modello AI: nel nostro caso, volevamo aumentare le entrate con il machine learning. Quando colleghi le metriche agli obiettivi, pensa a quali meccanismi produrranno tali metriche, una volta che rilasci il modello e le persone iniziano a interagire con esso, ma prendi anche nota delle tue ipotesi. Nel nostro caso, abbiamo ipotizzato che il modello avrebbe ottimizzato per le entrate, ma il numero di acquisti per sessione non si è tradotto in questo, perché il modello stava ottimizzando per un numero elevato di vendite di biglietti a basso valore e alla fine della giornata non eravamo non fare più soldi. Una volta capito questo, siamo stati in grado di modificare le metriche e indirizzare il modello nella giusta direzione. Quindi determinare le metriche granulari, così come annotare le ipotesi, sono fondamentali per il successo di un progetto.

Cosa hai imparato personalmente dalla ricerca e dalla scrittura di questo libro?

Abbiamo molti problemi diversi che possono essere risolti dall'intelligenza artificiale di diverse aziende e diversi settori. I casi d'uso possono essere molto diversi, la soluzione AI potrebbe essere diversa, i dati per addestrare quella soluzione AI potrebbero essere diversi. Tuttavia, nonostante tutte queste differenze, gli errori che le persone hanno commesso durante il loro viaggio nell'IA sono abbastanza simili. Quegli errori si sono verificati ancora e ancora in tutti i tipi di aziende di tutti i tipi di settori.

Abbiamo condiviso alcune best practice comuni durante l'implementazione di progetti di intelligenza artificiale con la speranza di aiutare più persone e aziende a evitare questi errori e acquisire loro la fiducia necessaria per implementare un'IA responsabile.

Quali sono alcune delle lezioni più importanti che speri che le persone traggano dalla lettura di questo?

Crediamo fermamente che usi ponderati, responsabili ed etici della tecnologia di apprendimento automatico possano rendere il mondo un luogo più giusto, equo e inclusivo. La tecnologia di apprendimento automatico promette di rimodellare tutto nel mondo degli affari, ma non deve essere difficile. Esistono metodi e processi collaudati che i team possono seguire e ottenere la fiducia necessaria per implementarli in produzione.

Un'altra lezione chiave è che i proprietari della linea di business (come i product manager) e i membri del team dal lato più tecnico (come ingegneri e data scientist) devono parlare un linguaggio comune. Per implementare con successo l'IA, i leader devono colmare il divario tra i team, fornendo agli specialisti aziendali e al livello dirigenziale un contesto sufficiente per dialogare in modo efficiente con gli implementatori tecnici.

Molte persone pensano prima al codice quando pensano all'intelligenza artificiale. Una delle lezioni chiave del libro è che i dati sono fondamentali per il successo di un modello di intelligenza artificiale. C'è molto che va con i dati dalla raccolta all'etichettatura all'archiviazione e ogni passaggio influenzerà il successo del modello. Le implementazioni di intelligenza artificiale di maggior successo sono quelle che pongono grande enfasi sui dati e si sforzano di migliorare continuamente questo aspetto del loro modello ML.

Tutto ciò che l'IA richiede nel mondo reale è un team interfunzionale e uno spirito innovativo.

Discusso è determinare quando la precisione di un modello di intelligenza artificiale è sufficientemente elevata da supportare l'utilizzo dell'IA. Qual è il modo più semplice per valutare il tipo di accuratezza necessaria?

Dipende dai casi d'uso e dalla tolleranza al rischio. I team che sviluppano l'IA dovrebbero sempre avere una fase di test in cui determinano i livelli di accuratezza e le soglie accettabili per le loro organizzazioni e le parti interessate. Per i casi d'uso di vita o di morte - dove c'è un potenziale danno se l'IA va male, come nel caso di software di condanna, auto a guida autonoma, casi d'uso medici, l'asticella è molto, molto alta - e i team devono inserire posizionare le contingenze nel caso in cui i modelli siano sbagliati. Per casi d'uso più tolleranti ai guasti, in cui è in gioco molta soggettività, ad esempio contenuto, ricerca o pertinenza degli annunci, i team possono fare affidamento sul feedback degli utenti per continuare a modificare i propri modelli anche durante la produzione. Naturalmente, anche qui ci sono alcuni casi d'uso ad alto rischio, in cui materiale illegale o immorale potrebbe essere mostrato agli utenti, quindi anche in questo caso devono essere presenti meccanismi di protezione e feedback. 

Puoi definire l'importanza di definire il successo di un progetto in anticipo? 

È altrettanto importante iniziare con un problema aziendale quanto definire il successo in anticipo poiché i due vanno di pari passo. Seguendo l'esempio del libro sul rivenditore automobilistico che utilizza l'intelligenza artificiale per etichettare le immagini, non hanno determinato quale fosse il successo perché non avevano definito un problema aziendale da risolvere. Il successo per loro avrebbe potuto essere una serie di cose diverse che rendono difficile la risoluzione di un problema, anche per team di persone, per non parlare di un modello di apprendimento automatico con un ambito fisso. Se avessero deciso di etichettare tutti i veicoli con ammaccature per creare un elenco di veicoli che necessitavano di riparazioni e definito il successo come l'etichettatura accurata dell'80% di tutte le ammaccature dei veicoli nell'inventario delle auto usate, quando avrebbero etichettato accuratamente l'85%, il team l'avrebbe definito un successo. Ma se tale successo non è legato al problema aziendale e all'impatto diretto sull'azienda, è difficile valutare il progetto al di fuori della definizione mirata di accuratezza dell'etichettatura in questo esempio. Qui il problema aziendale era più complesso e l'etichettatura delle ammaccature ne è solo una componente. Nel loro caso, avrebbero potuto fare di meglio definendo il successo come risparmio di tempo/denaro sul processo di reclamo o ottimizzazione del processo di riparazione del X% e quindi tradurre l'impatto dell'etichettatura in risultati aziendali reali.

Quanto è importante garantire che gli esempi di dati di addestramento coprano tutti i casi d'uso che si verificheranno nella distribuzione di produzione?

È estremamente importante che il modello venga addestrato su tutti i casi d'uso per evitare distorsioni. Ma è anche importante notare che, sebbene sia impossibile coprire assolutamente tutti i casi d'uso in produzione, i team che costruiscono l'IA devono comprendere i propri dati di produzione, così come i dati di addestramento in modo da addestrare l'IA per ciò che incontrerà in produzione . L'accesso ai dati di addestramento che provengono da grandi gruppi diversi con vari casi d'uso sarà fondamentale per il successo del modello. Ad esempio, un modello addestrato a riconoscere l'animale domestico delle persone in un'immagine caricata deve essere addestrato su tutti i tipi di animali domestici; cani, gatti, uccelli, piccoli mammiferi, lucertole, ecc. Se il modello si allena solo su cani, gatti e uccelli, quando qualcuno carica un'immagine con la sua cavia, il modello non sarà in grado di identificarlo. Anche se questo è un esempio molto semplice, mostra come la formazione su quanti più probabili casi d'uso possibile sia fondamentale per il successo di un modello.

Discussa nel libro è la necessità di sviluppare buone abitudini di igiene dei dati dall'alto verso il basso, quali sono alcuni primi passi comuni per coltivare questa abitudine?

Buone abitudini di igiene dei dati aumenteranno l'usabilità dei dati interni e li prepareranno per i casi d'uso ML. L'intera azienda deve diventare brava a organizzare e tenere traccia dei suoi set di dati. Un modo sicuro per raggiungere questo obiettivo è renderlo un requisito aziendale e monitorare l'implementazione in modo che ci siano pochissimi report che finiscono per essere lavori personalizzati e i team lavorino sempre di più con pipeline di dati incanalate in un repository centrale, con un'ontologia chiara. Un'altra buona pratica è tenere traccia di quando e dove i dati sono stati raccolti e cosa è successo prima che fossero inseriti nel database, oltre a stabilire processi per ripulire periodicamente i dati inutilizzati o obsoleti.

Grazie per l'ottima intervista, per i lettori che sono interessati a saperne di più, consiglio di leggere il libro Il mondo reale dell'IA: una guida pratica per un apprendimento automatico responsabile.