Ryan McDonald, Chief Scientist at ASAPP – Interview Series

Ryan McDonald è il Chief Scientist di ASAPP. È responsabile dell’individuazione della direzione dei gruppi di ricerca e scienza dei dati al fine di raggiungere la visione di ASAPP di aumentare positivamente l’attività umana attraverso l’avanzamento dell’AI. Il gruppo si concentra attualmente sull’avanzamento del campo del dialogo orientato alle attività in situazioni del mondo reale come l’assistenza clienti. In tali ambienti dinamici ci sono molte parti interagenti: la conversazione tra cliente e agente; l’ambiente e gli strumenti utilizzati dall’agente; diverse misure di successo; una vasta gamma di esigenze e situazioni dei clienti. Ottimizzare questo ambiente al fine di condurre a risultati di qualità per i clienti, gli agenti e le aziende richiede un significativo investimento di ricerca in recupero, generazione di linguaggio, ottimizzazione vincolata, apprendimento e, in modo critico, valutazione.

Ryan lavora su comprensione del linguaggio e apprendimento automatico da oltre 20 anni. Il suo lavoro di dottorato all’Università della Pennsylvania si è concentrato su metodi di apprendimento automatico innovativi per la previsione strutturata in NLP, in particolare l’estrazione di informazioni e l’analisi sintattica. A Penn, la sua ricerca è stata fondamentale per far crescere i campi dell’analisi delle dipendenze e dell’adattamento di dominio nella comunità NLP. Dopo il dottorato, Ryan si è unito al gruppo di ricerca di Google. Lì ha condotto ricerche sull’analisi del sentiment e sui modelli di riassunto per le recensioni dei consumatori, che hanno portato a uno dei primi grandi sistemi di riassunto dei consumatori utilizzato da milioni di utenti ogni giorno.

La ricerca di Ryan si è poi concentrata sulla comprensione del linguaggio multilingue su larga scala. Inizialmente, la sua ricerca si è concentrata sul miglioramento della traduzione automatica, ma l’importanza crescente della multilinguità nel recupero delle informazioni e negli assistenti digitali ha portato la sua ricerca verso l’internazionalizzazione di queste tecnologie importanti. Il team di Ryan è stato fondamentale nello sviluppo di Google Assistant come tecnologia globale. Durante questo periodo, ha anche guidato il consorzio Universal Dependencies con un grande insieme di collaboratori accademici. Questo è di gran lunga il più grande consorzio di dati multilingue finalizzato alle risorse linguistiche sintattiche. Dopo oltre un decennio trascorso a lavorare su prodotti per i consumatori, Ryan ha cambiato direzione verso l’impresa e ha guidato numerosi progetti NLP e ML per migliorare i servizi cloud di Google, tra cui l’API NLP di base, le soluzioni per Call Center AI e la scoperta della conoscenza dalla letteratura scientifica. La ricerca di Ryan sull’NLP e l’ML per l’impresa continua in ASAPP.

Ryan ha pubblicato oltre 100 articoli di ricerca su riviste e conferenze di alto livello che sono stati citati migliaia di volte. Ha vinto premi per il miglior articolo alle principali conferenze internazionali (EMNLP, NAACL) per il suo lavoro sull’analisi sintattica multilingue. Il suo libro ‘Dependency Parsing’ ha servito come una delle principali risorse pedagogiche nell’analisi sintattica per oltre un decennio. Oltre a servire come presidente di area in quasi tutte le conferenze NLP e ML di livello 1, è stato un editore per le due principali riviste del settore — Transactions of the Association for Computational Linguistics e Computational Linguistics. Ha consigliato numerosi studenti di dottorato e tirocinanti e ha tenuto discorsi invitati alle principali conferenze, workshop e università di tutto il mondo.

Cosa ti ha inizialmente interessato all’apprendimento automatico e, più specificamente, all’elaborazione del linguaggio naturale?

Ero uno studente con una doppia laurea in informatica e filosofia. Ero particolarmente interessato alla filosofia dell’AI nonché agli aspetti più pratici di come funzionava l’AI. Ero abbastanza fortunato da ottenere un progetto di ricerca con Gerald Penn all’Università di Toronto che si concentrava su la sintesi di notizie per telefoni cellulari. Questo era oltre 20 anni fa e utilizzava metodi molto primitivi rispetto agli standard odierni. Gerald era un grande mentore e mi ha fatto interessare ai modelli formali per la struttura del linguaggio (sintassi e semantica). Ero affascinato dalla complessità del linguaggio e dai framework matematici per spiegare i fenomeni che gli esseri umani analizzano naturalmente ogni giorno. Intorno a quel periodo, i motori di ricerca erano onnipresenti e potevo vedere il grande vantaggio per l’NLP e l’ML nel futuro.

Hai pubblicato oltre 100 articoli di ricerca su riviste e conferenze di alto livello che sono stati citati migliaia di volte, secondo te quale di questi è stato il lavoro di ricerca più influente?

Questa è sempre una domanda difficile da rispondere. E con il passare del tempo, credo che la mia risposta cambi. Se me lo avessi chiesto alcuni anni fa, sarebbe stato il lavoro che ho fatto sull’uso di algoritmi dei grafici per l’analisi delle dipendenze. Questo articolo, insieme al lavoro di Joakim Nivre, ha generato oltre un decennio di rapida ricerca sull’analisi delle dipendenze sintattiche, che ha avuto un grande impatto sull’adozione dell’NLP nelle aziende tecnologiche, compreso un enorme lavoro che i miei colleghi e io abbiamo fatto a Google per la Ricerca, la Traduzione, l’Assistente, ecc.

Tuttavia, con l’adozione rapida delle reti neurali, l’uso di rappresentazioni sintattiche discrete del linguaggio è diminuito. Direi ora che è il lavoro seminale che ho fatto con John Blitzer e Fernando Pereira su l’adattamento di dominio. I metodi che abbiamo utilizzato in quel lavoro non sono più molto rilevanti oggi, tuttavia credo che quel lavoro (insieme al lavoro contemporaneo di Hal Daume) abbia solidificato la cornice del problema e la sua importanza per il settore. Ora che lavoro esclusivamente nell’ambito aziendale, sono molto consapevole dei problemi che abbiamo sollevato allora e che dobbiamo ancora risolvere.

Hai trascorso la maggior parte della tua carriera a Google aiutando a costruire tecnologie NLP e ML all’avanguardia e a portarle in produzione. Quali sono state alcune delle tue principali conclusioni da questa esperienza?

La mia principale conclusione sarebbe che, quando si costruiscono modelli NLP e ML, non si può mai prevedere quando le cose potrebbero andare storte. È necessario essere ossessionati dai dati, dall’analisi degli errori, dalle metriche, ecc. in tutti i punti del processo. Tentare di indovinare i punti dolenti è spesso futile e spesso è più efficiente costruire modelli end-to-end il più rapidamente possibile e adattarsi.

Come ricercatori NLP/ML, ci concentriamo su dove il modello potrebbe rompersi e quali assunzioni di modellazione non saranno valide quando la gomma incontra la strada. Ma spesso è l’elaborazione dei dati o l’esperienza utente a essere la chiave per creare prodotti NLP/ML di successo. Solo quando questi sono solidi possiamo realmente iterare sulla qualità per estrarre tutto il valore dei modelli.

All’inizio del 2021, ti sei unito ad ASAPP come chief scientist, un’azienda che offre strumenti AI per potenziare gli agenti di servizio clienti, cosa ti ha attirato verso questa posizione?

Per una risposta più completa, leggi il mio post del blog su questo argomento. Ma per sintetizzare, i motivi principali sono:

• I problemi sono difficili. Gli agenti che sono coinvolti in interazioni di servizio clienti difficili devono portare una grande quantità di informazioni e esperienza per risolvere i problemi dei clienti. Costruire modelli che aggiungono valore su una grande quantità di conoscenza di dominio è difficile, in particolare quando i segnali sono deboli. Ad esempio, il punteggio di soddisfazione del cliente era basso perché l’agente ha fatto qualcosa di sbagliato o perché il cliente era semplicemente arrabbiato?
• Le aziende e gli agenti che lavorano in questo settore sono super entusiasti dell’AI che li aiuterà a migliorare l’esperienza del cliente. Non combattono i progressi, ma li vedono come strumenti critici per risolvere problemi reali che hanno. Avere questo tipo di partner impegnato è incredibile.
• Infine, a differenza delle tecnologie per i consumatori, l’insieme di domini e problemi in un ambiente aziendale è così eterogeneo che l’adattamento (vedi la mia risposta alla domanda 2) è il problema che deve essere risolto. Non possiamo semplicemente costruire servizi per un’azienda o un’industria, ma per tutte. Questo è un test di stress così grande per lo stato dell’AI oggi.
• ASAPP si concentra esclusivamente su questo problema.

Puoi discutere della visione di ASAPP di aumentare positivamente l’attività umana attraverso l’avanzamento dell’AI?

La nostra ipotesi centrale in ASAPP è che l’AI non dovrebbe sostituire gli esseri umani, ma aumentarli in modi positivi e produttivi. Questa visione è ampia e abbiamo ambizioni di applicarla a tutte le attività umane rilevanti. Tuttavia, poiché questo è un mandato ampio, il primo settore su cui abbiamo scelto di concentrarci è il dominio dell’esperienza del cliente.

Il dominio dell’esperienza del cliente incarna tutte le sfide e i vantaggi che derivano dall’aumentare l’attività umana. Gli agenti sono coinvolti in compiti di risoluzione di problemi complicati che richiedono loro di seguire flussi di lavoro, recuperare informazioni rilevanti dalle basi di conoscenza dei clienti e adattarsi a situazioni sfumate in cui un cliente potrebbe trovarsi. Ciò dà origine a un’enorme quantità di opportunità per l’AI di migliorare quel processo. Tuttavia, pensiamo che sia importante farlo in modo positivo, ovvero:

• L’aumento avviene in punti che sono naturali e fluidi durante il corso del lavoro dell’agente. Questo è critico. Se l’AI interferisce o interviene in momenti scomodi o con una latenza scarsa, ciò avrà effettivamente un impatto negativo sull’esperienza dell’agente, poiché dovranno consapevolmente ignorare l’AI.
• Più criticamente, vogliamo che l’AI raggiunga risultati positivi per tutti gli esseri umani coinvolti. In questo caso si tratta del cliente, dell’agente e dell’organizzazione. I clienti vogliono che i loro problemi vengano gestiti in modo efficiente ed efficace. Gli agenti vogliono farlo per i clienti. Inoltre, gli agenti stanno facendo un lavoro difficile, spesso affrontando clienti insoddisfatti. L’AI dovrebbe aiutarli a bilanciare il lavoro e il carico cognitivo per ridurre la stanchezza e il burnout e aumentare la soddisfazione lavorativa. Dopotutto, gli agenti nei call center hanno uno dei tassi di turnover più alti (fino al 100% all’anno in alcuni call center) di qualsiasi lavoro in America. Infine, vogliamo risultati aziendali positivi per l’azienda che gestisce il call center. Ciò può essere la soddisfazione del cliente, il throughput delle questioni che possono essere gestite in un giorno o addirittura il volume delle vendite.

Per i call center, spesso pensiamo che i risultati positivi tra il cliente, l’agente e l’azienda siano in conflitto tra loro. Ma una buona AI aiuterà a ottimizzare per tutti e tre.

Puoi discutere dell’attuale anatomia dell’AI in un call center?

Oggi, quasi ogni fase del tuo contatto con un call center ha una forma di AI che guida o informa su come il problema venga affrontato.

Il primo passo è una risposta interattiva vocale (IVR) o un chatbot. Questo è completamente automatico e il suo scopo principale è capire il motivo per cui un cliente sta chiamando e instradarlo di conseguenza. Potenzialmente, questi sistemi possono raccogliere quanta più informazione possibile prima di inviare il cliente a un agente per massimizzare la possibilità che l’agente possa risolvere rapidamente il problema. Molti bot moderni possono anche risolvere direttamente il problema dell’utente senza aver bisogno di un agente – chiamato “contenimento” poiché la chiamata non richiede intervento umano. Ciò può essere realizzato raccomandando FAQ o semplicemente eseguendo una semplice attività per il cliente.

Dopo di questo, la chiamata va all’agente. Una volta all’agente, il ruolo principale dell’AI è guidare e fare suggerimenti all’agente. Cosa dovrebbero dire dopo? Quale flusso dovrebbero seguire? Quali articoli della base di conoscenza aiuteranno a risolvere il problema? Questi modelli sono solitamente addestrati su dati storici e ottimizzati per alcuni indicatori chiave di prestazione, che possono essere il tempo di gestione (quanto rapidamente il problema è stato risolto) o il punteggio di soddisfazione del cliente (il cliente era felice dell’esperienza).

Una volta che la chiamata o la chat è terminata, l’AI è ancora al lavoro. Nella maggior parte dei call center, l’agente lascerà informazioni strutturate e note su cosa è accaduto durante la chiamata. Ciò è per scopi analitici, ma anche per qualsiasi agente successivo che riprenderà la questione se non è stata risolta. L’AI aiuta con tutti questi passaggi.

Infine, in un call center, ci sono supervisori che sono lì per aiutare gli agenti e far crescere le loro competenze. L’AI può essere critica qui. In un call center con centinaia di agenti che gestiscono migliaia di chiamate al giorno, come possono i supervisori identificare i problemi che richiedono il loro intervento? Come possono capire cosa è accaduto durante il giorno? Come possono trovare aree di miglioramento per gli agenti per far crescere le loro competenze?

Come aiuta ASAPP a ridurre il turnover degli impiegati del call center?

Le grandi aziende che offrono beni e servizi di consumo spendono milioni, e a volte miliardi di dollari all’anno in call center che servono i loro clienti, con i costi del lavoro che rappresentano l’80-90% dei costi totali. È un grande problema che spinge il turnover degli agenti al 40% – e a volte al 100% o più – ogni anno.

C’è spesso una caricatura che gli agenti sono indifferenti ai tuoi problemi e stanno solo passando il tempo. Nella peggiore delle ipotesi, addirittura ostacolano la tua capacità di risolvere un problema. Nulla può essere più lontano dalla verità. Gli agenti, come tutte le persone, derivano soddisfazione dal risolvere i problemi dei clienti. Come vorresti trascorrere la tua giornata, ascoltando ‘grazie’ robusti o clienti che urlano? In uno studio recente che abbiamo condotto, abbiamo scoperto che il 90% degli agenti ha riferito che le chiamate con i clienti hanno reso la loro giornata, e la maggior parte afferma di essere felice del proprio lavoro. Tuttavia, gli agenti vogliono gli strumenti e l’addestramento necessari per rendere i clienti felici. I clienti infelici portano a frustrazione, fatica e stress degli agenti. Questo è il principale driver del turnover.

L’AI che aumenta gli agenti durante una chiamata (come descritto in precedenza) aiuta già. Se l’agente ha gli strumenti e la guida su come risolvere efficacemente e rapidamente un problema per un cliente, allora le probabilità che il cliente sia felice possono solo essere più alte, il che a sua volta dovrebbe portare a una maggiore soddisfazione lavorativa.

Tuttavia, ASAPP non inizia da lì. Mentre la guida dinamica in tempo reale è critica, anche un addestramento più strutturato, coaching e feedback sono importanti. Molti agenti si addestrano su nuove questioni o procedure ‘live’. Ciò significa che ricevono una descrizione della procedura, ma poi la vedono solo in pratica quando ricevono una chiamata con un cliente reale. Immagina di dare ai piloti il manuale dell’aereo e poi dir loro di volare con 300 passeggeri a Denver? Perché di questo, ci stiamo concentrando sull’uso dell’AI per aiutare a costruire strumenti per gli agenti per praticare le procedure e gestire situazioni difficili prima di affrontare clienti reali. Quando questo viene accoppiato con un feedback mirato (sia da un supervisore che automatico), ciò consentirà all’agente di far crescere le proprie competenze in un ambiente meno stressante.

Migliore AI per migliorare la soddisfazione del cliente in situazioni dinamiche, nonché AI per un addestramento fondato – è così che ASAPP si concentra sull’agente con l’obiettivo finale di ridurre il turnover.

Quali sono alcuni esempi dei tipi di risultati che possono essere raggiunti incorporando l’AI in un call center?

Come condiviso in precedenza, l’AI può essere una tecnologia trasformativa nell’aumentare la produttività. Per una compagnia aerea statunitense con cui lavoriamo, abbiamo visto la produttività degli agenti aumentare dell’86% e un aumento del throughput organizzativo (numero totale di interazioni attraverso tutti i canali di servizio clienti diviso per il lavoro speso per soddisfare tali esigenze) del 127%. Per un operatore di rete globale che utilizza i servizi ASAPP, i punteggi netti del promotore (la disponibilità dei clienti a raccomandare i prodotti o i servizi di un’azienda ad altri) sono aumentati del 45%. Per una delle prime tre aziende di cavi che utilizza ASAPP, il costo per interazione è diminuito del 52%. Questi esempi mostrano come l’AI possa aumentare la produttività, migliorare la qualità del servizio clienti e ridurre i costi aziendali.

Qual è la tua visione personale per il futuro dell’AI nel luogo di lavoro?

L’AI è già abbastanza diffusa nel luogo di lavoro. Mentre scrivo, i controlli ortografici e grammaticali, nonché il completamento automatico del testo, mi stanno aiutando. Ho filtri antispam e classificatori di messaggi sul mio e-mail/messaggistica. Utilizzo la ricerca AI per trovare le informazioni rilevanti di cui ho bisogno per eseguire. Ciò crescerà, così come la mia adozione, man mano che il numero di funzionalità AI e la loro qualità aumentano.

Tuttavia, chiamerei questo tipo di AI “atomico”. Sta certamente aiutando me, ma in momenti molto precisi che consentono previsioni ad alta precisione. Certamente non posso chiedere a un’AI di rispondere a queste domande, ad esempio 🙂

Più seriamente, la mia visione è vedere l’adozione di AI end-to-end in tutto il luogo di lavoro. Non intendo end-to-end nel senso del modello di apprendimento automatico. Cosa intendo è che l’AI potrà alimentare in modo olistico compiti grandi e complessi ottimizzati per l’obiettivo generale e non solo per punti atomici durante il processo. ASAPP sta già portando ciò a realtà nei call center. Ad esempio, ottimiziamo cosa l’agente dirà dopo in base a un insieme olistico di fattori su dove si trova l’agente nella conversazione e quale è l’obiettivo finale. Ma oltre a ciò, immaginate uno scienziato che scrive una revisione sistematica di un argomento importante, un ingegnere del software che costruisce una piattaforma o integra sistemi complessi, un avvocato che scrive una breve legale, ecc. Nel futuro, ciascuno di questi professionisti dipenderà dall’AI per aumentare rapidamente la loro efficacia in questi compiti e ottimizzare i risultati desiderati, liberandoli da sfide più critiche.

C’è qualcos’altro che ti piacerebbe condividere su ASAPP?