Ryan McDonald, Chief Scientist bij ASAPP – Interviewreeks

Ryan McDonald is de Chief Scientist bij ASAPP. Hij is verantwoordelijk voor het bepalen van de richting van de onderzoeks- en datasciencegroepen om de visie van ASAPP te verwezenlijken om menselijke activiteit positief te versterken door de vooruitgang van AI. De groep richt zich momenteel op het verbeteren van het veld van taakgerichte dialoog in real-world situaties zoals klantenservice. In dergelijke dynamische omgevingen zijn er veel interactiepunten: het gesprek tussen klant en agent; de omgeving en tools die de agent gebruikt; verschillende maatstaven voor succes; een breed scala aan klantbehoeften en situaties. Het optimaliseren van deze omgeving om kwaliteitresultaten voor klanten, agenten en bedrijven te behalen, vereist een aanzienlijke onderzoeksinvestering in retrieval, taalgeneratie, geconstrueerde optimalisatie, leren en, kritisch, evaluatie.

Ryan heeft meer dan 20 jaar gewerkt aan taalbegrip en machine learning. Zijn PhD-werk aan de University of Pennsylvania richtte zich op nieuwe machine learning-methoden voor gestructureerde voorspelling in NLP, met name informatie-extractie en syntactische analyse. Aan Penn was zijn onderzoek van cruciaal belang voor het laten groeien van de gebieden van dependency parsing en domeinadaptatie in de NLP-gemeenschap. Na zijn PhD sloot Ryan zich aan bij de onderzoeksafdeling van Google (GOOGL ). Daar onderzocht hij sentimentanalyse en samenvattingsmodellen voor consumentenrecensies, wat resulteerde in een van de eerste grote consumentensamenvattingsystemen die door miljoenen gebruikers elke dag werden gebruikt.

Ryans onderzoek richtte zich vervolgens op massaal meertalig taalbegrip. Aanvankelijk richtte zijn onderzoek zich op het verbeteren van machinevertaling, maar de groeiende belangrijkheid van meertaligheid in informatieverwerving en digitale assistenten leidde zijn onderzoek naar het internationaliseren van deze belangrijke technologieën. Ryans team was van cruciaal belang bij de ontwikkeling van Google Assistant als een wereldwijde technologie. Tijdens deze periode leidde hij ook de Universal Dependencies-consortium met een grote set academische medewerkers. Dit is verreweg het grootste meertalige dataconsortium gericht op syntactische taalbronnen. Na meer dan een decennium te hebben gewerkt aan consumentenproducten, schakelde Ryan over naar ondernemingen en leidde talloze NLP- en ML-projecten om Google’s Cloud-diensten te verbeteren, waaronder de core NLP-API, oplossingen voor Call Center AI en kennisverwerving uit wetenschappelijke literatuur. Ryans onderzoek naar ondernemings-NLP en ML gaat door bij ASAPP.

Ryan heeft meer dan 100 onderzoeksartikelen gepubliceerd in top-tier tijdschriften en conferenties, die duizenden keren zijn geciteerd. Hij heeft de beste paperprijs gewonnen op premier internationale conferenties (EMNLP, NAACL) voor zijn werk over meertalige syntactische analyse. Zijn boek ‘Dependency Parsing’ heeft als een van de belangrijkste pedagogische bronnen voor syntactische parsing gediend voor meer dan een decennium. Naast het dienen als area chair bij bijna elke tier-1 NLP- en ML-conferentie, is hij redacteur geweest voor de twee beste tijdschriften in het veld – Transactions of the Association for Computational Linguistics en Computational Linguistics. Hij heeft talloze PhD-studenten en stagiairs geadviseerd en heeft uitgenodigde toespraken gehouden op topconferenties, workshops en premieruniversiteiten over de hele wereld.

Wat heeft je aanvankelijk geïnteresseerd in machine learning en meer specifiek in natuurlijke taalverwerking?

Ik was een undergraduate met een dubbele major in computerwetenschappen en filosofie. Ik was vooral geïnteresseerd in de filosofie van AI en de meer praktische aspecten van hoe AI werkt. Ik was gelukkig genoeg om een onderzoeksproject te krijgen met Gerald Penn aan de University of Toronto, dat zich richtte op het samenvatten van nieuws voor mobiele telefoons. Dat was meer dan 20 jaar geleden en gebruikte zeer primitieve methoden naar hedendaagse maatstaven. Gerald was een geweldige mentor en kreeg me geïnteresseerd in de formele modellen voor de structuur van taal (syntaxis en semantiek). Ik was gefascineerd door de complexiteit van taal en de wiskundige kaders om de fenomenen te verklaren die mensen natuurlijk elke dag parseren. Rond die tijd waren zoekmachines overal, en ik kon de enorme voordelen zien van NLP en ML in de toekomst.

Je hebt meer dan 100 onderzoeksartikelen gepubliceerd in top-tier tijdschriften en conferenties, die duizenden keren zijn geciteerd. Welk van deze was naar jouw mening het meest invloedrijke onderzoeksartikel?

Dit is altijd een moeilijke vraag om te beantwoorden. En als de tijd verstrijkt, denk ik dat mijn antwoord verandert. Als je me een paar jaar geleden had gevraagd, zou het werk zijn dat ik heb gedaan over het gebruik van grafiekalgoritmen voor dependency parsing. Dit artikel, samen met het werk van Joakim Nivre, zorgde voor meer dan een decennium van snel onderzoek naar syntactische dependency parsing, wat een grote impact had op de adoptie van NLP bij technologiebedrijven, waaronder een enorme hoeveelheid werk die collega’s en ik deden bij Google voor Search, Translate, Assistant, enz.

Maar met de snelle adoptie van neurale netwerken, is het gebruik van discrete syntactische representaties van taal teruggedrongen. Ik zou nu zeggen dat het baanbrekende werk is dat ik heb gedaan met John Blitzer en Fernando Pereira over domeinadaptatie. De methoden die we in dat artikel gebruikten, zijn niet super relevant vandaag, maar ik denk dat dat artikel (samen met hedendaags werk van Hal Daume) de problemen en hun belangrijkheid voor het veld verankerde. Nu ik uitsluitend werk in ondernemingen, ben ik me zeer bewust van de problemen die we toen aankaartten en die we nog steeds moeten oplossen.

Je hebt het grootste deel van je carrière bij Google doorgebracht met het helpen bouwen van state-of-the-art NLP- en ML-technologieën en het naar productie brengen ervan. Wat waren enkele van je belangrijkste inzichten uit deze ervaring?

Mijn belangrijkste inzicht zou zijn dat wanneer je NLP- en ML-modellen bouwt, je nooit kunt voorspellen wanneer dingen mis zullen gaan. Je moet geobsedeerd zijn door de data, foutenanalyse, metrics, enz. op alle punten in het proces. Proberen te raden naar de pijnlijke punten is vaak futiel en het is meestal efficiënter om eind-tot-eindmodellen zo snel mogelijk op te bouwen en aan te passen.

Als NLP/ML-onderzoekers focussen we op waar het model kan breken en welke modelleringsveronderstellingen niet zullen standhouden wanneer de rubber de weg raakt. Maar vaak is het gegevensverwerking of UX die de sleutel is tot het maken van succesvolle NLP/ML-producten. Pas wanneer deze solide zijn, kunnen we echt itereren op kwaliteit om alle waarde van de modellen uit te persen.

In het begin van 2021 sloot je je aan bij ASAPP als chief scientist, een bedrijf dat AI-hulpmiddelen aanbiedt om klantenserviceagenten te empoweren, wat trok je aan in deze positie?

Voor een meer complete antwoord, lees mijn blogpost over dit onderwerp. Maar om het samen te vatten, zijn de belangrijkste redenen:

• De problemen zijn moeilijk. Agenten die betrokken zijn bij moeilijke klantenservice-interacties, moeten veel informatie en ervaring meenemen in hun gesprekken om klantproblemen op te lossen. Het bouwen van modellen die waarde toevoegen aan een enorme hoeveelheid domeinkennis is moeilijk, vooral wanneer de signalen zwak zijn. Bijv. was de klanttevredenheidsscore laag omdat de agent iets verkeerd deed, of was de klant gewoon algemeen boos?
• De bedrijven en agenten die in deze ruimte werken, zijn super geïnteresseerd in AI die hen zal helpen de klantenservice te verbeteren. Zij vechten niet tegen vooruitgang, maar zien het als een kritisch instrument om echte problemen op te lossen die zij hebben. Het hebben van zo’n betrokken partner is geweldig.
• Tenslotte, in tegenstelling tot consumententechnologieën, is de set van domeinen en problemen in een ondernemingsomgeving zo heterogeen dat adaptatie (zie mijn antwoord op vraag 2) het probleem is dat moet worden opgelost. Wij kunnen niet alleen diensten bouwen voor één bedrijf of één industrie, maar voor allemaal. Dit is zo’n grote stress-test voor de staat van AI vandaag.
• ASAPP is uniek gefocust op dit probleem.

Kunt u ASAPP’s visie bespreken om menselijke activiteit positief te versterken door de vooruitgang van AI?

Onze centrale hypothese bij ASAPP is dat AI niet mensen moet vervangen, maar hen moet versterken op positieve en productieve manieren. Deze visie is breed en wij hebben ambities om deze toe te passen op alle relevante menselijke activiteit. Echter, aangezien dit een brede opdracht is, hebben wij ons eerst gericht op het domein van de klantenservice.

Het domein van de klantenservice belichaamt alle uitdagingen en beloningen die samenhangen met het versterken van menselijke activiteit. Agenten zijn betrokken bij complexe probleemoplossingstaken die hen dwingen om werkprocessen te volgen, relevante informatie op te halen uit klant- en kennisbases en zich aan te passen aan nuancesituaties waarin een klant zich kan bevinden. Dit geeft aanleiding tot een enorme hoeveelheid kansen voor AI om dit proces te verbeteren. Echter, wij denken dat het belangrijk is om dit op een positieve manier te doen, door:

• Versterking die plaatsvindt op punten die natuurlijk en vloeiend zijn tijdens de loop van het werk van de agent. Dit is kritisch. Als AI storend of tussenkomend is op onhandige momenten of met slechte latentie, zal dit eigenlijk een negatief effect hebben op de ervaring van de agent, aangezien hij/zij de AI zal moeten negeren.
• Nog kritischer, wij willen dat de AI positieve resultaten behaalt voor alle betrokken mensen. In dit geval is het de klant, de agent en de organisatie. Klanten willen dat hun problemen efficiënt en effectief worden opgelost. Agenten willen dat voor klanten doen. Bovendien doen agenten een moeilijke baan, vaak omgaand met moeilijke, ontevreden klanten. AI moet hen helpen om hun werk en cognitieve belasting in balans te houden om vermoeidheid en burn-out te verminderen en de tevredenheid met de baan te verhogen. Uiteindelijk willen wij positieve bedrijfsresultaten voor het bedrijf dat de callcenter runt. Dit kan klanttevredenheid zijn, de doorvoer van problemen die in een dag kunnen worden opgelost of zelfs de hoeveelheid verkoop.

Voor callcenters denken wij vaak dat de positieve resultaten tussen de klant, agent en bedrijf in conflict zijn met elkaar. Maar goede AI zal helpen om te optimaliseren voor alle drie.

Kunt u de huidige AI-anatomie van een callcenter bespreken?

Vandaag de dag heeft bijna elk stadium van uw contact met een callcenter een vorm van AI die het oplost of informeert over hoe het probleem wordt aangepakt.

De eerste stap is een interactieve voice response (IVR) of chatbot. Dit is volledig automatisch en de belangrijkste doelstelling is om te begrijpen waarom een klant belt en om hen dienovereenkomstig te routeren. Mogelijk proberen deze systemen zo veel mogelijk informatie te verzamelen voordat ze de klant naar een agent sturen om de kans te maximaliseren dat de agent het probleem snel kan oplossen. Veel moderne bots kunnen ook het probleem van de gebruiker rechtstreeks oplossen zonder dat een agent nodig is – genaamd “bevattingsbreedte” omdat het nooit menselijke interventie nodig heeft. Dit kan worden bereikt door FAQs aan te bevelen of door eenvoudigweg een eenvoudige taak voor de klant uit te voeren.

Na dit gaat het gesprek naar de agent. Eenmaal bij de agent is de belangrijkste rol van AI om de agent te begeleiden en suggesties te doen. Wat moeten ze het volgende zeggen? Welke stroom moeten ze volgen? Welke kennisbase-artikelen zullen helpen om het probleem op te lossen? Deze modellen zijn meestal getraind op historische gegevens en geoptimaliseerd voor een bepaalde prestatie-indicator, die kan zijn de tijd die nodig is om het probleem op te lossen of de klanttevredenheidsscore (was de klant tevreden met de ervaring).

Als het gesprek of de chat is afgelopen, is AI nog steeds aan het werk. In de meeste callcenters zal de agent gestructureerde informatie en notities achterlaten over wat er tijdens het gesprek is gebeurd. Dit is voor analytische doeleinden, maar ook voor eventuele volgende agenten die het probleem oppakken als het nog niet is opgelost. AI helpt bij al deze stappen.

Uiteindelijk zijn er in een callcenter supervisors die helpen om agenten te ondersteunen en hun vaardigheden te laten groeien. AI kan hier kritiek zijn. In een callcenter met honderden agenten die duizenden gesprekken per dag afhandelen, hoe kunnen supervisors de problemen identificeren die hun interventie nodig hebben? Hoe kunnen ze begrijpen wat er tijdens de dag is gebeurd? Hoe kunnen ze gebieden van verbetering voor agenten identificeren om hun vaardigheden te laten groeien?

Hoe helpt ASAPP bij het verminderen van de verloop van medewerkers in callcenters?

Grote bedrijven die consumentengoederen en -diensten aanbieden, geven miljoenen, en soms miljarden dollars per jaar uit aan contactcenters die hun klanten bedienen, waarbij de arbeidskosten 80-90% van de totale kosten vertegenwoordigen. Dit is een groot probleem dat de verloop van agenten tot 40% – en soms 100% of meer – per jaar drijft.

Er is vaak een karikatuur dat agenten onverschillig zijn voor uw problemen en door de bewegingen gaan. In het ergste geval zelfs uw vermogen om een probleem op te lossen belemmeren. Niets kan verder van de waarheid zijn. Agenten, zoals alle mensen, halen voldoening uit het helpen van klanten om hun problemen op te lossen. Hoe zou je liever je dag doorbrengen, luisterend naar robuuste ‘dank je’s of schreeuwende klanten? In een recente studie die wij hebben uitgevoerd, ontdekten wij dat 90% van de agenten meldden dat gesprekken met klanten hun dag maakten, en de meerderheid zei dat ze tevreden waren met hun baan. Maar agenten willen de tools en training die nodig zijn om klanten tevreden te stellen. Ontevreden klanten leiden tot gefrustreerde, vermoeide en gestresseerde agenten. Dit is de primaire driver van verloop.

AI die de agenten tijdens een gesprek versterkt (zoals eerder beschreven) helpt al. Als de agent de tools en richtlijnen heeft om effectief en snel een probleem voor een klant op te lossen, dan kunnen de kansen alleen maar hoger zijn dat de klant tevreden is, wat op zijn beurt moet leiden tot een hogere tevredenheid met de baan.

Maar ASAPP begint niet daar. Terwijl real-time dynamische richtlijnen kritiek zijn, is meer gestructureerde training, coaching en feedback ook belangrijk. Veel agenten trainen op nieuwe problemen of procedures ‘live’. Dat wil zeggen, ze krijgen een beschrijving van de procedure, maar zien het alleen in de praktijk wanneer ze een gesprek hebben met een echte klant. Stel je voor dat we pilots het vliegtuighandboek gaven en zeiden dat ze 300 passagiers naar Denver moesten vliegen? Vanwege dit, richten wij ons op het gebruik van AI om tools te helpen bouwen voor agenten om procedures te oefenen en moeilijke situaties aan te pakken voordat ze met live klanten omgaan. Wanneer dit wordt gekoppeld aan gerichte feedback (of door een supervisor of automatisch), zal dit de agent in staat stellen om zijn vaardigheden te laten groeien in een minder stressvolle omgeving.

Beter AI om klanttevredenheid in dynamische situaties te verbeteren, evenals AI voor gefundeerde training – dat is hoe ASAPP de focus legt op de agent met als uiteindelijk doel de verloop te verminderen.

Wat zijn enkele voorbeelden van de resultaten die kunnen worden behaald door AI in een callcenter op te nemen?

Zoals eerder gedeeld, kan AI een transformatieve technologie zijn om de productiviteit te verhogen. Voor een Amerikaanse luchtvaartmaatschappij waar wij mee werken, zagen wij een toename van 86% in de productiviteit van de agenten en een stijging van 127% in de organisatorische doorvoer (totaal aantal interacties via alle klantenservicekanalen gedeeld door de arbeid die nodig is om deze te vervullen). Voor een wereldwijd netwerkoperator die ASAPP-diensten gebruikt, steeg de net promoter score (de bereidheid van klanten om de producten of diensten van een bedrijf aan anderen aan te bevelen) met 45%. Voor een van de top 3-kabelbedrijven dat ASAPP gebruikt, daalde de kost per interactie met 52%. Deze voorbeelden laten zien hoe AI de productiviteit kan verhogen, de kwaliteit van de klantenservice kan verbeteren en de bedrijfskosten kan verlagen.

Wat is uw persoonlijke visie voor de toekomst van AI in de werkplek?

AI is al behoorlijk prevalent in de werkplek. Terwijl ik dit schrijf, helpen spelling- en grammaticacontrole, evenals tekstautocompilere, mij. Ik heb spamfilters en berichtclassificaties op mijn e-mail/messagingtools. Ik gebruik AI-geactiveerde zoekopdrachten om de relevante informatie te vinden die ik nodig heb om uit te voeren. Dit zal groeien naarmate mijn adoptie en het aantal AI-geactiveerde functies en hun kwaliteit toeneemt.

Maar ik zou dit soort AI-versterking atoomachtig noemen. Het helpt me zeker, maar op zeer specifieke momenten die hoge precisievoorspellingen toelaten. Ik kan zeker niet vragen aan een AI om deze vragen voor mij te beantwoorden – nog niet 🙂

Meer serieus, mijn visie is om de adoptie van eind-tot-eind-AI in de werkplek te zien. Ik bedoel hiermee niet eind-tot-eind in de zin van machine learning-modellering. Wat ik bedoel, is dat AI holistisch grote en complexe taken zal aansturen die worden geoptimaliseerd voor het algemene doel en niet alleen voor atomaire punten tijdens het proces. ASAPP brengt dit al tot stand in callcenters. Bijvoorbeeld, wij optimaliseren wat de agent het volgende zal zeggen op basis van een holistische set factoren over waar de agent zich in het gesprek bevindt en wat het uiteindelijke doel is. Maar daarbuiten, stel je voor dat een wetenschapper een systematische review van een belangrijk onderwerp schrijft, een software-ingenieur een platform bouwt of complexe systemen integreert, een advocaat een juridisch advies schrijft, enz. In de toekomst zal elke professional afhankelijk zijn van AI om snel hun effectiviteit bij deze taken te verhogen en de gewenste resultaten te optimaliseren, waardoor zij worden vrijgemaakt voor kritieke uitdagingen.

Is er nog iets anders dat u zou willen delen over ASAPP?

Ons onderzoeksteam bij ASAPP heeft een duidelijke focus: wij zijn AI aan het ontwikkelen om menselijke activiteit te versterken om echte problemen in ondernemingen aan te pakken. Onderzoekers bij ASAPP werken aan het fundamenteel verbeteren van de wetenschap van NLP en ML met als doel domeinspecifieke, real-world AI-oplossingen te implementeren, en om die vooruitgang toe te passen op onze producten. Zij gebruiken de enorme hoeveelheden data gegenereerd door onze producten, en onze mogelijkheid om AI-functies in real-world-gebruik te implementeren om fundamentele onderzoeksverragen op te stellen en te beantwoorden op nieuwe manieren.

Ontdek onze recente papers op https://www.asapp.com/ai-research/.

Bedankt voor de gedetailleerde antwoorden, lezers die meer willen leren, moeten ASAPP bezoeken.