Ryan McDonald, Chief Scientist at ASAPP – Interview Series

Ryan McDonald is de Chief Scientist bij ASAPP. Hij is verantwoordelijk voor het bepalen van de richting van de onderzoeks- en datasciencegroepen om de visie van ASAPP te verwezenlijken om de menselijke activiteit positief te versterken door de vooruitgang van AI. De groep richt zich momenteel op het verbeteren van het veld van taakgerichte dialoog in real-world situaties zoals klantenservice. In dergelijke dynamische omgevingen zijn er veel interactiecomponenten: het gesprek tussen klant en agent; de omgeving en tools die de agent gebruikt; verschillende maatstaven voor succes; een breed scala aan klantbehoeften en situaties. Het optimaliseren van deze omgeving om tot kwalitatief hoogwaardige resultaten te komen voor klanten, agenten en bedrijven vereist een aanzienlijke onderzoeksinvestering in opzoekingen, taalgeneratie, geconstrueerde optimalisatie, leren en, kritisch, evaluatie.

Ryan werkt al meer dan 20 jaar aan taalbegrip en machine learning. Zijn PhD-werk aan de University of Pennsylvania richtte zich op nieuwe machine learning-methoden voor gestructureerde voorspelling in NLP, met name informatie-extractie en syntactische analyse. Aan Penn was zijn onderzoek van cruciaal belang voor het laten groeien van de gebieden van afhankelijkheidsanalyse en domeinadaptatie in de NLP-gemeenschap. Na zijn PhD sloot Ryan zich aan bij Google’s Research-groep. Daar onderzocht hij sentimentanalyse en samenvattingsmodellen voor consumentenrecensies, wat resulteerde in een van de eerste grote schaal consumentensamenvattingsystemen die elke dag door miljoenen gebruikers worden gebruikt.

Ryan’s onderzoek richtte zich vervolgens op massaal meertalig taalbegrip. Aanvankelijk richtte zijn onderzoek zich op het verbeteren van machinevertaling, maar de groeiende importantie van meertaligheid in informatie-opzoekingen en digitale assistenten leidde zijn onderzoek naar het internationaliseren van deze belangrijke technologieën. Ryan’s team was van cruciaal belang bij de ontwikkeling van Google Assistant als een wereldwijde technologie. Tijdens deze periode leidde hij ook de Universal Dependencies-consortium met een grote set van academische medewerkers. Dit is verreweg het grootste meertalige gegevensconsortium dat zich richt op syntactische taalbronnen. Na meer dan een decennium te hebben gewerkt aan consumentenproducten, schakelde Ryan over naar ondernemingen en leidde talloze NLP- en ML-projecten om Google’s Cloud-diensten te verbeteren, waaronder de core NLP-API, oplossingen voor Call Center AI en kennisontdekking uit wetenschappelijke literatuur. Ryan’s onderzoek naar ondernemings-NLP en ML gaat door bij ASAPP.

Ryan heeft meer dan 100 onderzoeksartikelen gepubliceerd in top-tier tijdschriften en conferenties die duizenden keren zijn geciteerd. Hij heeft de beste paper-prijzen gewonnen op premier internationale conferenties (EMNLP, NAACL) voor zijn werk over meertalige syntactische analyse. Zijn boek ‘Dependency Parsing’ heeft gedurende meer dan een decennium gediend als een van de belangrijkste pedagogische bronnen voor syntactische parsing. Naast het dienen als area chair bij bijna elke tier-1 NLP- en ML-conferentie, is hij redacteur geweest voor de twee belangrijkste tijdschriften in het veld – Transactions of the Association for Computational Linguistics en Computational Linguistics. Hij heeft talloze PhD-studenten en stagiairs geadviseerd en heeft uitgenodigde toespraken gehouden op topconferenties, workshops en premieruniversiteiten over de hele wereld.

Wat was de aanleiding voor uw interesse in machine learning en meer specifiek natuurlijke taalverwerking?

Ik was een undergraduate met een dubbele major in informatica en filosofie. Ik was met name geïnteresseerd in de filosofie van AI en de meer praktische aspecten van hoe AI werkt. Ik was gelukkig genoeg om een onderzoeksproject te krijgen met Gerald Penn aan de University of Toronto dat zich richtte op het samenvatten van nieuws voor mobiele telefoons. Dat was meer dan 20 jaar geleden en gebruikte zeer primitieve methoden naar hedendaagse standaarden. Gerald was een geweldige mentor en kreeg me geïnteresseerd in de formele modellen voor de structuur van taal (syntaxis en semantiek). Ik was gefascineerd door de complexiteit van taal en de wiskundige kaders om de fenomenen te verklaren die mensen natuurlijk elke dag parseren. Rond die tijd waren zoekmachines alomtegenwoordig, en ik kon de enorme voordelen zien van NLP en ML in de toekomst.

U heeft meer dan 100 onderzoeksartikelen gepubliceerd in top-tier tijdschriften en conferenties die duizenden keren zijn geciteerd, in uw mening, welk van deze was het meest invloedrijke onderzoeksartikel?

Dit is altijd een moeilijke vraag om te beantwoorden. En naarmate de tijd verstrijkt, denk ik dat mijn antwoord verandert. Als u me een paar jaar geleden zou vragen, zou het werk zijn dat ik deed over het gebruik van graafalgoritmen voor afhankelijkheidsanalyse. Dit artikel, samen met het werk van Joakim Nivre, zorgde voor meer dan een decennium van snel onderzoek naar syntactische afhankelijkheidsanalyse, wat een grote impact had op de adoptie van NLP bij technologiebedrijven, waaronder een enorme hoeveelheid werk die collega’s en ik deden bij Google voor Zoeken, Vertalen, Assistant, enz.

Echter, met de snelle adoptie van neurale netwerken, is het gebruik van discrete syntactische representaties van taal afgenomen. Ik zou nu zeggen dat het baanbrekende werk is dat ik deed met John Blitzer en Fernando Pereira over domeinadaptatie. De methoden die we in dat artikel gebruikten, zijn niet super relevant vandaag, maar ik denk dat dat artikel (samen met hedendaags werk van Hal Daume) de problemen en hun belang voor het veld verankerde. Nu ik uitsluitend werk in ondernemingen, ben ik me zeer bewust van de problemen die we toen aankaartten en die we nog steeds moeten oplossen.

U heeft het grootste deel van uw carrière bij Google doorgebracht met het helpen bij het bouwen van state-of-the-art NLP- en ML-technologieën en het naar productie brengen ervan. Wat waren enkele van uw belangrijkste inzichten uit deze ervaring?

Mijn belangrijkste inzicht zou zijn dat wanneer u NLP- en ML-modellen bouwt, u nooit kunt voorspellen wanneer dingen verkeerd zullen gaan. U moet geobsedeerd zijn door de gegevens, foutenanalyse, metrics, enz. op alle punten in het proces. Proberen te raden waar de pijnlijke punten zitten, is vaak futiel en het is meestal efficiënter om eind-tot-eindmodellen zo snel mogelijk op te bouwen en aan te passen.

Als NLP/ML-onderzoekers richten we ons op waar het model kan breken en welke modelaanname niet zal standhouden wanneer de rubber de weg raakt. Maar vaak is het gegevensverwerking of UX die de sleutel is tot het maken van succesvolle NLP/ML-producten. Alleen wanneer deze solide zijn, kunnen we echt itereren op kwaliteit om alle waarde van de modellen uit te persen.

In het begin van 2021 sloot u zich aan bij ASAPP als chief scientist, een bedrijf dat AI-hulpmiddelen aanbiedt om klantenserviceagenten te empoweren, wat trok u aan in deze positie?

Voor een meer complete antwoord leest u mijn blogpost over dit onderwerp. Maar om te synthetiseren, de belangrijkste redenen zijn:

• De problemen zijn moeilijk. Agenten die betrokken zijn bij moeilijke klantenservice-interacties moeten veel informatie en ervaring meebrengen om klantproblemen op te lossen. Het bouwen van modellen die waarde toevoegen bovenop een enorme hoeveelheid domeinkennis is moeilijk, met name wanneer de signalen zwak zijn. Bijv., was de klanttevredenheidsscore laag omdat de agent iets verkeerd deed, of was de klant gewoon algemeen van streek?
• De bedrijven en agenten die in deze ruimte werken, zijn super geïnteresseerd in AI die hen zal helpen de klantenservice te verbeteren. Zij vechten niet tegen vooruitgang, maar zien het als kritieke hulpmiddelen om echte problemen op te lossen die zij hebben. Het hebben van zo’n betrokken partner is geweldig.
• Tenslotte, in tegenstelling tot consumententechnologieën, is de set van domeinen en problemen in een ondernemingsomgeving zo heterogeen dat adaptatie (zie mijn antwoord op vraag 2) het probleem is dat moet worden opgelost. Wij kunnen niet alleen diensten bouwen voor één bedrijf of één industrie, maar voor allemaal. Dit is zo’n grote stress-test voor de staat van AI vandaag.
• ASAPP is singularly gefocust op dit probleem.

Kunt u ASAPP’s visie bespreken om de menselijke activiteit positief te versterken door de vooruitgang van AI?

Onze centrale hypothese bij ASAPP is dat AI de mens niet moet vervangen, maar deze moet versterken op positieve en productieve manieren. Deze visie is breed en wij hebben ambities om deze toe te passen op alle relevante menselijke activiteit. Echter, aangezien dit een brede opdracht is, hebben wij ons eerst gericht op het domein van klantenservice.

Het domein van klantenservice belichaamt alle uitdagingen en beloningen die samenhangen met het versterken van de menselijke activiteit. Agenten zijn betrokken bij ingewikkelde probleemoplossingstaken die hen ertoe brengen om workflows te volgen, relevante informatie op te halen uit klant- en kennisbases, en aan te passen aan nuancesituaties waarin een klant zich kan bevinden. Dit geeft aanleiding tot een enorme hoeveelheid kansen voor AI om dit proces te verbeteren. Echter, wij denken dat het belangrijk is om dit op een positieve manier te doen, door:

• Versterking die plaatsvindt op punten die natuurlijk en vloeiend zijn tijdens de loop van de agent’s taak. Dit is kritisch. Als AI interfereert of tussenbeide komt op onhandige momenten of met slechte latentie, zal dit eigenlijk een negatief effect hebben op de agent’s ervaring, aangezien zij dan bewust de AI moeten negeren.
• Meer kritisch, wij willen dat de AI positieve resultaten behaalt voor alle betrokken mensen. In dit geval is het de klant, de agent en de organisatie. Klanten willen dat hun problemen efficiënt en effectief worden afgehandeld. Agenten willen dat voor klanten doen. Bovendien willen agenten, net als alle mensen, voldoening halen uit het helpen van klanten om hun problemen op te lossen. Hoe zou u liever uw dag doorbrengen, met robuuste ‘dank je’s of schreeuwende klanten? In een recente studie die wij hebben uitgevoerd, vonden wij dat 90% van de agenten meldden dat gesprekken met klanten hun dag maakten, en de meerderheid zei dat zij tevreden waren met hun baan. Maar agenten willen de tools en training die nodig zijn om klanten tevreden te stellen. On tevreden klanten leiden tot gefrustreerde, vermoeide en gestresseerde agenten. Dit is de primaire driver van turnover.

Voor call centers denken wij vaak dat de positieve resultaten tussen de klant, agent en bedrijf met elkaar in conflict zijn. Maar goede AI zal helpen om voor alle drie te optimaliseren.

Kunt u de huidige AI-anatomie van een call center bespreken?

Vandaag de dag heeft bijna elk stadium van uw contact met een call center een of andere vorm van AI die de manier waarop het probleem wordt aangepakt, aandrijft of informeert.

De eerste stap is een interactieve voice response (IVR) of chatbot. Dit is volledig automatisch en de hoofddoelstelling is om te begrijpen waarom een klant belt en om deze dienovereenkomstig te routeren. Potentieel zullen deze systemen proberen om zoveel mogelijk informatie te verzamelen voordat zij de klant naar een agent sturen, om de kans te maximaliseren dat de agent het probleem snel kan oplossen. Veel moderne bots kunnen ook het probleem van de gebruiker rechtstreeks oplossen zonder dat een agent nodig is – genaamd “bevattingsbreedte” omdat de oproep nooit menselijke interventie nodig heeft. Dit kan worden bereikt door FAQs aan te bevelen of door eenvoudigweg een eenvoudige taak voor de klant uit te voeren.

Na dit, gaat de oproep naar de agent. Zodra de agent is bereikt, is de hoofdrol van AI om de agent te leiden en suggesties te doen. Wat moeten zij het volgende zeggen? Welke stroom moeten zij volgen? Welke kennisbase-artikelen zullen helpen om het probleem op te lossen? Deze modellen zijn meestal getraind op historische gegevens en geoptimaliseerd voor een of andere sleutelindicatie, die kan zijn de afhandeltijd (hoe snel het probleem werd opgelost) of de klanttevredenheidsscore (was de klant tevreden met de ervaring).

Zodra het gesprek of de chat is afgelopen, is AI nog steeds aan het werk. In de meeste call centers zal de agent gestructureerde informatie en notities achterlaten over wat er tijdens het gesprek is gebeurd. Dit is voor analytische doeleinden, maar ook voor elke volgende agent die het probleem oppakt als het nog niet is opgelost. AI helpt bij al deze stappen.

Tenslotte zijn er in een call center supervisors die er zijn om agenten te helpen en hun vaardigheden te laten groeien. AI kan hier kritisch zijn. In een call center met honderden agenten die duizenden oproepen per dag afhandelen. Hoe kunnen supervisors de problemen identificeren die hun interventie nodig hebben? Hoe kunnen zij begrijpen wat er tijdens de dag is gebeurd? Hoe kunnen zij gebieden van verbetering voor agenten identificeren om hun vaardigheden te laten groeien?

Hoe helpt ASAPP bij het verminderen van de personeelsverloop van call center-medewerkers?

Grote bedrijven die consumentengoederen en -diensten aanbieden, geven miljoenen, en soms miljarden dollars per jaar uit aan contactcenters die hun klanten bedienen, waarbij de arbeidskosten 80-90% van de totale kosten vertegenwoordigen. Het is een groot probleem dat agenten een verloop van 40% – en soms 100% of meer – per jaar hebben.

Er is vaak een karikatuur dat agenten onverschillig zijn voor uw problemen en door de bewegingen heen gaan. In het ergste geval zelfs uw vermogen om een probleem op te lossen hinderen. Niets kan verder van de waarheid zijn. Agenten, net als alle mensen, halen voldoening uit het helpen van klanten om hun problemen op te lossen. Hoe zou u liever uw dag doorbrengen, met robuuste ‘dank je’s of schreeuwende klanten? In een recente studie die wij hebben uitgevoerd, vonden wij dat 90% van de agenten meldden dat gesprekken met klanten hun dag maakten, en de meerderheid zei dat zij tevreden waren met hun baan. Maar agenten willen de tools en training die nodig zijn om klanten tevreden te stellen. On tevreden klanten leiden tot gefrustreerde, vermoeide en gestresseerde agenten. Dit is de primaire driver van turnover.

AI die de agenten tijdens een oproep versterkt (zoals eerder beschreven) helpt al. Als de agent de tools en leiding heeft om effectief en snel een probleem voor een klant op te lossen, dan kunnen de kansen dat de klant tevreden is alleen maar hoger zijn, wat op zijn beurt zou moeten leiden tot een hogere werkbevrediging.

Echter, ASAPP begint niet daar. Terwijl real-time dynamische leiding kritisch is, is meer gestructureerde training, coaching en feedback ook belangrijk. Veel agenten trainen op nieuwe problemen of procedures ‘live’. Dat wil zeggen, zij krijgen een beschrijving van de procedure, maar zien het alleen in de praktijk wanneer zij een oproep met een echte klant aannemen. Stelt u zich voor dat wij piloten het handboek van het vliegtuig gaven en hen vervolgens vertelden om 300 passagiers naar Denver te vliegen? Omdat van dit, richten wij ons op het gebruik van AI om tools te bouwen voor agenten om procedures te oefenen en moeilijke situaties aan te pakken voordat zij met live klanten omgaan. Wanneer dit wordt gekoppeld aan gerichte feedback (ofwel door een supervisor of automatisch) zal dit de agent in staat stellen om zijn vaardigheden te laten groeien in een minder stressvolle omgeving.

Beter AI om de klanttevredenheid in dynamische situaties te verbeteren, evenals AI voor gegronde training – dat is hoe ASAPP de focus legt op de agent met het uiteindelijke doel om de personeelsverloop te verminderen.

Wat zijn enkele voorbeelden van de resultaten die kunnen worden behaald door AI in een call center op te nemen?

Zoals eerder vermeld, kan AI een transformatieve technologie zijn om de productiviteit te verhogen. Voor een Amerikaanse luchtvaartmaatschappij waar wij mee werken, zagen wij een toename van 86% in de productiviteit van de agenten en een stijging van 127% in de organisatorische doorstroom (het totale aantal interacties over alle klantenservicekanalen gedeeld door de arbeid die nodig is om in die behoeften te voorzien). Voor een wereldwijd netwerkoperator die ASAPP-diensten gebruikt, steeg de net promoter score (de bereidheid van klanten om het product of de dienst van een bedrijf aan anderen aan te bevelen) met 45%. Voor een van de top 3 kabelbedrijven dat ASAPP gebruikt, daalde de kosten per interactie met 52%. Deze voorbeelden laten zien hoe AI de productiviteit kan verhogen, de kwaliteit van de klantenservice kan verbeteren en de bedrijfskosten kan verlagen.

Wat is uw persoonlijke visie voor de toekomst van AI in de werkplek?

AI is al vrijwel overal aanwezig in de werkplek. Terwijl ik dit schrijf, helpen spelling- en grammaticacontrole, evenals tekstautocompilere, mij. Ik heb spamfilters en berichtclassificatoren op mijn e-mail/berichtentools. Ik gebruik AI-geactiveerde zoekopdrachten om de relevante informatie te vinden die ik nodig heb om uit te voeren. Dit zal groeien naarmate de adoptie van AI toeneemt en de kwaliteit van AI-geactiveerde functies toeneemt.

Echter, ik zou deze soort AI-augmentatie ‘atomisch’ noemen. Het is zeker behulpzaam voor mij, maar op zeer specifieke momenten die hoge precisievoorspellingen toelaten. Ik kan bijvoorbeeld niet vragen aan een AI om deze vragen voor mij te beantwoorden – nog niet 🙂

Meer serieus, mijn visie is om de adoptie van eind-tot-eind-AI in de werkplek te zien. Ik bedoel hiermee niet eind-tot-eind in de zin van machine learning-modellering. Wat ik bedoel, is dat AI holistisch grote en complexe taken zal optimaliseren voor het overall doel en niet alleen voor atomaire punten tijdens het proces. ASAPP brengt dit al tot stand in call centers. Bijvoorbeeld, wij optimaliseren wat de agent het volgende zal zeggen op basis van een holistische set van factoren over waar de agent is in het gesprek en wat het uiteindelijke doel is. Maar daarbuiten, stelt u zich voor dat een wetenschapper een systematische review van een belangrijk onderwerp schrijft, een software-ingenieur een platform bouwt of complexe systemen integreert, een advocaat een juridisch advies schrijft, enz. In de toekomst zal elke professional afhankelijk zijn van AI om snel hun effectiviteit bij deze taken te verhogen en de gewenste resultaten te optimaliseren, waardoor zij meer tijd hebben voor kritieke uitdagingen.

Is er nog iets anders dat u zou willen delen over ASAPP?

Ons onderzoeksteam bij ASAPP heeft een duidelijke focus: wij zijn de AI aan het ontwikkelen om de menselijke activiteit te versterken om echte problemen in ondernemingen aan te pakken. Onderzoekers bij ASAPP werken aan het fundamenteel verbeteren van de wetenschap van NLP en ML naar ons doel van het implementeren van domeinspecifieke, real-world AI-oplossingen, en om die vooruitgang toe te passen op onze producten. Zij gebruiken de enorme hoeveelheid gegevens die door onze producten gegenereerd wordt, en onze mogelijkheid om AI-functies in real-world gebruik te implementeren, om fundamentele onderzoeksvoorstellen op nieuwe manieren te stellen en aan te pakken.

Ontdek onze recente papers op https://www.asapp.com/ai-research/.

Bedankt voor de gedetailleerde antwoorden, lezers die meer willen leren, moeten ASAPP bezoeken.