Ryan McDonald, Chief Scientist hos ASAPP – Interviewserie

Ryan McDonald er Chief Scientist hos ASAPP. Han er ansvarlig for at sætte retningen for forsknings- og datavidenskabsgrupperne for at opnå ASAPP’s vision om at forbedre menneskelig aktivitet positivt gennem fremme af AI. Gruppen er i øjeblikket fokuseret på at fremme feltet task-orienteret dialog i virkelige verdenssituationer som kundeservice. I sådanne dynamiske miljøer er der mange interagerende dele: samtalen mellem kunde og agent; miljøet og værktøjerne, agenten bruger; forskellige mål for succes; et bredt udvalg af kundens behov og situationer. At optimere denne miljø for at føre til kvalitetsresultater for kunder, agenter og virksomheder kræver betydelig forskningsinvestering i retrieval, sproggenerering, begrænset optimering, læring og, kritisk, evaluering.

Ryan har arbejdet med sprogforståelse og maskinlæring i over 20 år. Hans PhD-arbejde på University of Pennsylvania fokuserede på nye maskinlæringsmetoder til struktureret forudsigelse i NLP, mest bemærkelsesværdigt informationsudtrækning og syntaktisk analyse. På Penn var hans forskning afgørende for at udvikle feltet afhængighedsparsing og domæneadaptation i NLP-fællesskabet. Efter sin PhD sluttede Ryan sig til Googles forskningsgruppe. Der forskede han i sentimentanalyse og sammenfattningsmodeller for forbrugeranmeldelser, hvilket resulterede i et af de første store sammenfatningssystemer, der blev anvendt af millioner af brugere hver dag.

Ryans forskning vendte derefter til massivt multilingval sprogforståelse. Først fokuserede hans forskning på at forbedre maskinoversættelse, men den voksende betydning af multilingvalitet i informationshenting og digitale assistenter førte hans forskning mod at internationalisere disse vigtige teknologier. Ryans team var afgørende for udviklingen af Google Assistant som en global teknologi. Under denne periode var han også med til at etablere Universal Dependencies-konsortiet med en stor samling af akademiske samarbejdspartnere. Dette er langt den største multilingvale datakonsortium, der er rettet mod syntaktiske sprogressourcer. Efter mere end et årti med at arbejde på forbrugerprodukter, skiftede Ryan fokus mod virksomhed og ledte talrige NLP- og ML-projekter for at forbedre Googles Cloud-tjenester, herunder den centrale NLP-API, løsninger til Call Center AI og videnopdagelse fra videnskabelig litteratur. Ryans forskning i virksomheds-NLP og ML fortsætter på ASAPP.

Ryan har publiceret over 100 forskningsartikler i top-tier-tidsskrifter og konferencer, der er blevet citeret tusinder af gange. Han har vundet bedste artikelpriser på premier internationale konferencer (EMNLP, NAACL) for sit arbejde med multilingval syntaktisk analyse. Hans bog “Afhængighedsparsing” har fungeret som en af de vigtigste pædagogiske ressourcer i syntaktisk parsing i over et årti. Ud over at fungere som formand for næsten alle top-NLP- og ML-konferencer, har han været redaktør for de to bedste tidsskrifter i feltet – Transactions of the Association for Computational Linguistics og Computational Linguistics. Han har vejledt talrige PhD-studerende og praktikanter og holdt inviterede foredrag på topkonferencer, workshops og premier universiteter verden over.

Hvad fik dig først interesseret i maskinlæring og mere specifikt naturlig sprogbehandling?

Jeg var bachelorstuderende med en dobbeltuddannelse i datalogi og filosofi. Jeg var særligt interesseret i filosofien omkring AI samt de mere praktiske aspekter af, hvordan AI fungerer. Jeg var heldig at få en forskningsopgave med Gerald Penn på University of Toronto, der fokuserede på at sammenfatte nyheder til mobiltelefoner. Det var for over 20 år siden og brugte meget primitive metoder i forhold til i dag. Gerald var en fremragende mentor og fik mig interesseret i de formelle modeller for sprogstruktur (syntaks og semantik). Jeg var fascineret af sprogets kompleksitet og de matematiske rammer, der kan forklare de fænomener, som mennesker naturligt parser hver dag. Omkring denne tid var søgemaskiner almindelige, og jeg kunne se den massive opside for NLP og ML i fremtiden.

Du har publiceret over 100 forskningsartikler i top-tier-tidsskrifter og konferencer, der er blevet citeret tusinder af gange. I din mening, hvilken af disse var den mest inflydelsesrige forskningsartikel?

Dette er altid et svært spørgsmål at besvare. Og som tiden går, tror jeg, mit svar ændrer sig. Hvis du spurgte mig for nogle år siden, ville det være arbejdet, jeg gjorde på at bruge grafalgoritmer til afhængighedsparsing. Denne artikel, sammen med arbejdet af Joakim Nivre, fik en decade af hurtig forskning i syntaktisk afhængighedsparsing i gang, hvilket havde en stor indvirkning på anvendelsen af NLP i teknologivirksomheder, herunder en masse arbejde, kolleger og jeg gjorde på Google til Søg, Oversæt, Assistant osv.

Men med den hurtige tilpasning af neurale netværk er brugen af diskrete syntaktiske repræsentationer af sprog aftaget. Jeg ville nu sige, det er grundlæggende arbejde, jeg gjorde med John Blitzer og Fernando Pereira på domæneadaptation. Metoderne, vi brugte i den artikel, er ikke super relevante i dag, men jeg tror, den artikel (sammen med samtidig arbejde af Hal Daume) fastsætter rammen for problemet og dets betydning for feltet. Nu, hvor jeg udelukkende arbejder med virksomhed, er jeg meget bevidst om de problemer, vi rejste dengang, og som vi stadig har meget mere at løse.

Du tilbragte det meste af din karriere på Google med at bygge state-of-the-art NLP- og ML-teknologier og fik dem til produktion. Hvad var nogle af dine vigtigste takeaways fra denne oplevelse?

Mit vigtigste takeaway ville være, at når man bygger NLP- og ML-modeller, kan man aldrig forudsige, hvornår tingene går galt. Man skal være besat af data, fejlanalyse, metrikker osv. på alle punkter i processen. At forsøge at gætte, hvilke smertepunkter der er, er ofte futiles og det er ofte mere effektivt at bygge ud af end-to-end-modeller så hurtigt som muligt og tilpasse.

Som NLP/ML-forskere fokuserer vi på, hvor modellen kan bryde sammen, og hvilke modelleringantagelser ikke vil holde, når gummi møder asfalt. Men ofte er det dataforarbejdning eller brugeroplevelse, der er nøglen til at lave succesfulde NLP/ML-produkter. Kun når disse er solide, kan vi virkelig iterere på kvalitet for at udskille alle modellernes værdi.

I begyndelsen af 2021 sluttede du dig til ASAPP som chief scientist, et selskab, der tilbyder AI-værktøjer til at styrke kundeserviceagenter. Hvad tiltrak dig til denne stilling?

For en mere komplet besvarelse kan du læse min blogindlæg om dette emne. Men for at sammenfatte, er hovedårsagerne:

• Problemerne er svære. Agenter, der er engageret i svære kundeserviceinteraktioner, skal bringe en masse information og erfaring i spil for at løse kundeproblemer. At bygge modeller, der tilføjer værdi over en masse domæneviden, er svært, især når signalerne er svage. F.eks. var kundetilfredsheds-scoren lav, fordi agenten gjorde noget forkert, eller var kunden bare generelt utilfreds?
• Virksomhederne og agenterne, der arbejder i dette område, er superengagerede i AI, der kan hjælpe dem med at forbedre kundeservicen. De kæmper ikke imod fremgang, men ser dem som kritiske værktøjer til at løse virkelige problemer, de har. At have den slags engagerede partnere er fantastisk.
• Endelig, til forskel fra forbruger-teknologier, er sættet af domæner og problemer i en virksomhedsindstilling så heterogene, at tilpasning (se mit svar på spørgsmål 2) er problemet, der skal løses. Vi kan ikke bare bygge tjenester til én virksomhed eller én industri, men alle af dem. Dette er en så god stresstest for AI’s tilstand i dag.
• ASAPP er enestående fokuseret på dette problem.

Kunne du diskutere ASAPP’s vision om at forbedre menneskelig aktivitet positivt gennem fremme af AI?

Vores centrale hypotese på ASAPP er, at AI ikke skal erstatte mennesker, men forbedre dem på positive og produktive måder. Denne vision er bred, og vi har ambitioner om at anvende den på alle relevante menneskelige aktiviteter. Men da dette er en bred mandat, har vi valgt at fokusere på kundeservicedomænet først.

Kundeservicedomænet indeholder alle udfordringerne og belønningerne, der følger med at forbedre menneskelig aktivitet. Agenter er engageret i komplicerede problemløsningstasks, der kræver, at de følger arbejdsgange, henter relevant information fra kunde- og videnbasen og tilpasser sig nuancerede situationer, en kunde kan befinde sig i. Dette giver anledning til en masse muligheder for AI til at forbedre processen. Men vi mener, det er vigtigt at gøre dette på en positiv måde, hvilket betyder:

• Forbedring sker på punkter, der er naturlige og flydende under agentens arbejde. Dette er kritisk. Hvis AI indgriber eller indskyder på uheldige tidspunkter eller med dårlig latency, vil dette have en negativ effekt på agentens oplevelse, da de vil være nødt til bevidst at ignorere AI.
• Endnu mere kritisk vil vi have, at AI opnår positive resultater for alle mennesker, der er involveret. I dette tilfælde er det kunden, agenten og virksomheden. Kunder vil have deres problemer løst effektivt og hurtigt. Agenter vil gøre det samme for kunder. Agenter er dog ofte udsat for svære, utilfredse kunder. AI skal hjælpe dem med at balancere arbejde og kognitivt workload for at mindske træthed og udbrændthed og øge jobtilfredshed. Endelig vil vi have positive forretningsresultater for virksomheden, der driver callcenteret. Dette kan være kundetilfredshed, antallet af problemer, der kan håndteres på en dag, eller endda salg.

For callcenter er vi ofte tilbøjelige til at tro, at positive resultater mellem kunde, agent og virksomhed er i konflikt med hinanden. Men god AI vil hjælpe med at optimere for alle tre.

Kunne du diskutere den nuværende AI-anatomi af et callcenter?

I dag er næsten hver fase af din kontakt med et callcenter drevet af AI eller informeret af AI.

Det første skridt er en interaktivt lydsvarende respons (IVR) eller chatbot. Dette er fuldstændigt automatisk, og dets primære formål er at forstå, hvorfor en kunde ringer, og at dirigere dem derefter. Disse systemer kan også samle så megen information som muligt, før de sender kunden til en agent, for at maksimere chancen for, at agenten kan løse problemet hurtigt. Mange moderne botter kan også direkte løse brugerens problem uden at kræve menneskelig indgriben – kaldet “indhold”, da opkaldet aldrig kræver menneskelig indgriben. Dette kan opnås ved at anbefale FAQs eller blot udføre en simpel opgave for kunden.

Efter dette går opkaldet til agenten. Når agenten modtager opkaldet, er AI’s primære rol at vejlede og give forslag til agenten. Hvad skal de sige næste? Hvilken arbejdsgang skal de følge? Hvilke videnbasen-artikler vil hjælpe med at løse problemet? Disse modeller er typisk trænet på historiske data og optimeret for et nøgleperformanceindikator, der kan være håndteringstid (hvor hurtigt problemet blev løst) eller kundetilfredsheds-score (var kunden tilfreds med oplevelsen).

Når opkaldet eller chatten er slut, er AI stadig på arbejde. I de fleste callcenter vil agenten efterlade struktureret information og noter om, hvad der skete under opkaldet. Dette er til analytiske formål, men også for eventuelle efterfølgende agenter, der tager problemet op, hvis det ikke er løst. AI hjælper med alle disse skridt.

Til sidst er der i et callcenter også supervisorer, der er der for at hjælpe agenter og udvikle deres færdigheder. AI kan være afgørende her. I et callcenter med hundredvis af agenter, der håndterer tusinder af opkald om dagen, hvordan kan supervisorer identificere de problemer, der kræver deres indgriben? Hvordan kan de forstå, hvad der skete under dagen? Hvordan kan de finde områder for forbedring for agenter for at udvikle deres færdighedsniveau?

Hvordan hjælper ASAPP med at reducere callcenter-ansattes fluktuation?

Store virksomheder, der tilbyder forbrugervarer og -tjenester, bruger millioner, og undertiden milliarder af dollars om året på kontaktcenter, der betjener deres kunder, hvor arbejdskosten udgør 80-90% af de samlede omkostninger. Det er et stort problem, der driver agentfluktuationen til at være 40% – og undertiden 100% eller mere – hvert år.

Der er ofte en karikatur, der går på, at agenter er ligeglade med dine problemer og går gennem bevægelserne. I værste tilfælde kan de endda hindre din evne til at løse et problem. Intet kan være længere fra sandheden. Agenter, som alle mennesker, får tilfredshed af at hjælpe kunder med at løse deres problemer. Hvordan ville du hellere tilbringe din dag, hørende kraftige “tak” eller skrigende kunder? I en nylig undersøgelse, vi gennemførte, fandt vi, at 90% af agenterne rapporterede, at opkald med kunder gjorde deres dag, og flertallet sagde, de var tilfredse med deres job. Men agenter vil have de værktøjer og den træning, der kræves for at gøre kunder tilfredse. Utilfredse kunder fører til frustrerede, trætte og stressede agenter. Dette er den primære driver af fluktuation.

AI til at forbedre agenter under et opkald (som beskrevet tidligere) hjælper allerede. Hvis agenten har de værktøjer og vejledning til at effektivt og hurtigt løse et problem for en kunde, så øger det sandsynligheden for, at kunden er tilfreds, hvilket igen fører til højere jobtilfredshed.

Men ASAPP starter ikke der. Mens realtids-dynamisk vejledning er kritisk, er mere struktureret træning, coaching og feedback også vigtigt. Mange agenter træner på nye emner eller procedurer “live”. Det vil sige, de får en beskrivelse af proceduren, men kun ser den i praksis, når de tager et opkald med en rigtig kunde. Forestil dig, vi gav piloter flyvemaskinens manual og derefter sagde til dem, at de skulle flyve 300 passagerer til Denver? Fordi af denne grund fokuserer vi på at bruge AI til at bygge værktøjer til agenter til at øve procedurer og håndtere svære situationer, før de håndterer levende kunder. Når dette kombineres med målrettet feedback (enten fra en supervisor eller automatisk), vil dette tillade agenten at udvikle deres færdigheder i en mindre stressende omgang.

Bedre AI til at forbedre kundetilfredshed i dynamiske situationer samt AI til grundet træning – det er, hvordan ASAPP fokuserer på agenten med det ultimative mål om at reducere fluktuation.

Hvad er nogle eksempler på de resultater, der kan opnås ved at inkorporere AI i et callcenter?

Som nævnt ovenfor kan AI være en transformerende teknologi til at øge produktiviteten. For en amerikansk flyselskab, vi arbejder med, så vi en stigning på 86% i agentproduktivitet og en stigning på 127% i organisationsgennemstrømning (det samlede antal interaktioner på tværs af alle kundeservicekanaler divideret med arbejdskraften, der blev brugt til at tilfredsstille disse behov). For en global netværksoperatør, der bruger ASAPP-tjenester, steg netpromotorscoren (kundernes villighed til at anbefale virksomhedens produkter eller tjenester til andre) med 45%. For en top-3-kabelvirksomhed, der bruger ASAPP, faldt omkostningerne per interaktion med 52%. Disse eksempler viser, hvordan AI kan øge produktiviteten, forbedre kundeservicen og reducere forretningsomkostningerne.

Hvad er din personlige vision for fremtiden for AI på arbejdspladsen?

AI er allerede ret udbredt på arbejdspladsen. Mens jeg skriver dette, hjælper stave- og grammatikkontrol samt tekstautomatik med at hjælpe mig. Jeg har spamfiltre og meddelelsesklassificatorer på mine e-mail-/messagingværktøjer. Jeg bruger AI-drevet søgning til at finde den relevante information, jeg har brug for for at udføre. Dette vil vokse, samt min tilpasning, efterhånden som antallet af AI-drevne funktioner og deres kvalitet øges.

Men jeg ville kalde denne type AI-forbedring atomisk. Det hjælper mig bestemt, men på meget præcise tidspunkter, der tillader høj præcision. Jeg kan bestemt ikke bede en AI om at besvare disse spørgsmål, for eksempel – yet 🙂

Mere alvorligt er min vision at se adoptionen af end-to-end-AI på hele arbejdspladsen. Jeg mener ikke end-to-end i den maskinlæringsmodellermæssige forstand. Jeg mener, at AI vil drive holistisk store og komplekse opgaver, der optimeres for det overordnede mål og ikke kun atomare punkter under processen. ASAPP er allerede i gang med at bringe dette i spil i callcenter. For eksempel optimerer vi, hvad agenten skal sige næste, baseret på en holistisk samling af faktorer om, hvor agenten er i samtalen og hvad det ultimative mål er. Men ud over dette forestiller jeg mig en videnskabsmand, der skriver en systematisk gennemgang af et vigtigt emne, en softwareingeniør, der bygger en platform eller integrerer komplekse systemer, en advokat, der skriver en retsafhandling osv. I fremtiden vil hver af disse fagfolk være afhængige af AI til at øge deres effektivitet i disse opgaver og optimere de ønskede resultater, og frigøre dem til mere kritiske udfordringer.

Er der noget andet, du gerne vil dele om ASAPP?

Vores forskningsteam på ASAPP har en klar fokus: Vi avancerer AI til at forbedre menneskelig aktivitet for at løse virkelige problemer for virksomheder. Forskere på ASAPP arbejder med at grundlæggende avancere videnskaben om NLP og ML mod vores mål om at udvikle domænespecifikke, virkelige AI-løsninger, og anvende disse fremskridt til vores produkter. De udnytter de massive mængder af data, der genereres af vores produkter, og vores evne til at udvikle AI-funktioner i virkelige anvendelser for at stille og besvare grundlæggende forskningsspørgsmål på nye måder.

Opdag vores seneste artikler på https://www.asapp.com/ai-research/.

Tak for de detaljerede svar. Læsere, der ønsker at lære mere, bør besøge ASAPP.