Ryan McDonald, Chief Scientist hos ASAPP – Interview Series

Ryan McDonald er Chief Scientist ved ASAPP. Han er ansvarlig for at udstikke retningen for forsknings- og datavidenskabsgrupperne for at opnå ASAPPs vision om at øge menneskelig aktivitet positivt gennem fremme af kunstig intelligens. Gruppen er i øjeblikket fokuseret på at fremme feltet for opgaveorienteret dialog i virkelige situationer som kundepleje. I sådanne dynamiske miljøer er der mange interagerende dele: samtalen mellem kunde og agent; miljøet og værktøjerne agenten bruger; forskellige mål for succes; en bred vifte af kundebehov og situationer. At optimere dette miljø for at føre til kvalitetsresultater for kunder, agenter og virksomheder kræver betydelige forskningsinvesteringer i genfinding, sproggenerering, begrænset optimering, læring og kritisk evaluering.

Ryan har arbejdet med sprogforståelse og maskinlæring i over 20 år. Hans ph.d.-arbejde ved University of Pennsylvania fokuserede på nye maskinlæringsmetoder til struktureret forudsigelse i NLP, især informationsudvinding og syntaktisk analyse. Hos Penn var hans forskning medvirkende til at udvide områderne for afhængighedsparsing og domænetilpasning i NLP-samfundet. Efter sin ph.d. sluttede Ryan sig til Googles forskningsgruppe. Der forskede han i sentimentanalyse og opsummeringsmodeller til forbrugeranmeldelser, hvilket resulterede i et af de første store forbrugeropsummeringssystemer, der blev brugt af millioner af brugere hver dag.

Ryans forskning vendte sig derefter til massiv flersproget sprogforståelse. Til at begynde med fokuserede hans forskning på at forbedre maskinoversættelse, men den voksende betydning af flersprogethed inden for informationssøgning og digitale assistenter førte hans forskning til internationalisering af disse vigtige teknologier. Ryans team var medvirkende til udviklingen af ​​Google Assistant som en global teknologi. I løbet af denne tid stod han også i spidsen for Universal Dependencies-konsortiet med et stort sæt akademiske samarbejdspartnere. Dette er langt det største flersprogede datakonsortium rettet mod syntaktiske sprogressourcer. Efter at have arbejdet med forbrugerprodukter i mere end et årti skiftede Ryan gear i retning af virksomheden og ledede adskillige NLP- og ML-projekter for at forbedre Googles Cloud-tjenester, herunder NLP-kernen API, løsninger til Call Center AI og Knowledge-opdagelse fra videnskabelig litteratur. Ryans forskning om enterprise NLP og ML fortsætter hos ASAPP.

Ryan har publiceret over 100 forskningsartikler i toptidsskrifter og konferencer, som er blevet citeret tusindvis af gange. Han har vundet priser for bedste papir ved førende internationale konferencer (EMNLP, NAACL) for sit arbejde med flersproget syntaktisk analyse. Hans bog 'Dependency Parsing' har fungeret som en af ​​de vigtigste pædagogiske ressourcer inden for syntaktisk parsing i over et årti. Udover at fungere som områdeformand ved næsten alle tier-1 NLP- og ML-konferencer, har han været redaktør for de to bedste tidsskrifter på området - Transactions of the Association for Computational Linguistics and Computational Linguistics. Han har rådgivet adskillige ph.d.-studerende og praktikanter og holdt inviterede foredrag på topkonferencer, workshops og førende universiteter i hele verden.

Hvad fik dig oprindeligt til at interessere dig for maskinlæring og mere specifikt naturlig sprogbehandling?

Jeg var en bachelor med en dobbelt hovedfag i datalogi og filosofi. Jeg var især interesseret i AI-filosofien samt de mere praktiske aspekter af, hvordan AI fungerede. Jeg var så heldig at sikre mig et forskningsprojekt med Gerald Penn ved University of Toronto, som fokuserede på opsummering af nyheder til mobiltelefoner. Det var over 20 år siden og brugte meget primitive metoder efter nutidens standarder. Gerald var en god mentor og fik mig til at interessere mig for de formelle modeller for sprogets struktur (syntaks og semantik). Jeg var fascineret af sprogets kompleksitet og de matematiske rammer til at forklare de fænomener, som mennesker analyserer naturligt hver dag. Omkring dette tidspunkt var søgemaskiner allestedsnærværende, og jeg kunne se den massive fordel for NLP og ML i fremtiden.

Du har publiceret over 100 forskningsartikler i toptidsskrifter og konferencer, som er blevet citeret tusindvis af gange, hvilket af disse var efter din mening den mest indflydelsesrige forskningsartikel?

Dette er altid et svært spørgsmål at besvare. Og som tiden går, tror jeg, at mit svar ændrer sig. Hvis du spurgte mig for et par år tilbage, ville det være arbejde, jeg lavede på at bruge grafalgoritmer til afhængighedsparsing. Dette papir, sammen med arbejde af Joakim Nivre, affødte over et årti med hurtig forskning i syntaktisk afhængighedsparsing, hvilket havde en stor indflydelse på adoptionen af ​​NLP hos teknologivirksomheder, herunder en enorm mængde arbejdskolleger og jeg gjorde hos Google for Search , Oversæt, Assistent osv.

Men med den hurtige indførelse af neurale netværk er brugen af ​​diskrete syntaktiske repræsentationer af sprog trukket tilbage. Jeg vil nu sige, at det er skelsættende arbejde, jeg lavede sammen med John Blitzer og Fernando Pereira domænetilpasning. De metoder, vi brugte i det papir, er ikke super relevante i dag, men jeg tror, ​​at papir (sammen med moderne arbejde af Hal Daume) fastslog rammen af ​​problemet og dets betydning for feltet. Nu hvor jeg udelukkende arbejder i virksomheden, er jeg meget opmærksom på de problemer, vi rejste dengang, og at vi stadig har så meget mere at løse.

Du brugte størstedelen af ​​din karriere hos Google på at hjælpe med at opbygge avancerede NLP- og ML-teknologier og skubbe dem til produktion. Hvad var nogle af dine vigtigste ting fra denne oplevelse?

Min vigtigste takeaway ville være, at når du bygger NLP- og ML-modeller, kan du aldrig forudsige, hvornår tingene vil gå galt. Man skal være besat af data, fejlanalyse, metrics osv. på alle punkter i processen. At prøve at gætte smertepunkterne er ofte nyttesløst, og det er normalt mere effektivt at bygge ende-til-ende-modeller så hurtigt som muligt og tilpasse.

Som NLP/ML-forskere fokuserer vi på, hvor modellen kan gå i stykker, og hvilke modelleringsantagelser, der ikke holder, når gummiet møder vejen. Men ofte er det databehandling eller UX, der er nøglen til at lave succesfulde NLP/ML-produkter. Kun når disse er solide, kan vi virkelig iterere på kvalitet for at presse al værdien af ​​modellerne ud.

I begyndelsen af ​​2021 sluttede du dig til ASAPP som chefforsker, en virksomhed, der tilbyder AI-værktøjer til at styrke kundeserviceagenter, hvad tiltrak dig til denne stilling?

For et mere fuldstændigt svar læs min blogindlæg om dette emne. Men for at syntetisere er hovedårsagerne:

• Problemerne er svære. Agenter, der er involveret i vanskelige kundeservice-interaktioner, skal bringe en masse information og erfaring med på deres samtaler for at løse kundeproblemer. Det er svært at bygge modeller, der tilføjer værdi over enorme mængder domæneviden, især når signalerne er svage. F.eks. var kundetilfredsheden lav, fordi agenten gjorde noget forkert, eller var kunden bare generelt ked af det?
• De virksomheder og agenter, der arbejder i dette rum, er super begejstrede for kunstig intelligens, der vil hjælpe dem med at forbedre kundeoplevelsen. De bekæmper ikke fremskridt, men ser dem som kritiske værktøjer til at løse reelle problemer, de har. At have en sådan forlovet partner er fantastisk.
• Endelig, i modsætning til forbrugerteknologier, er sæt af domæner og problemer i en virksomhedsindstilling så heterogene, at tilpasning (se mit svar på spørgsmål 2) er det problem, der skal løses. Vi kan ikke kun bygge tjenester til én virksomhed eller én branche, men dem alle. Dette er sådan en stor stresstest for AI-tilstanden i dag.
• ASAPP er enestående fokuseret på dette problem.

Kunne du diskutere ASAPPs vision om at øge menneskelig aktivitet positivt gennem fremme af kunstig intelligens?

Vores centrale hypotese hos ASAPP er, at kunstig intelligens ikke skal erstatte mennesker, men forstærke dem på positive og produktive måder. Denne vision er bred, og vi har ambitioner om at anvende den på al relevant menneskelig aktivitet. Men da dette er et bredt mandat, er det første område, vi har valgt at fokusere på, kundeoplevelsesdomænet.

Kundeoplevelsesdomænet inkarnerer alle de udfordringer og belønninger, der følger med at øge menneskelig aktivitet. Agenter beskæftiger sig med komplicerede problemløsningsopgaver, der kræver, at de følger arbejdsgange, henter relevant information fra kunde- og vidensbaser og tilpasser sig nuancerede situationer, som en kunde kan befinde sig i. Dette giver anledning til et stort antal muligheder for AI til at forbedre den proces. Vi synes dog, det er vigtigt at gøre dette på en positiv måde, hvormed vi mener:

• Augmentation sker på punkter, der er naturlige og flydende i løbet af agentens arbejde. Dette er kritisk. Hvis AI forstyrrer eller griber ind på akavede tidspunkter eller med dårlig latenstid, vil dette faktisk have en negativ effekt på agentens oplevelse, da de bliver nødt til bevidst at ignorere AI'en.
• Mere kritisk ønsker vi, at AI skal opnå positive resultater for alle involverede mennesker. I dette tilfælde er det kunden, agenten og organisationen. Kunder ønsker, at deres problemer håndteres effektivt. Agenter vil gerne gøre det for kunderne. Derudover gør agenter et hårdt stykke arbejde, og de håndterer ofte vanskelige utilfredse kunder. AI skal hjælpe dem med at balancere arbejde og kognitiv belastning for at mindske træthed og udbrændthed og øge arbejdsglæden. Efter alt, har agenter på callcentre en af ​​de værste nedslidninger (så høje som 100% årligt i nogle callcentre) af ethvert job i Amerika. Endelig ønsker vi positive forretningsresultater for den virksomhed, der driver callcenteret. Dette kan være kundetilfredshed, gennemstrømningen af ​​problemer, der kan håndteres på en dag eller endda mængden af ​​salg.

For callcentre tænker vi ofte på de positive resultater mellem kunde, agent og virksomhed som værende i konflikt med hinanden. Men god AI vil være med til at optimere for alle tre.

Kunne du diskutere den nuværende AI-anatomi i et callcenter?

I dag har næsten alle trin i din kontakt med et callcenter en form for AI-kørsel eller information om, hvordan problemet løses.

Dette første trin er en interaktiv stemmesvar (IVR) eller chatbot. Dette er fuldautomatisk, og dets hovedformål er at forstå, hvorfor en kunde ringer, og at dirigere dem i overensstemmelse hermed. Potentielt vil disse systemer forsøge at indsamle så mange oplysninger som muligt, før de sender kunden til en agent for at maksimere chancen for, at agenten hurtigt kan løse problemet. Mange moderne bots kan også direkte løse brugernes problem uden at skulle bruge en agent - kaldet "containment", da opkaldet aldrig behøver menneskelig indgriben. Dette kan opnås ved at anbefale ofte stillede spørgsmål eller blot udføre en simpel opgave for kunden.

Herefter går opkaldet til agenten. Når du er hos agenten, er AI's hovedrolle at vejlede og komme med forslag til agenten. Hvad skal de så sige? Hvilket flow skal de følge? Hvilke videnbaseartikler vil hjælpe med at løse problemet? Disse modeller er normalt trænet på historiske data og optimeret til nogle centrale præstationsindikatorer, som kan være håndteringstid (hvor hurtigt problemet blev løst) eller kundetilfredshedsscore (var kunden tilfreds med oplevelsen).

Når opkaldet eller chatten er slut, er AI stadig på arbejde. I de fleste callcentre vil agenten efterlade strukturerede oplysninger og noter om, hvad der skete under opkaldet. Dette er til analyseformål, men også for enhver efterfølgende agent, der opfanger problemet, hvis det ikke er blevet løst. AI hjælper med alle disse trin.

Endelig er der i et callcenter supervisorer, som er der for at hjælpe med at hjælpe agenter og udvikle deres færdigheder. AI kan være kritisk her. I et callcenter med hundredvis af agenter, der håndterer tusindvis af opkald om dagen. Hvordan kan supervisorer identificere de problemer, der kræver deres indgriben? Hvordan kan de forstå, hvad der skete i løbet af dagen? Hvordan kan de finde forbedringsområder for agenter for at udvikle deres kompetencer?

Hvordan hjælper ASAPP med at reducere callcenterets medarbejderomsætning?

Store virksomheder, der tilbyder forbrugsvarer og -tjenester, bruger millioner og nogle gange milliarder af dollars hvert år på kontaktcentre, der betjener deres kunder, hvor arbejdsomkostningerne udgør 80-90 % af de samlede omkostninger. Det er et stort problem at køre agenter omsætter til 40 % – og nogle gange 100 % eller mere – hvert år.

Der er ofte en karikatur af, at agenter er ligeglade med dine problemer og går igennem bevægelserne. I værste fald endda hindre din evne til at løse et problem. Intet kan være længere fra sandheden. Agenter, som med alle andre, opnår tilfredshed ved at hjælpe kunder med at løse deres problemer. Hvordan vil du hellere bruge din dag på at høre robuste 'tak' eller skrigende kunder? I en nylig undersøgelse, vi har gennemført, fandt vi ud af, at 90 % af agenterne rapporterede, at opkald med kunder gjorde deres hverdag, og størstedelen siger, at de er glade for deres job. Men agenter vil have de værktøjer og den uddannelse, der kræves for at gøre kunderne glade. Utilfredse kunder fører til frustrerede, trætte og stressede agenter. Dette er den primære drivkraft for omsætning.

AI til at øge agenterne under et opkald (som beskrevet tidligere) hjælper allerede. Hvis agenten har værktøjerne og vejledningen til, hvordan man effektivt og hurtigt løser et problem for en kunde, så kan oddsene for, at kunden er glad, kun være højere, hvilket igen burde føre til højere arbejdsglæde.

ASAPP starter dog ikke der. Mens dynamisk vejledning i realtid er kritisk, er mere struktureret træning, coaching og feedback også vigtig. Mange agenter træner i nye spørgsmål eller procedurer 'live'. Det vil sige, at de får en beskrivelse af fremgangsmåden, men ser det så først i praksis, når de tager et opkald med en rigtig kunde. Forestil dig, at vi gav piloter manualen til flyet og derefter fortalte dem at flyve 300 passagerer til Denver? På grund af dette fokuserer vi på at bruge kunstig intelligens til at hjælpe med at bygge værktøjer til agenter til at øve procedurer og håndtere vanskelige situationer, før de handler med levende kunder. Når dette er parret med målrettet feedback (enten af ​​en supervisor eller automatisk), vil dette give agenten mulighed for at udvikle deres færdigheder i et mindre stressende miljø.

Bedre AI til at forbedre kundetilfredsheden i dynamiske situationer samt AI til jordet træning - det er sådan ASAPP sætter fokus på agenten med det ultimative mål at reducere omsætningen.

Hvad er nogle eksempler på de typer resultater, der kan opnås ved at inkorporere AI i et callcenter?

Som nævnt ovenfor kan kunstig intelligens være en transformativ teknologi til at øge produktiviteten. For et amerikansk flyselskab, vi arbejder med, oplevede vi agentproduktiviteten stige med 86 % og en stigning i organisatorisk gennemstrømning (samlet antal interaktioner på tværs af alle kundeservicekanaler divideret med arbejdskraft brugt for at tilfredsstille disse behov) med 127 %. For en global netværksoperatør, der bruger ASAPP-tjenester, steg netpromotorscore (kundernes villighed til at anbefale en virksomheds produkter eller tjenester til andre) med 45 %. For et top 3-kabelselskab, der bruger ASAPP, faldt omkostningerne pr. interaktion med 52 %. Disse eksempler viser, hvordan kunstig intelligens kan øge produktiviteten, forbedre kvaliteten af ​​kundeservice og reducere forretningsomkostningerne.

Hvad er din personlige vision for fremtiden for kunstig intelligens på arbejdspladsen?

AI er allerede ret udbredt på arbejdspladsen. Mens jeg skriver dette, hjælper stave- og grammatikkontrol samt autofuldførelse af tekst mig. Jeg har spamfiltre og beskedklassificeringer på mine e-mail-/beskedværktøjer. Jeg bruger AI-drevet søgning til at finde de relevante oplysninger, jeg skal udføre. Dette vil vokse såvel som min adoption, efterhånden som antallet af AI-drevne funktioner og deres kvalitet stiger.

Jeg vil dog kalde denne form for AI-forøgelse atomisk. Det hjælper mig bestemt, men i meget præcise øjeblikke, der giver mulighed for forudsigelser med høj præcision. Jeg kan bestemt ikke bede en AI om at besvare disse spørgsmål for eksempel - endnu 🙂

Mere seriøst er min vision at se adoptionen af ​​end-to-end AI i hele arbejdsområdet. Jeg mener ikke ende-til-ende i maskinlæringsmodelleringsforstand. Hvad jeg mener er, at AI'en vil drive holistisk store og komplekse opgaver, der bliver optimeret til det overordnede mål og ikke kun atomare punkter under processen. ASAPP bringer allerede dette til udtryk i callcentre. For eksempel optimerer vi, hvad agenten vil sige næste gang, baseret på et holistisk sæt af faktorer om, hvor agenten er i samtalen, og hvad det endelige mål er. Men ud over det, forestil dig en videnskabsmand, der prøver at skrive en systematisk gennemgang af et vigtigt emne, en softwareingeniør, der bygger en platform eller integrerer komplekse systemer, en advokat, der skriver en juridisk brief, osv. I fremtiden vil hver af disse fagfolk stole på AI for hurtigt at øge deres effektivitet på disse opgaver og optimere de ønskede resultater, så de frigøres til mere kritiske udfordringer.

Er der andet, du gerne vil dele om ASAPP?

Vores forskerhold hos ASAPP har et klart fokus: vi fremmer kunstig intelligens for at øge menneskelig aktivitet for at løse problemer i den virkelige verden for virksomheder. Forskere hos ASAPP arbejder på grundlæggende at fremme videnskaben om NLP og ML mod vores mål om at implementere domænespecifikke AI-løsninger fra den virkelige verden og at anvende disse fremskridt på vores produkter. De udnytter de enorme mængder data, der genereres af vores produkter, og vores evne til at implementere AI-funktioner til brug i den virkelige verden for at stille og løse grundlæggende forskningsspørgsmål på nye måder.

Oplev vores seneste aviser på https://www.asapp.com/ai-research/.

Tak for de detaljerede svar, læsere, der ønsker at lære mere, bør besøge ASAPP.