Ryan McDonald, Chief Scientist at ASAPP – Intervju-serie

Ryan McDonald er Chief Scientist i ASAPP. Han er ansvarlig for å sette retningen for forsknings- og data vitenskapsgruppene for å oppnå ASAPPs visjon om å fremme positiv menneskelig aktivitet gjennom fremgangen i AI. Gruppen er for tiden fokusert på å fremme feltet oppgave-orientert dialog i virkelige verdens situasjoner som kundeservice. I slike dynamiske miljøer er det mange samspillende deler: samtalen mellom kunde og agent; miljøet og verktøyene agenten bruker; ulike mål for suksess; et bredt spekter av kundens behov og situasjoner. Å optimalisere dette miljøet for å føre til kvalitetsresultater for kunder, agenter og selskaper krever betydelig forskningsinvestering i innhenting, språkgenerering, begrensningsoptimering, læring og, kritisk, evaluering.

Ryan har arbeidet med språkforståelse og maskinlæring i over 20 år. Hans PhD-arbeid ved University of Pennsylvania fokuserte på nye maskinlæringsmetoder for strukturert prediksjon i NLP, mest merkbart informasjonsutvinning og syntaktisk analyse. Ved Penn var hans forskning avgjørende for å vokse feltene avhengighetsparsing og domeneadaptasjon i NLP-samfunnet. Etter sin PhD, sluttet Ryan seg til Googles forskningsgruppe. Der forsket han på sentimentanalyse og sammenfattningsmodeller for forbrukeranmeldelser, som resulterte i ett av de første store skalamodellene for forbrukersammenfatting som ble konsumert av millioner av brukere hver dag.

Ryans forskning gikk deretter over til massivt flerspråklig språkforståelse. Først var hans forskning fokusert på å forbedre maskinoversettelse, men den voksende betydningen av flerspråklighet i informasjonsutvinning og digitale assistenter ledet hans forskning mot å internasjonalisere disse viktige teknologiene. Ryans team var avgjørende for utviklingen av Google Assistant som en global teknologi. I denne perioden ledet han også Universal Dependencies-konsortiet med en stor samling av akademiske samarbeidspartnere. Dette er langt den største flerspråklige datakonsortiet rettet mot syntaktiske språkressurser. Etter over et tiår med å arbeide med forbrukerprodukter, skiftet Ryan gear mot bedrift og ledet tallrike NLP- og ML-prosjekter for å forbedre Googles Cloud-tjenester, inkludert core NLP-API, løsninger for Call Center AI og kunnskapsoppdagelse fra vitenskapelig litteratur. Ryans forskning på bedrifts-NLP og ML fortsetter i ASAPP.

Ryan har publisert over 100 forskningsartikler i toppsjarganger og konferanser som har blitt sitert tusener av ganger. Han har vunnet beste artikkelpriser på premier internasjonale konferanser (EMNLP, NAACL) for sitt arbeid på flerspråklig syntaktisk analyse. Hans bok ‘Dependency Parsing’ har tjent som en av de viktigste pedagogiske ressursene i syntaktisk parsing i over et tiår. I tillegg til å tjene som områdesjef på nesten alle toppsjarganger og ML-konferanser, har han vært redaktør for de to toppsjargangene i feltet — Transactions of the Association for Computational Linguistics og Computational Linguistics. Han har veiledet tallrike PhD-studenter og internetter og gitt inviterte foredrag på toppkonferanser, workshop og premier universiteter over hele verden.

Hva var det som først fikk deg interessert i maskinlæring og mer spesifikt naturlig språkbehandling?

Jeg var en bachelor med en dobbel major i informatikk og filosofi. Jeg var spesielt interessert i filosofien om AI samt de mer praktiske aspektene av hvordan AI fungerte. Jeg var heldig nok til å sikre et forskningsprosjekt med Gerald Penn ved University of Toronto som fokuserte på sammenfatning av nyheter for mobiltelefoner. Dette var over 20 år siden og brukte meget primitive metoder etter dagens standard. Gerald var en flott mentor og fikk meg interessert i de formelle modellene for språkets struktur (syntaks og semantikk). Jeg var fascinert av språkets kompleksitet og de matematiske rammeverkene for å forklare fenomenene som mennesker parser naturlig hver dag. Rundt denne tiden var søkemotorer allment tilgjengelige, og jeg kunne se den massive oppsiden for NLP og ML i fremtiden.

Du har publisert over 100 forskningsartikler i toppsjarganger og konferanser som har blitt sitert tusener av ganger, i din mening hvilken av disse var den mest innflytelsesrike forskningsartikkelen?

Dette er alltid et hardt spørsmål å svare på. Og som tiden går, tror jeg mitt svar endrer seg. Hvis du spurte meg for noen år siden, ville det være arbeidet jeg gjorde på å bruke grafalgoritmer for avhengighetsparsing. Denne artikkelen, sammen med arbeid av Joakim Nivre, førte til over et tiår med rask forskning på syntaktisk avhengighetsparsing, som hadde en stor innvirkning på adopsjonen av NLP i teknologiselskaper, inkludert en stor mengde arbeid kolleger og jeg gjorde i Google for Søk, Oversett, Assistant osv.

Imidlertid, med den raske adopsjonen av neurale nettverk, har bruken av diskrete syntaktiske representasjoner av språk gått tilbake. Jeg ville nå si det er banebrytende arbeid jeg gjorde med John Blitzer og Fernando Pereira på domeneadaptasjon. Metodene vi brukte i den artikkelen er ikke super relevante i dag, men jeg tror den artikkelen (sammen med samtidsarbeid av Hal Daume) konsoliderte rammeverket for problemet og dens betydning for feltet. Nå som jeg eksklusivt arbeider i bedrift, er jeg svært klar over problemene vi reiste da og at vi fortsatt har så mye mer å løse.

Du tilbrakte det meste av din karriere i Google med å bygge statiske NLP- og ML-teknologier og å føre dem til produksjon. Hva var noen av dine viktigste takeaways fra denne erfaringen?

Min viktigste takeaway ville være at når man bygger NLP- og ML-modeller, kan man aldri forutsi når ting skal gå galt. En må være besatt av data, feilanalyse, målinger osv. på alle punkter i prosessen. Å prøve å gjette feilpunkter er ofte futile og det er vanligvis mer effektivt å bygge ut modeller fra ende til ende så raskt som mulig og tilpasse.

Som NLP/ML-forskere fokuserer vi på hvor modellen kan bryte sammen og hva modelleringens antagelser ikke vil holde når gummi møter veien. Men ofte er det dataforedling eller UX som er nøkkel til å lage suksessfulle NLP/ML-produkter. Bare når disse er solide, kan vi virkelig iterere på kvalitet for å presse ut all verdi av modellene.

I begynnelsen av 2021, sluttet du deg til ASAPP som chief scientist, et selskap som tilbyr AI-verktøy for å styrke kundeserviceagenter, hva var det som tiltalte deg til denne stillingen?

For en mer fullstendig beskrivelse, les min blogginnlegg om dette emnet. Men for å sammenfatte, hovedgrunnene er:

• Problemene er vanskelige. Agenter som er engasjert i vanskelige kundeserviceinteraksjoner må bringe mye informasjon og erfaring til bearbeiding av samtalen for å løse kundeproblemer. Å bygge modeller som legger til verdi over enorme mengder domenekunnskap er vanskelig, spesielt når signalene er svake. Eksempelvis, var kundetilfredshetspoengene lave fordi agenten gjorde noe galt, eller var kunden bare generelt irritert?
• Selskapene og agentene som arbeider i dette rommet er super engasjert i AI som vil hjelpe dem å forbedre kundeserfaringen. De kjemper ikke mot fremgang, men ser dem som kritiske verktøy for å løse reelle problemer de har. Å ha en så engasjert partner er fantastisk.
• Til slutt, i motsetning til forbrukerteknologier, er mengden av domener og problemer i et bedriftsmiljø så heterogene at tilpasning (se mitt svar på spørsmål 2) er problemet som må løses. Vi kan ikke bare bygge tjenester for ett selskap eller en industri, men alle av dem. Dette er en så god stresstest for AIens nåværende tilstand.
• ASAPP er enestående fokusert på dette problemet.

Kunne du diskutere ASAPPs visjon om å fremme positiv menneskelig aktivitet gjennom fremgangen i AI?

Vår sentrale hypotese i ASAPP er at AI ikke skal erstatte mennesker, men fremme dem på positive og produktive måter. Denne visjonen er bred og vi har ambisjoner om å anvende den på all relevant menneskelig aktivitet. Imidlertid, ettersom dette er en bred mandat, har vi valgt å fokusere på kundeserfaringdomenet først.

Kundeserfaringdomenet innebærer alle utfordringene og belønningene som følger med å fremme menneskelig aktivitet. Agenter er engasjert i kompliserte problemløsningstasks som krever at de følger arbeidsflyter, henter relevante informasjon fra kunde- og kunnskapsbasen, og tilpasser seg nuanserte situasjoner som en kunde kan finne seg i. Dette gir opphav til en enorm mengde muligheter for AI å forbedre prosessen. Imidlertid, mener vi det er viktig å gjøre dette på en positiv måte, ved å:

• Fremme tillegg ved punkter som er naturlige og flytende under agentens arbeid. Dette er kritisk. Hvis AI forstyrer eller intervenierer på uheldige øyeblikk eller med dårlig latent, vil dette faktisk ha en negativ effekt på agentens erfaring, da de må bevisst ignorere AI.
• Mer kritisk, ønsker vi at AI skal oppnå positive resultater for alle mennesker involvert. I dette tilfellet er det kunden, agenten og organisasjonen. Kunder ønsker at deres problemer håndteres effektivt og effektivt. Agenter ønsker å gjøre det for kunder. I tillegg ønsker agenter verktøy og trening for å løse kundeproblemer. Ulykkelige kunder fører til frustrerte, slitne og stressede agenter. Dette er den primære driveren for turnover.

For kundesenter, tenker vi ofte på positive resultater mellom kunde, agent og selskap som konfliktfylt. Men god AI vil hjelpe til å optimalisere for alle tre.

Kunne du diskutere den nåværende AI-anatomi i et kundesenter?

I dag, nesten hver fase av din kontakt med et kundesenter har en form for AI som driver eller informerer hvordan problemet håndteres.

Dette første skrittet er en interaktivt stemmerespons (IVR) eller chatbot. Dette er fullstendig automatisk og dens hovedformål er å forstå hvorfor en kunde ringer og å dirigere dem deretter. Potensielt vil disse systemene prøve å samle så mye informasjon som mulig før de sender kunden til en agent for å maksimere sjansen for at agenten kan løse problemet raskt. Mange moderne boter kan også direkte løse brukerens problem uten å trenge en agent – kalt “innhold” siden samtalen aldri trenger menneskelig intervensjon. Dette kan oppnås ved å anbefale FAQ eller enkelt utføre en enkel oppgave for kunden.

Etter dette, går samtalen til agenten. En gang hos agenten, er AIens hovedrolle å veilede og gi forslag til agenten. Hva skal de si neste? Hva flyt skal de følge? Hvilke kunnskapsbaseartikler vil hjelpe med å løse problemet? Disse modellene er vanligvis trent på historiske data og optimalisert for noen nøkkelindikatorer, som kan være håndteringstid (hvor raskt problemet ble løst) eller kundetilfredshetspoeng (var kunden fornøyd med erfaringen).

En gang samtalen eller chatten er over, er AI fortsatt i arbeid. I de fleste kundesentre vil agenten etterlate seg strukturert informasjon og notater om hva som skjedde under samtalen. Dette er for analytiske formål, men også for eventuelle påfølgende agenter som tar opp problemet hvis det ikke er løst. AI hjelper med alle disse skrittene.

Til slutt, i et kundesenter, er det overordnede som er der for å hjelpe agenter og vokse deres ferdigheter. AI kan være kritisk her. I et kundesenter med hundredvis av agenter som håndterer tusenvis av samtaler hver dag, hvordan kan overordnede identifisere problemene som trenger deres intervensjon? Hvordan kan de forstå hva som skjedde under dagen? Hvordan kan de finne områder for forbedring for agenter for å vokse deres ferdigheter?

Hvordan hjelper ASAPP med å redusere kundesenteransattes turnover?

Store selskaper som tilbyr forbrukervarer og tjenester bruker millioner, og noen ganger milliarder av dollar hvert år på kundesentre som betjener deres kunder, med arbeidskostnadene som utgjør 80-90% av de totale kostnadene. Dette er et stort problem som driver agentturnover til å være 40%—og noen ganger 100% eller mer—hvert år.

Det er ofte en karikatur at agenter er likegyldige til dine problemer og går gjennom bevegelsene. I verste fall kan de til og med hindre din evne til å løse et problem. Ingen ting kan være lengre unna sannheten. Agenter, som alle mennesker, får tilfredshet av å hjelpe kunder å løse deres problemer. Hvordan ville du heller tilbringe din dag, høre kraftige “takk” eller skrikende kunder? I en nylig studie vi gjennomførte, fant vi at 90% av agentene rapporterte at samtaler med kunder gjorde deres dag, og flertallet sa de var fornøyd med jobben sin. Men, agenter ønsker verktøy og trening for å gjøre kunder fornøyd. Ulykkelige kunder fører til frustrerte, slitne og stressede agenter. Dette er den primære driveren for turnover.

AI som fremmer agenter under en samtale (som beskrevet tidligere) hjelper allerede. Hvis agenten har verktøy og veiledning på hvordan de kan løse kundeproblemer effektivt og raskt, så øker sjansen for at kunden er fornøyd, hvilket igjen burde føre til høyere jobbtillfredshet.

Imidlertid, starter ASAPP ikke der. Mens sanntidsdynamisk veiledning er kritisk, er mer strukturert trening, coaching og tilbakemelding også viktig. Mange agenter trener på nye problemer eller prosedyrer “live”. Det vil si, de får en beskrivelse av prosedyren, men ser det bare i praksis når de tar en samtale med en ekte kunde. Forestill deg vi ga piloter manualen til flyet og så fortalte dem å fly 300 passasjerer til Denver? Fordi av dette, fokuserer vi på å bruke AI til å bygge verktøy for agenter til å øve prosedyrer og håndtere vanskelige situasjoner før de håndterer ekte kunder. Når dette kombineres med målrettet tilbakemelding (enten av en overordnet eller automatisk), vil dette tillate agenten å vokse sine ferdigheter i et mindre stressende miljø.

Bedre AI for å forbedre kundetilfredshet i dynamiske situasjoner, samt AI for grunnlagt trening — det er hvordan ASAPP legger fokus på agenten med det ultimate målet om å redusere turnover.

Hva er noen eksempler på resultater som kan oppnås ved å inkorporere AI i et kundesenter?

Som delt ovenfor, kan AI være en transformasjonsteknologi i å øke produktivitet. For et amerikansk flyselskap vi arbeider med, så vi en økning på 86% i agentproduktivitet og en økning på 127% i organisatorisk gjennomstrømming (totalt antall interaksjoner over alle kundeservicekanaler delt på arbeidet som ble brukt til å tilfredsstille disse behovene). For en global nettverksoperatør som bruker ASAPP-tjenester, økte nettforfremmelsespoeng (kundens villighet til å anbefale selskapets produkter eller tjenester til andre) med 45%. For en topp 3-kabelselskap som bruker ASAPP, sank kostnaden per interaksjon med 52%. Disse eksemplene viser hvordan AI kan øke produktivitet, forbedre kvaliteten på kundeservice og redusere bedriftskostnader.

Hva er din personlige visjon for fremtiden av AI på arbeidsplassen?

AI er allerede ganske utbredt på arbeidsplassen. Mens jeg skriver dette, hjelper stave- og grammatikksjekkerne samt tekstautofullføring meg. Jeg har spamfiltre og meldingsklassifisering på mine e-post/meldingsverktøy. Jeg bruker AI-drevet søk for å finne relevant informasjon jeg trenger for å utføre. Dette vil vokse samt min adopsjon når antallet AI-drevne funksjoner og kvaliteten på dem øker.

Imidlertid, ville jeg kalle denne typen AI-augmentasjon atomisk. Det er bestemt hjelpende, men i meget presise øyeblikk som tillater høy presisjonsprediksjon. Jeg kan bestemt ikke be en AI å svare på disse spørsmålene for eksempel — ennå 🙂

Mer alvorlig, er min visjon å se adopsjonen av end-to-end AI gjennom hele arbeidsplassen. Jeg mener ikke end-to-end i maskinlæringsmodelleringssansen. Hva jeg mener, er at AI vil drive holistisk store og komplekse oppgaver som optimaliseres for det overordnede målet og ikke bare atomiske punkter under prosessen. ASAPP er allerede i ferd med å bringe dette til bearbeiding i kundesentre. For eksempel, optimaliserer vi hva agenten skal si neste basert på en holistisk sett av faktorer om hvor agenten er i samtalen og hva det ultimate målet er. Men utover dette, forestill deg en forsker som prøver å skrive en systematisk gjennomgang av et viktig emne, en programvareutvikler som bygger en plattform eller integrerer komplekse systemer, en advokat som skriver en rettslig innstilling osv. I fremtiden, vil hver av disse profesjonelle avhengig av AI for å raskt øke deres effektivitet på disse oppgavene og optimalisere ønskede resultater, og frigjøre dem for mer kritiske utfordringer.

Er det noe annet du ville like å dele om ASAPP?

Vår forskningsteam i ASAPP har en klar fokus: vi fremmer AI for å fremme menneskelig aktivitet for å løse reelle verdensproblemer for bedrifter. Forskere i ASAPP arbeider for å grundig fremme vitenskapen om NLP og ML mot vårt mål om å deployere domenespesifikke, virkelige AI-løsninger, og å anvende disse fremgangene på våre produkter. De utnytter de massive mengdene data generert av våre produkter, og vår evne til å deployere AI-funksjoner i virkelige anvendelser for å stille og løse grunnleggende forskningsspørsmål på nye måter.

Oppdag våre nyeste artikler på https://www.asapp.com/ai-research/.

Takk for de detaljerte svarene, lesere som ønsker å lære mer, bør besøke ASAPP.