Ryan McDonald, Chief Scientist på ASAPP – Intervju-serie

Ryan McDonald är Chief Scientist på ASAPP. Han ansvarar för att ange riktningen för forsknings- och data science-grupperna för att uppnå ASAPP:s vision att förbättra mänsklig aktivitet positivt genom att främja AI. Gruppen fokuserar för närvarande på att främja området för uppgiftsorienterad dialog i verkliga situationer som kundservice. I sådana dynamiska miljöer finns det många samverkande delar: samtalet mellan kund och agent; miljön och verktygen som agenten använder; olika mått på framgång; en stor mängd kundbehov och situationer. Att optimera denna miljö för att leda till kvalitetsresultat för kunder, agenter och företag kräver betydande forskningsinsatser inom hämtning, språkgenerering, begränsad optimering, inlärning och, kritiskt, utvärdering.

Ryan har arbetat med språkförståelse och maskinlärning i över 20 år. Hans doktorsavhandling vid University of Pennsylvania fokuserade på nya maskinlärningsmetoder för strukturerad förutsägelse i NLP, särskilt informationsutvinning och syntaktisk analys. Vid Penn var hans forskning avgörande för att växa fälten för beroendeparsing och domänanpassning i NLP-samhället. Efter sin doktorsavhandling gick Ryan med i Googles forskargrupp. Där forskade han om sentimentanalys och sammanfattningsmodeller för konsumentrecensioner, vilket resulterade i ett av de första stora konsumtionsammanfattningsystemen som används av miljontals användare varje dag.

Ryans forskning vände sig sedan till massivt multilingval språkförståelse. Till en början fokuserade hans forskning på att förbättra maskinöversättning, men den växande betydelsen av multilingualitet i informationsåtervinning och digitala assistenter ledde hans forskning mot att internationalisera dessa viktiga teknologier. Ryans team var avgörande för utvecklingen av Google Assistant som en global teknik. Under denna tid ledde han också Universal Dependencies-konsortiet med en stor uppsättning akademiska samarbetspartner. Detta är långt den största multilingvala datakonsortiet som syftar till syntaktiska språkresurser. Efter över ett decennium av arbete med konsumentprodukter skiftade Ryan fokus mot företag och ledde många NLP- och ML-projekt för att förbättra Googles molntjänster, inklusive kärn-NLP-API, lösningar för Call Center AI och kunskapsuppbyggnad från vetenskaplig litteratur. Ryans forskning om företags-NLP och ML fortsätter på ASAPP.

Ryan har publicerat över 100 forskningsartiklar i toppklassiga tidskrifter och konferenser som har citerats tusentals gånger. Han har vunnit bästa papperspris på premier internationella konferenser (EMNLP, NAACL) för sitt arbete om multilingval syntaktisk analys. Hans bok “Dependency Parsing” har fungerat som en av de viktigaste pedagogiska resurserna i syntaktisk parsing under över ett decennium. Utöver att tjäna som områdesordförande på nästan varje toppklassig NLP- och ML-konferens har han varit redaktör för de två bästa tidskrifterna inom området – Transactions of the Association for Computational Linguistics och Computational Linguistics. Han har handledat många doktorander och praktikanter och gett inbjudna föreläsningar på toppkonferenser, workshoppar och premieruniversitet över hela världen.

Vad fick dig att börja intressera dig för maskinlärning och mer specifikt naturlig språkbehandling?

Jag var en undergraduate med en dubbel examen i datavetenskap och filosofi. Jag var särskilt intresserad av AI-filosofi samt de mer praktiska aspekterna av hur AI fungerar. Jag hade turen att säkra ett forskningsprojekt med Gerald Penn vid University of Toronto som fokuserade på att sammanfatta nyheter för mobiltelefoner. Det var för över 20 år sedan och använde mycket primitiva metoder enligt dagens standard. Gerald var en bra handledare och fick mig att bli intresserad av de formella modellerna för språkets struktur (syntax och semantik). Jag var fascinerad av språkets komplexitet och de matematiska ramverken för att förklara de fenomen som människor tolkar naturligt varje dag. Vid den tiden var sökmotorer överallt, och jag kunde se den enorma potentialen för NLP och ML i framtiden.

Du har publicerat över 100 forskningsartiklar i toppklassiga tidskrifter och konferenser som har citerats tusentals gånger, vilken av dessa var den mest inflytelserika forskningsartikeln?

Detta är alltid en svår fråga att svara på. Och med tiden tror jag att mitt svar förändras. Om du frågade mig för några år sedan skulle det vara arbetet jag gjorde med grafalgoritmer för beroendeparsing. Den här artikeln, tillsammans med arbete av Joakim Nivre, gav upphov till över ett decennium av snabb forskning om syntaktisk beroendeparsing, vilket hade en stor inverkan på antagandet av NLP i teknikföretag, inklusive en stor mängd arbete som kollegor och jag gjorde på Google för Sök, Översätt, Assistant, etc.

Du tillbringade större delen av din karriär på Google med att bygga state-of-the-art NLP- och ML-teknologier och skicka dem till produktion. Vilka var några av dina viktigaste slutsatser från den erfarenheten?

Min viktigaste slutsats skulle vara att när man bygger NLP- och ML-modeller kan man aldrig förutsäga när saker kommer att gå fel. Man måste vara besatt av data, felanalys, mått, etc. vid alla punkter i processen. Att försöka gissa vilka smärtorna är ofta futilt och det är vanligtvis mer effektivt att bygga ut slut-till-slut-modeller så snabbt som möjligt och anpassa.

I början av 2021 gick du med i ASAPP som chefsforskare, ett företag som erbjuder AI-verktyg för att ge kundtjänstagenterna makt, vad lockade dig till den här positionen?

För ett mer komplett svar, läs min blogginlägg om det här ämnet. Men för att sammanfatta, de viktigaste anledningarna är:

• Problem är svåra. Agenter som är engagerade i svåra kundtjänstinteraktioner måste ha mycket information och erfarenhet för att lösa kundproblem. Att bygga modeller som lägger till värde över en stor mängd domänkunskap är svårt, särskilt när signalerna är svaga. Till exempel var kundtillfredsställelsescoren låg för att agenten gjorde något fel, eller var kunden bara allmänt upprörd?
• Företag och agenter som arbetar i det här utrymmet är superengagerade i AI som kan hjälpa dem förbättra kundupplevelsen. De slåss inte mot framsteg, utan ser dem som kritiska verktyg för att lösa verkliga problem de har. Att ha den typen av engagerad partner är fantastisk.
• Slutligen, till skillnad från konsumentteknologier, är uppsättningen domäner och problem i en företagsmiljö så heterogena att anpassning (se mitt svar på fråga 2) är problemet som måste lösas. Vi kan inte bara bygga tjänster för ett företag eller en industri, utan alla. Detta är en sådan bra stress-test för AI:s tillstånd idag.
• ASAPP är ensamt fokuserat på det här problemet.

Kan du diskutera ASAPP:s vision att förbättra mänsklig aktivitet positivt genom att främja AI?

Vår central hypotes på ASAPP är att AI inte bör ersätta människor, utan förbättra dem på positiva och produktiva sätt. Den här visionen är bred och vi har ambitioner att tillämpa den på all relevant mänsklig aktivitet. Men eftersom det är en bred mandat, har vi valt att fokusera på kundupplevelseområdet först.

Kundupplevelseområdet innehåller alla utmaningar och belöningar som kommer med att förbättra mänsklig aktivitet. Agenter är engagerade i komplicerade problemlösningsuppgifter som kräver att de följer arbetsflöden, hämtar relevant information från kund- och kunskapsbaser, och anpassar sig till nyanserade situationer som en kund kan befinna sig i. Detta ger upphov till en stor mängd möjligheter för AI att förbättra processen. Men vi tror att det är viktigt att göra det på ett positivt sätt, genom att:

• Förbättringen sker vid punkter som är naturliga och flytande under agentens arbete. Detta är kritiskt. Om AI stör eller ingriper vid obekväma ögonblick eller med dålig latens, kommer detta att ha en negativ effekt på agentens upplevelse, eftersom de måste medvetet ignorera AI.
• Mer kritiskt, vill vi att AI ska uppnå positiva resultat för alla inblandade människor. I det här fallet är det kunden, agenten och organisationen. Kunder vill att deras problem hanteras effektivt och effektivt. Agenter vill göra det för kunder. Dessutom vill agenter ha verktygen och utbildningen som krävs för att göra kunder nöjda. Olyckliga kunder leder till frustrerade, utmattade och stressade agenter. Detta är den primära drivkraften bakom personalomsättning.

För callcenter tänker vi ofta på de positiva resultaten mellan kund, agent och företag som om de vore i konflikt med varandra. Men bra AI hjälper till att optimera för alla tre.

Kan du diskutera den nuvarande AI-anatomin i ett callcenter?

Idag har nästan varje steg i din kontakt med ett callcenter någon form av AI som driver eller informerar om hur problemet hanteras.

Det första steget är en interaktiv röstrespons (IVR) eller chattbot. Detta är helt automatiserat och dess huvudsakliga syfte är att förstå varför en kund ringer och dirigera dem därefter. Potentiellt kommer dessa system att försöka samla in så mycket information som möjligt innan de skickar kunden till en agent för att maximera chansen att agenten kan lösa problemet snabbt. Många moderna botar kan också direkt lösa användarens problem utan att behöva en agent – kallat “innehållning” eftersom samtalet aldrig behöver mänskligt ingripande. Detta kan uppnås genom att rekommendera FAQ eller enkelt utföra en enkel uppgift för kunden.

Efter det går samtalet till agenten. När det är hos agenten är AI:s huvudsakliga roll att vägleda och ge förslag till agenten. Vad borde de säga härnäst? Vilken flöde borde de följa? Vilka kunskapsartiklar kommer att hjälpa till att lösa problemet? Dessa modeller är vanligtvis tränade på historiska data och optimerade för någon nyckelindikator, som kan vara hanteringstid (hur snabbt problemet löstes) eller kundtillfredsställelsescore (var kunden nöjd med upplevelsen).

När samtalet eller chatten är över är AI fortfarande i arbete. I de flesta callcenter kommer agenten att lämna strukturerad information och anteckningar om vad som hände under samtalet. Detta är för analytiska ändamål, men också för eventuella efterföljande agenter som tar upp problemet om det inte har lösts. AI hjälper till med alla dessa steg.

Slutligen, i ett callcenter, finns det chefer som är där för att hjälpa agenter och växa deras färdigheter. AI kan vara avgörande här. I ett callcenter med hundratals agenter som hanterar tusentals samtal per dag, hur kan chefer identifiera problemen som behöver deras ingripande? Hur kan de förstå vad som hände under dagen? Hur kan de hitta områden för förbättring för agenter för att växa deras färdighetsuppsättning?

Hur hjälper ASAPP till att minska personalomsättning i callcenter?

Stora företag som erbjuder konsumentvaror och tjänster spenderar miljoner, och ibland miljarder dollar varje år på kontaktcenter som betjänar deras kunder, med arbetskostnaden som representerar 80-90% av de totala kostnaderna. Det är ett stort problem som driver agentomsättning till 40% – och ibland 100% eller mer – varje år.

Det finns ofta en karikatyr att agenter är likgiltiga för dina problem och går igenom rörelserna. I värsta fall kan de till och med hindra din förmåga att lösa ett problem. Ingenting kan vara längre ifrån sanningen. Agenter, som alla människor, härrör tillfredsställelse från att hjälpa kunder att lösa sina problem. Hur skulle du hellre tillbringa din dag, höra robusta “tack” eller skrikande kunder? I en nyligen genomförd studie fann vi att 90% av agenterna rapporterade att samtal med kunder gjorde deras dag, och de flesta säger att de är nöjda med sina jobb. Men agenter vill ha de verktyg och utbildning som krävs för att göra kunder nöjda. Olyckliga kunder leder till frustrerade, utmattade och stressade agenter. Detta är den primära drivkraften bakom personalomsättning.

AI som förbättrar agenter under ett samtal (som beskrivits tidigare) hjälper redan. Om agenten har verktygen och vägledningen för att effektivt och snabbt lösa ett problem för en kund, då är oddsen att kunden är nöjd bara högre, vilket i sin tur bör leda till högre jobbtillfredsställelse.

Men ASAPP börjar inte där. Medan realtidsdynamisk vägledning är kritisk, är mer strukturerad utbildning, coaching och feedback också viktigt. Många agenter utbildar på nya problem eller procedurer “live”. Det vill säga att de får en beskrivning av proceduren, men sedan bara ser den i praktiken när de tar ett samtal med en riktig kund. Tänk att vi gav piloter manualen för planet och sedan sa till dem att flyga 300 passagerare till Denver? På grund av detta fokuserar vi på att använda AI för att bygga verktyg för agenter att öva procedurer och hantera svåra situationer innan de hanterar levande kunder. När detta kombineras med riktad feedback (antingen av en chef eller automatiskt) kommer detta att tillåta agenten att växa sina färdigheter i en mindre stressig miljö.

Bättre AI för att förbättra kundtillfredsställelse i dynamiska situationer, samt AI för grundad utbildning – det är hur ASAPP fokuserar på agenten med det ultimata målet att minska personalomsättning.

Vilka är några exempel på de typer av resultat som kan uppnås genom att inkorporera AI i ett callcenter?

Som nämnts ovan kan AI vara en transformerande teknik för att öka produktivitet. För ett amerikanskt flygbolag som vi arbetar med, såg vi att agentens produktivitet ökade med 86% och en ökning av organisatorisk genomströmning (totalt antal interaktioner över alla kundtjänstkanaler dividerat med arbete som krävs för att tillfredsställa dessa behov) med 127%. För en global nätverksoperatör som använder ASAPP-tjänster, ökade nettopromotorspoängen (kundernas villighet att rekommendera ett företags produkter eller tjänster till andra) med 45%. För en topp 3-kabeloperatör som använder ASAPP, minskade kostnaden per interaktion med 52%. Dessa exempel visar hur AI kan öka produktivitet, förbättra kvaliteten på kundtjänst och minska företagskostnader.

Vad är din personliga vision för AI:s framtid på arbetsplatsen?

AI är redan ganska vanligt på arbetsplatsen. Medan jag skriver det här hjälper mig stavnings- och grammatikkontroll, samt textautofyllnad. Jag har spamfilter och meddelandeklassificerare på min e-post-/meddelandeverktyg. Jag använder AI-aktiverad sökning för att hitta relevant information som jag behöver för att utföra. Detta kommer att växa, liksom min adoption, när antalet AI-aktiverade funktioner och deras kvalitet ökar.

Men jag skulle kalla den här typen av AI-förbättring “atomisk”. Det är säkert hjälpande, men i mycket precisa ögonblick som tillåter hög precision förutsägelser. Jag kan säkert inte be en AI att svara på dessa frågor, till exempel -)

På ett mer allvarligt sätt är min vision att se antagandet av slut-till-slut-AI i hela arbetsutrymmet. Jag menar inte slut-till-slut i den maskinlärda modellens mening. Vad jag menar är att AI kommer att driva holistiskt stora och komplexa uppgifter som optimeras för det övergripande målet och inte bara atomära punkter under processen. ASAPP är redan med och bidrar till det i callcenter. Till exempel optimerar vi vad agenten kommer att säga härnäst baserat på en holistisk uppsättning faktorer om var agenten är i samtalet och vad det ultimata målet är. Men bortom det, tänk dig en forskare som försöker skriva en systematisk översikt av ett viktigt ämne, en programvaruutvecklare som bygger en plattform eller integrerar komplexa system, en advokat som skriver en juridisk promemoria, etc. I framtiden kommer var och en av dessa proffs att förlita sig på AI för att snabbt öka sin effektivitet i dessa uppgifter och optimera önskade resultat, vilket frigör dem för mer kritiska utmaningar.

Finns det något annat du vill dela om ASAPP?

Vår forskningsteam på ASAPP har ett tydligt fokus: vi främjar AI för att förbättra mänsklig aktivitet för att lösa verkliga problem för företag. Forskare på ASAPP arbetar för att grundläggande främja vetenskapen om NLP och ML mot vårt mål att distribuera domänspecifika realtids-AI-lösningar, och för att tillämpa dessa framsteg på våra produkter. De utnyttjar de enorma mängderna data som genereras av våra produkter, och vår förmåga att distribuera AI-funktioner i realtidsanvändning för att ställa och lösa grundläggande forskningsfrågor på nya sätt.

Upptäck våra senaste artiklar på https://www.asapp.com/ai-research/.

Tack för de detaljerade svaren, läsare som vill lära sig mer bör besöka ASAPP.