Nu, mer än någonsin tidigare, är tiden kommen för AI-drivna röstbaserade system. Tänk på ett samtal till kundtjänst. Snart kommer all stelhet och inflexibilitet att vara borta – de stela robotrösterna, “tryck ett för försäljning”-stilens begränsande menyer, de irriterande upplevelserna som har fått oss alla att frantically trycka på noll i hopp om att tala med en människa istället. (Eller, med tanke på de långa väntetider som kan uppstå när man överförs till en människa, gett upp på samtalet helt och hållet.)

Inga fler. Framsteg inte bara i transformer-baserade stora språkmodeller (LLM) utan också i automatisk taligenkänning (ASR) och text-till-tal (TTS) system betyder att “nästa generations” röstbaserade agenter är här – om du vet hur du bygger dem.

Idag tittar vi på utmaningarna som möter alla som hoppas bygga en sådan state-of-the-art röstbaserad konversationsagent.

Varför röst?

Innan vi dyker in, låt oss ta en snabb titt på de allmänna attraktionerna och relevansen för röstbaserade agenter (i motsats till textbaserade interaktioner). Det finns många anledningar till varför en röstinteraktion kan vara mer lämplig än en textbaserad – dessa kan inkludera, i ökande ordning:

• Företräde eller vana – tala föregår skrivutveckling utvecklingsmässigt och historiskt

• Långsam textinmatning – många kan tala snabbare än de kan skriva

• Händer-fria situationer – som att köra bil, träna eller diska

• Analfabetism – åtminstone på det språk som agenten förstår

• Funktionshinder – som blindhet eller brist på icke-vokal motorisk kontroll

I en tid som tycks domineras av webbmedierade transaktioner, förblir röst en kraftfull kanal för handel. Till exempel fann en nylig studie av JD Power om kundtillfredsställelse i hotellbranschen att gäster som bokade sitt rum över telefonen var mer nöjda med sin vistelse än de som bokade genom en online-resebyrå (OTA) eller direkt genom hotellets webbplats.

Men interaktiva röstsvar, eller IVR för kort, räcker inte. En studie från 2023 av Zippia fann att 88% av kunderna föredrar röstsamtal med en levande agent istället för att navigera i en automatiserad telefonomeny. Studien fann också att de främsta sakerna som irriterar människor mest om telefonomenyer inkluderar att lyssna på irrelevanta alternativ (69%), oförmåga att fullständigt beskriva problemet (67%), ineffektiv service (33%) och förvirrande alternativ (15%).

Och det finns en öppenhet för att använda röstbaserade assistenter. Enligt en studie av Accenture är cirka 47% av konsumenterna redan bekväma med att använda röstassistenter för att interagera med företag och cirka 31% av konsumenterna har redan använt en röstassistent för att interagera med ett företag.

Oavsett anledning, för många finns det en företräde och efterfrågan på talad interaktion – så länge den är naturlig och bekväm.

Vad gör en bra röstbaserad agent?

Grovt sett bör en bra röstbaserad agent svara på användaren på ett sätt som är:

• Relevant: Baserat på en korrekt förståelse av vad användaren sa/ville. Notera att i vissa fall kommer agentens svar inte bara att vara ett talat svar, utan någon form av åtgärd genom integration med en backend (t.ex. att faktiskt boka ett hotellrum när användaren säger “Gå vidare och boka det”).

• Exakt: Baserat på fakta (t.ex. säga bara att det finns ett rum tillgängligt på hotellet den 19 januari om det finns)

• Tydlig: Svaret ska vara förståeligt

• Lämplig: Med den typ av fördröjning som man kan förvänta sig från en människa

• Säker: Inga stötande eller olämpliga uttryck, avslöjande av skyddad information, etc.

Problemet

Nuvarande röstbaserade automatiserade system försöker uppfylla ovanstående kriterier på bekostnad av a) att vara a) mycket begränsade och b) mycket frustrerande att använda. En del av detta är ett resultat av de höga förväntningarna som en röstbaserad konversationskontext skapar, med sådana förväntningar som bara ökar ju mer röstkvaliteten i TTS-system blir omöjlig att skilja från mänskliga röster. Men dessa förväntningar krossas i de system som för närvarande är allmänt distribuerade. Varför?

I ett ord – inflexibilitet:

• Begränsad tal – användaren tvingas vanligtvis att säga saker på ett onaturligt sätt: i korta fraser, i en viss ordning, utan onödig information, etc. Detta erbjuder lite eller ingen förbättring jämfört med det gamla nummerbaserade menysystemet

• Smal, icke-inclusiv notion av “acceptabel” tal – låg tolerans för slang, uhms och ahs, etc.

• Ingen återgång: Om något går fel, kan det finnas lite chans att “reparera” eller korrigera det problematiska informationsbiten, utan att istället behöva starta om eller vänta på en överföring till en människa.

• Strikt turordning – ingen möjlighet att avbryta eller tala till en agent

Det går utan att säga att människor finner dessa begränsningar irriterande eller frustrerande.

Lösningen:

Den goda nyheten är att moderna AI-system är kraftfulla och snabba nog att väsentligt förbättra ovanstående typer av upplevelser, istället för att närma sig (eller överträffa!) mänskliga kundtjänststandarder. Detta beror på en mängd olika faktorer:

• Snabbare, kraftfullare maskinvara

• Förbättringar i ASR (högre noggrannhet, övervinner brus, accenter, etc.)

• Förbättringar i TTS (naturlig-ljudande eller till och med klonade röster)

• Ankomsten av generativa LLM (naturlig-ljudande konversationer)

Den sista punkten är en spelväxlare. Den viktiga insikten var att en bra prediktiv modell kan fungera som en bra generativ modell. En artificiell agent kan komma nära mänsklig konversationsprestanda om den säger vad en tillräckligt bra LLM förutspår vara det mest sannolika som en bra mänsklig kundtjänstagent skulle säga i den givna konversationskontexten.

Då kommer tiotals AI-startups som hoppas lösa problemet med röstbaserade konversationsagenter genom att bara välja och ansluta färdiga ASR- och TTS-moduler till en LLM-kärna. Enligt denna synvinkel är lösningen bara en fråga om att välja en kombination som minimerar fördröjning och kostnad. Och naturligtvis är det viktigt. Men räcker det?

Inte så fort

Det finns flera specifika skäl till varför den enkla metoden inte kommer att fungera, men de härrör från två allmänna punkter:

1. LLM kan inte, på egen hand, tillhandahålla bra faktabaserade textkonversationer av den typ som krävs för företagsapplikationer som kundtjänst. Så de kan inte, på egen hand, göra det för röstbaserade konversationer heller. Något annat behövs.

2. Även om du kompletterar LLM med vad som behövs för att göra en bra textbaserad konversationsagent, kräver det för att vända den till en bra röstbaserad konversationsagent mer än att bara koppla den till de bästa ASR- och TTS-modulerna du kan köpa.

Låt oss titta på ett specifikt exempel på var och en av dessa utmaningar.

Utmaning 1: Hålla det verkligt

Som nu är allmänt känt, producerar LLM ibland felaktig eller “hallucinerad” information. Detta är katastrofalt i sammanhanget av många kommersiella applikationer, även om det kanske kan fungera bra för en underhållningsapplikation där noggrannhet inte är poängen.

Att LLM ibland hallucinerar är bara att förvänta, när man tänker på saken. Det är en direkt följd av att använda modeller som tränats på data från ett år (eller mer) sedan för att generera svar på frågor om fakta som inte är en del av, eller följer av, en datamängd (hur stor den än må vara) som kan vara ett år eller mer gammal. När användaren frågar “Vad är mitt medlemsnummer?”, kan en enkel förtränad LLM bara generera ett plausibelt-sounding svar, inte ett korrekt svar.

De vanligaste sätten att hantera det här problemet är:

• Finjustering: Träna den förtränade LLM ytterligare, den här gången på all domänspecifik data som du vill att den ska kunna svara korrekt på.

• Promptteknik: Lägg till extra data/instruktioner i LLM, utöver konversationshistoriken

• Retrieval Augmented Generation (RAG): Liknar promptteknik, förutom att data som läggs till i prompten bestäms på flyget av att matcha den aktuella konversationskontexten (t.ex. att kunden har frågat “Har ditt hotell en pool?”) till en inbäddad kodad index av din domänspecifika data (som innehåller t.ex. en fil som säger: “Här är de faciliteter som finns tillgängliga på hotellet: pool, bastu, EV-laddstation.”).

• Regelbaserad kontroll: Liknar RAG, men vad som ska läggas till (eller subtraheras från) prompten bestäms inte av att matcha en neural minnesmodell utan bestäms genom hårdkodade (och handkodade) regler.

Notera att en storlek inte passar alla. Vilken av dessa metoder som kommer att vara lämplig kommer att bero på, till exempel, den domänspecifika data som informerar agentens svar. I synnerhet kommer det att bero på om den data förändras ofta (samtal för samtal, säg – t.ex. kundens namn) eller knappt någonsin (t.ex. den initiala hälsningen: “Hej, tack för att du ringer Hotel Budapest. Hur kan jag hjälpa dig idag?”). Finjustering vore inte lämplig för det förra, och RAG vore en klumpig lösning för det senare. Så någon fungerande system måste använda en mängd olika metoder.

Vad mer är, att integrera dessa metoder med LLM och varandra på ett sätt som minimerar fördröjning och kostnad kräver noggrann ingenjörskonst. Till exempel kan din modells RAG-prestanda förbättras om du finjusterar den för att underlätta den metoden.

Det kan komma som ingen överraskning att var och en av dessa metoder i sin tur introducerar sina egna utmaningar. Till exempel, ta finjustering. Att finjustera din förtränade LLM på din domänspecifika data kommer att förbättra dess prestanda på den data, ja. Men finjustering modifierar parametrarna (vikter) som är grunden för den förtränade modellens (förmodligen ganska bra) allmänna prestanda. Den modifieringen orsakar därför en avlärande (eller “katastrofalt glömska”) av en del av modellens tidigare kunskap. Detta kan resultera i att modellen ger felaktiga eller olämpliga (även osäkra) svar. Om du vill att din agent ska fortsätta att svara korrekt och säkert, behöver du en finjusteringsmetod som mildrar katastrofalt glömska.

Utmaning 2: Endpointing

Att bestämma när en kund har slutat tala är avgörande för naturlig konversationsflöde. Likaså måste systemet hantera avbrott på ett sätt som säkerställer att konversationen förblir sammanhängande och svarar på kundens behov. Att uppnå detta till en standard som är jämförbar med mänsklig interaktion är en komplex uppgift, men det är avgörande för att skapa naturliga och behagliga konversationsupplevelser.

En lösning som fungerar kräver att designer måste överväga frågor som:

• Hur lång tid efter att kunden har slutat tala bör agenten vänta innan den bestämmer sig för att kunden har slutat tala?

• Beror ovanstående på om kunden har avslutat en fullständig mening?

• Vad bör göras om kunden avbryter agenten?

• I synnerhet, bör agenten anta att vad den sa inte hördes av kunden?

Dessa frågor, som till stor del handlar om timing, kräver noggrann ingenjörskonst utöver den som är involverad i att få en LLM att ge ett korrekt svar.

Slutsats

Utvecklingen av AI-drivna röstbaserade system lovar en revolutionerande förändring i kundtjänstdynamik, som ersätter föråldrade telefonsystem med avancerade LLM, ASR och TTS-teknologier. Men att övervinna utmaningar i hallucinerad information och smidig endpointing kommer att vara avgörande för att leverera naturliga och effektiva röstinteraktioner.

Att automatisera kundtjänst har potentialen att bli en riktig spelväxlare för företag, men bara om det görs korrekt. I 2024, särskilt med alla dessa nya teknologier, kan vi slutligen bygga system som kan kännas naturliga och flytande och robust förstå oss. Den totala effekten kommer att minska väntetider och förbättra den nuvarande upplevelse vi har med röstbotar, vilket markerar en transformerande era i kundengagemang och servicekvalitet.