AI kan hjälpa dig nå en riktig person snabbare

Nya studier visar att öppen källkods ChatGPT-liknande AI-system kan potentiellt dirigera samtal till rätt person i ett callcenter med hjälp av naturligt språk, utan att följa irriterande menyalternativ som är olika varje vecka, som verkar medvetet hindrande.

Att försöka nå en riktig person i ett callcenter kan vara en frustrerande upplevelse, på grund av behovet att navigera genom flera valalternativ i långsam takt – ofta utan säkerhet om vilket av alternativen som passar för fallet. Om ingen av dem gör det, tenderar erfarna användare att anta knep och lösningar för att få tillgång till en mänsklig rådgivare av något slag, och för att komma ut ur ‘alternativhelvetet’. Många av oss kommer att känna igen detta som en mer eller mindre ‘stridande’ och användarvänlig upplevelse.

Det är inte förvånande att callcenter är i frontlinjen för förstärkning eller ersättning av AI-system; och, trots en försiktig approach uppmanas från vissa kvartaler, callcenter-AI-automatisering förblir lågt hängande frukt för teknikhuvudlinjer, och för utsikten till AI-baserad innovation som kan erbjuda ovanligt tidig ROI.

Stängd butik

Men det finns några områden där öppna källkodsprinciper och fritt tillgängliga data sällan tillämpas eller är tillgängliga, och detta är ett av dem. Det är logiskt: varje företag som är intresserat av att automatisera sina kundresponsystem kommer att ha begränsat eller noll intresse för att dela data som ger dem insikt, metoder eller företags-IP.

För det första skulle delning av dessa resurser kosta dem en fördel gentemot konkurrenter; viktigare, med tanke på hur benägna AI-i-loopen-system är att avslöja privilegerad information, är det juridiskt riskabelt.

Detta har lett till att flera väl investerade aktörer har utvecklat AI-stödda callcenter-responssystem oberoende av varandra (förmodligen med någon oundviklig redundans av ansträngning); och till en ökning av B2B startups och etablerade aktörer som försöker tillgodose den växande efterfrågan på AI-drivna kundresponsförmågor.

En PolyAI-röstassistent öppnar en kundtjänst för det fiktiva företaget ‘Augusta Lawn Care’, med hjälp av stora mängder träningskonversationer för att automatisera svar via befintlig callcenter-infrastruktur. Källa

Dessutom har kapplöpningen för att ta bort frustrationen av att navigera i ett callcenter-labyrint har visat sig vara en sporre till forskningsinsatser – även om de flesta sådana publikationer tenderar att ske utanför Arxiv och andra öppna forskningspublikationsnätverk, i enlighet med den allmänt hemliga naturen av Interactive Voice Response (IVR)-utveckling.

I stället är forskning, data och affärsintelligens som är relaterade till AI-automatisering av kundresponsystem alla svartsjukt bevakade, med mycket få öppna källkodsalternativ tillgängliga – även om användningen av FOSS-system och data erbjöd ett lagligt alternativ, vilket är tvivelaktigt.

Lokal samtal

Med detta i åtanke är det uppfriskande att se en ny artikel från Colombia som försöker bryta IVR ut ur dess företagsvalv, åtminstone lite. Den nya artikeln, en kort och koncis artikel med titeln Beyond IVR Touch-Tones: Customer Intent Routing using LLMs, kommer från en forskare vid Universidad Distrital Francisco José de Caldas i Bogotá, och hävdar att det är det första icke-stängda projektet som använder Large Language Models (LLM) för att generera ett fungerande schema för ett Customer Intent Routing (CIR)-system.

I stället för att försöka få tillgång till riktiga kunddata eller proprietära menuträd, genererar det nya projektet alla komponenter från scratch med hjälp av tre AI-modeller: en för att uppfinna ett realistiskt callcenter-menyalternativ; en annan för att simulera hundratals kundklagomål; och en tredje för att fungera som chatboten, som försöker dirigera dessa klagomål till rätt destination.

Resultatet är en fullständigt syntetisk men övertygande testbädd, som innehåller ett fiktivt telekommunikationsföretag, tillsammans med 920 distinkta användarfrågor, vilket möjliggör att experimentet kan undvika juridiska risker medan det undersöker hur väl nuvarande AI kan tolka vag, smutsig tal, och fortfarande ansluta samtalaren till rätt person.

Tester indikerar att systemets schema kan matcha fritt formulerade kundklagomål till den korrekta callcenter-destinationen med upp till 89,13% noggrannhet, särskilt när det ges “plattade” menyalternativ i stället för verbala beskrivningar (mer om detta senare).

Studien fann också att när kunder använde mer informell eller varierad språk, begick AI fler fel; men att några av dessa fel inträffade inte för att AI missförstod, utan för att själva telefonmenyn var förvirrande.

Exempel på kundinteraktioner, delade som en del av det nya projektet. Källa

Data för projektet har gjorts tillgängliga offentligt.

Metod

Den första modellen i den tredelade ansatsen skapar en detaljerad telefonmeny för ett fiktivt telekommunikationsföretag; den andra genererar unika kundmeddelanden – några enkla, andra omformulerade eller gjorda mer informella – för att simulera hur människor faktiskt talar när de ringer för hjälp. Med tanke på detta genererades 920 exempel för projektet.

Den tredje modellen fick uppgiften att ansluta varje samtal till den korrekta avdelningen, baserat endast på meddelandet och en version av menyn. Detta schema möjliggjorde att experimentet kunde vara fullständigt upprepningsbart, samtidigt som det undvek behovet av riktiga kunddata eller exponering av kundinformation:

De tre systemen som valdes för den tredelade ansatsen. Källa

De tre modellerna som användes var gpt-3.5-turbo; gpt-4o-mini; och gpt-4.1-mini.

För att simulera en övertygande kundtjänstmiljö var det nödvändigt att syntetisera en komplex telefonmeny från scratch. På grund av bristen på relevanta datamängder, fick gpt-3.5-turbo-modellen i uppgift att generera en fullständig, multi-branch-struktur för ett fiktivt telekommunikationsföretag.

Varje gren konfigurerades för att representera serviceområden som billing, tekniskt stöd, kontoledning, och nya tjänster, med realistiska underalternativ och varierande djup över trädet. Från denna artificiella meny skapades två versioner för senare testning: en som en ren texthierarki, för att imitera hur en människa skulle läsa hela menyn; och en annan som en lista med slutpunkter, var och en med sin egen sekvens av knapptryckningar.

Detta möjliggjorde att systemet kunde testas både på en detaljerad och på en “avklippt” version av routningsutmaningen:

Två versioner av telefonmenyn tillhandahölls för AI: en detaljerad texthierarki, och en förenklad lista med direktmenyalternativ, för att jämföra hur väl varje format stödde routning av samtal till rätt plats.

För att skapa de kundmeddelanden som behövdes för testning, användes en andra språkmodell för att producera en uppsättning originalklagomål eller förfrågningar, med tio unika exempel gjorda för varje menyslutpunkt.

Var och en av dessa utvidgades sedan till flera omformulerade versioner, för att imitera det urval av sätt som riktiga kunder kan formulera sina problem, och introducerade förändringar i längd, ton och även mindre fel eller ‘fyllnadsord’.

De 920 kundmeddelanden som genererades från början var avsedda att testa systemets precision och för att simulera den oförutsägbarhet som finns i riktigt tal.

Det tredje steget testade hur exakt den slutliga modellen kunde kartlägga varje kundmeddelande till rätt menyslutpunkt, baserat på de två olika sätten att presentera IVR-systemet (se bild ovan).

I den första versionen fick AI en fullständig, beskrivande översikt av telefonträdet, med varje gren och underalternativ utlagt i textform. I den andra såg den bara en lista med slutpunkter, var och en kopplad till en knappsekvens.

Målet var att se om en “avklippt” version av menyn skulle göra det lättare för modellen att bestämma var varje samtal skulle gå. I båda fallen fick systemet ett meddelande i taget och fick i uppgift att returnera bara vägen, utan ytterligare ord eller förklaring, för att underlätta automatisk poängsättning.

Isolering

För att undvika att förorena testresultaten, höll experimentet varje modell isolerad från de andra: telefonmenyn skapades av den första modellen, men sedan finaliserad manuellt, så att den förblev okänd för de andra systemen.

Kundmeddelandena genererades sedan separat av gpt-4o-mini, med hjälp av endast slutpunkternas namn, och utan tillgång till menysstrukturen. Slutligen, gpt-4.1-mini, som hanterade routningen, såg bara texten i menyn och de inkommande meddelandena, och hade ingen inblandning i att skapa någon av dem.

Mätetal

För att mäta hur väl routningssystemet presterade, användes två standardmätetal: noggrannhet definierades som procentandelen fall där modellen returnerade den exakta korrekta vägen (såsom 1‑2‑3). För att isolera felets plats genererades också förvirringsmatriser*, som visade hur ofta varje väg förväxlades med andra. Utvärderingarna utfördes i Python med hjälp av pandas och scikit-learn-biblioteken.

Resultat

I tester berodde modellens noggrannhet starkt på hur telefonmenyn presenterades: när den gavs den “plattade” listan med menyslutpunkter, nådde systemet 89,13% noggrannhet på den enklare datamängden, jämfört med 81,30% när den använde den fullständiga beskrivande versionen av menyn:

Routningsnoggrannhet för den tredje (LLM3) modellen, över olika promptformat och datamängdstyper, vilket indikerar att plattade menyslutpunkter konsekvent överträffade hierarkiska beskrivningar, och att noggrannheten minskade något när indata var förstärkta med omformulerat eller informellt språk.

Detta mönster gällde också för den större, språkligt varierade datamängden, där den plattade versionen återigen presterade bättre, med 86,52% jämfört med 77,07% för den beskrivande formatet.

De här resultaten, som artikeln noterar, tyder på att enklare, listbaserade promptrar hjälpte modellen att matcha frågor mer tillförlitligt än långa hierarkiska beskrivningar.

Noggrannheten minskade också något när omformulerade och informella versioner av kundmeddelanden introducerades, vilket indikerar att större variation förbättrade realismen, men också gjorde klassificeringen svårare.

Artikeln slutsatsar:

‘Våra resultat visar att LLM:er dirigerar avsikter mer exakt när de ges plattade IVR-slutpunkter (upp till 89,13) än verbala menysbeskrivningar (så lågt som 77,07%), vilket tyder på att koncisa, strukturerade promptrar minskar brus och överensstämmer bättre med routningsuppgiften.

‘Detta stöder principen att tydlighet och concision förbättrar LLM-prestanda i klassificeringsinställningar.

‘Viktigt, att omvandla menyer till plattade slutpunkter är en enkel, automatiserbar process för verklig användning.’

Slutsats

Det är uppfriskande att se att åtminstone något öppet arbete sker i en av de mest isolerade och exklusiva grenarna av forskning i litteraturen. Vad som återstår att se är om “ram”-arkitekturer som kontextualiserar LLM:er kommer att behövas i framtiden, eller om modellen bara kommer att behöva tillgång till (lokalt tillgänglig) affärsintelligens, och därmed undvika behovet av att företaget delar data med tredjepartsleverantörer.

Ultimat kommer de breda designprinciper som är i arbete här att sannolikt antas naturligt av framtida AI-system, även i domäner bortom kundtjänst, utan att kräva medveten anpassning till den användningsfallet.

* Vänligen se källartikeln för dessa.

Publicerad första gången onsdag, 29 oktober 2025