AI kan hjælpe dig med at nå en rigtig person hurtigere

Nyt forskning viser, at open source ChatGPT-stile AI-oplysninger kan potentielt dirigere ringere til den rette person i et callcenter ved hjælp af naturligt sprog, uden at følge irriterende menuvalg, der er forskellige hver uge, og som synes at være tilrettelagt for at være hindrende.

At forsøge at nå en rigtig person i et callcenter kan være en frustrerende oplevelse på grund af behovet for at navigere i multiple-valgmuligheder i et langsomt tempo – ofte uden sikkerhed for, hvilke af valgmulighederne passer til din sag. Hvis ingen af dem gør, tenderer erfarne brugere til at adoptere tricks og workarounds for at få adgang til en menneskelig rådgiver af en slags, og for at komme ud af ‘option hell’. Mange af os vil genkende dette som en mere eller mindre ‘kombattant’ og brugerfjendtlig oplevelse.

Det er ikke overraskende, at callcentre er i frontlinjen for udvikling eller erstattelse af AI-systemer; og, på trods af en forsigtig tilgang, der anmodes fra visse kilder, forbliver callcenter AI-automatisering lavthængende frugt for tekniske overskrifter, og for udsigten til AI-baseret innovation, der kan tilbyde usædvanligt tidligt ROI.

Lukket butik

Men der er nogle områder, hvor open source-principper og frit tilgængelige data sjældent anvendes eller er tilgængelige, og dette er et af dem. Det giver mening: enhver virksomhed, der er interesseret i at automatisere deres kundesvarssystemer, vil have begrænset eller ingen interesse i at dele de data, der driver deres hårdt vundne indsigt, deres metoder eller deres corporate IP.

For det første ville deling af disse ressourcer koste dem en fordel i forhold til konkurrenterne; mere vigtigt, på grund af hvor udsatte AI-i-løkkesystemer er for at afsløre fortrolig information, er det juridisk risikabelt.

Dette har ført til, at en række velinvesterede spillere har udviklet AI-baserede callcenter-svarssystemer uafhængigt af hinanden (formodentlig med en vis uundgåelig redundant indsats); og til en udvidelse af B2B startups og etablerede spillere, der søger at imødekomme den voksende efterspørgsel efter AI-drevne kundesvarsevner.

En PolyAI-voice-assistent åbner en kundeservice-opringning for det fiktive firma ‘Augusta Lawn Care’, der bygger på store mængder træningskonversationer for at automatisere svar gennem eksisterende callcenter-infrastruktur. Kilde

Desuden har kapløbet om at fjerne frustrationen ved at navigere i et callcenter-labyrint har været en spor til forskningsindsats – selvom de fleste sådanne publikationer tendenser til at ske uden for Arxiv og andre åbne forskningspublikationsnetværk, i overensstemmelse med den generelt hemmelighedsfulde natur af Interactive Voice Response (IVR)-udvikling.

I stedet er forskning, data og forretningsintelligens i forbindelse med AI-automatisering af kundesvarssystemer alle jaloux vogtet, med kun få åbne kilde muligheder tilgængelige – selvom brugen af FOSS-systemer og data tilbød en juridisk lyden mulighed, hvilket er tvivlsomt.

Lokal opkald

Med dette i mente er det opfriskende at se en ny artikel fra Colombia, der forsøger at bryde IVR ud af dens corporate vault, i det mindste lidt. Den nye artikel, en kort og præcis indledning med titlen Beyond IVR Touch-Tones: Customer Intent Routing using LLMs, kommer fra en forsker ved Universidad Distrital Francisco José de Caldas i Bogotá, og hævder at være det første ikke-lukkede projekt, der bruger Large Language Models (LLMs) til at generere en arbejdende skema for et Customer Intent Routing (CIR)-system.

I stedet for at forsøge at få adgang til virkelige kaldedata eller proprietære menu-træer, genererer det nye projekt alle komponenter fra scratch ved hjælp af tre AI-modeller: en til at opfinde en realistisk callcenter-menu; en anden til at simulere hundredvis af kaldklager; og en tredje til at fungere som chatbot, der forsøger at dirigere disse klager til den rette destination.

Resultatet er en fuldstændig syntetisk, men overbevisende test-seng, der omfatter et fiktivt teleselskab, samt 920 forskellige brugerforespørgsler, der tillader eksperimentet at sidestille juridiske risici, mens det undersøger, hvor godt nuværende AI kan fortolke vag, beskidt tale, og stadig dirigere ringeren til den rette person.

Tests viser, at systemets kan matche fri-form kaldklager til den korrekte callcenter-destination med op til 89,13% nøjagtighed, især når givet ‘flattened’ menu-valgmuligheder i stedet for verbose beskrivelser (mere om dette senere).

Studiet fandt også, at når kaldere brugte mere afslappede eller varierede sprog, begik AI-fejl mere; men at nogle af disse fejl skete ikke, fordi AI misforstod, men fordi telefonmenuen i sig selv var forvirrende.

Eksempler på kundeinteraktioner, delt som del af det nye projekt. Kilde

Data for projektet er blevet gjort offentligt tilgængelige.

Metode

Den første model i den tredelte tilgang opretter en detaljeret telefonmenu for et fiktivt teleselskab; den anden genererer unikke kaldmeddelelser – nogle simple, andre omskrevne eller mere afslappede – for at simulere, hvordan mennesker faktisk taler, når de ringer for hjælp. Med hensyn til dette blev 920 eksempler genereret til projektet.

Den tredje model fik opgaven med at dirigere hver kaldere til den korrekte afdeling, baseret kun på meddelelsen og en version af menuen. Dette skema tillod eksperimentet at være fuldstændig gentagelig, mens det sidestillede behovet for rigtige kaldedata eller eksponering af kundeinformation:

De tre systemer, der er valgt til den tredelte tilgang. Kilde

De tre modeller, der blev brugt, var henholdsvis gpt-3.5-turbo; gpt-4o-mini; og gpt-4.1-mini.

For at simulere en overbevisende kundeservice-miljø var det nødvendigt at syntetisere en kompleks telefonmenu fra scratch. På grund af manglen på relevante datasæt blev gpt-3.5-turbo-modellen bedt om at generere en fuld, multi-branch-struktur for et fiktivt teleselskab.

Hver gren blev konfigureret til at repræsentere serviceområder som regning, teknisk support, kontoledelse, og nye tjenester, med realistiske undermuligheder og varierende dybde på tværs af træet. Fra denne kunstige menu blev to versioner oprettet til senere test: en som en ren tekst-hierarki, for at efterligne, hvordan en menneske måske læser hele menuen; og en anden som en liste over slutpunkter, hver med sin egen sekvens af knaptryk.

Dette tillod systemet at blive testet både på en detaljeret og på en ‘afklædt’ version af routing-udfordringen:

To versioner af telefonmenuen blev givet til AI: en detaljeret tekst-hierarki, og en simplificeret liste over direkte menu-valgmuligheder, for at sammenligne, hvor godt hver format støttede routing af kaldere til den rette plads.

For at oprette de kaldmeddelelser, der var nødvendige for test, blev en anden sprogmodel brugt til at producere en samling af originale klager eller anmodninger, med ti unikke eksempler lavet for hver menu-slutpunkt.

Hver af disse blev derefter udvidet til flere omskrevne versioner, for at efterligne det omfang af måder, hvorpå rigtige kaldere måske udtrykker deres problemer, og introducerede ændringer i længde, tone og selv mindre fejl eller ‘fyldord’.

De 920 kaldmeddelelser, der blev genereret i starten, var designede til både at teste systemets præcision og til at simulere den uforudsigelighed af rigtig tale.

Den tredje fase testede, hvor nøjagtigt den tredje model kunne kortlægge hver kaldmeddelelse til den rette menu-destination, baseret på de to forskellige måder at præsentere IVR-systemet på (se billedet ovenfor).

I den første version blev AI givet en fuld, beskrivende oversigt over telefontræet, med hver gren og undermulighed udarbejdet i tekstform. I den anden så den kun en liste over slutpunkter, hver knyttet til en knapsekvens.

Målet var at se, om en ‘afklædt’ version af menuen ville gøre det lettere for modellen at bestemme, hvor hver opkald skulle gå. I begge tilfælde modtog systemet en meddelelse ad gangen og blev bedt om at returnere kun stien, uden yderligere ord eller forklaring, for at facilitere automatisk scoring.

Isolation

For at undgå at forurenne testresultaterne holdt eksperimentet hver model isoleret fra de andre: telefonmenuen blev udarbejdet af den første model, men derefter fastsat manuelt, så den forblev ukendt for de andre systemer.

Kaldmeddelelserne blev derefter genereret separat af gpt-4o-mini, ved hjælp af kun navnene på slutpunkterne, og med ingen adgang til menustrukturen. Endelig så gpt-4.1-mini, der håndterede routing, kun tekst af menuen og de indkommende meddelelser, og havde ingen indblanding i oprettelse af enten.

Metrikker

For at måle, hvor godt routing-systemet fungerede, blev to standardmetrikker brugt: nøjagtighed blev defineret som procentdelen af tilfælde, hvor modellen returnerede den eksakte korrekte sti (såsom 1‑2‑3). For at isolere fejlens placering blev forvirringsmatricer også genereret*, der viser, hvor ofte hver sti blev forvekslet med andre. Evalueringerne blev udført i Python ved hjælp af pandas og scikit-learn-bibliotekerne.

Resultater

I tests afhængigt modellens nøjagtighed stærkt af, hvordan telefonmenuen blev præsenteret: når givet den ‘flattened’ liste af menu-stier, nåede systemet 89,13% nøjagtighed på den simple dataset, sammenlignet med 81,30%, når den fulde beskrivende version af menuen blev brugt:

Routing-nøjagtighed for den tredje (LLM3) model, på tværs af forskellige prompt-formater og dataset-typer, der indikerer, at ‘flattened’ menu-stier konsekvent overgik hierarkiske beskrivelser, og at nøjagtigheden faldt lidt, når inputs var suppleret med omskrevne eller uformelle sprog.

Dette mønster holdt for den større, sprogvarierede dataset også, hvor den ‘flattened’ version igen performerede bedre, med 86,52% mod 77,07% for den beskrivende format.

Disse resultater, noterer artiklen, antyder, at simple, liste-baserede prompts hjalp modellen med at matche forespørgsler mere pålideligt end lange, hierarkiske beskrivelser.

Nøjagtigheden faldt også lidt, når omskrevne og uformelle versioner af kaldmeddelelser blev introduceret, hvilket indikerer, at større variation forbedrede realisme, men også gjorde klassificeringen sværere.

Artiklen slutter af med:

‘Vores resultater viser, at LLMs ruter intentioner mere nøjagtigt, når de får ‘flattened’ IVR-stier (op til 89,13) end verbose menu-beskrivelser (så lavt som 77,07%), hvilket understøtter principperne om, at klarhed og korthed forbedrer LLM-præstation i klassificeringsindstillinger.

‘Dette understøtter principperne om, at klarhed og korthed forbedrer LLM-præstation i klassificeringsindstillinger.

‘Vigtigt er, at transformation af menuer til ‘flattened’ stier er en simpel, automatiserbar proces for virkeligt brug.’

Konklusion

Det er opfriskende at se, at der i det mindste sker noget åbent arbejde i en af de mest lukkede og eksklusive stræninger af forskning i litteraturen. Hvad der endnu skal ses, er, om ‘ramme’-arkitekturer, der kontekstualiserer LLM’er, vil være nødvendige i fremtiden, eller om modellen kun vil behøve adgang til (lokalt tilgængelig) forretningsintelligens, og dermed undgå behovet for, at virksomheden deler data med tredjeparts-udbydere.

Ultimo, de bredere designprincipper, der er i arbejde her, synes sandsynligt at blive antaget naturligt af fremtidige AI-systemer, selv i domæner ud over kundeservice, uden at kræve bevidst tilpasning til denne brugs-case.

* Se venligst kilde-artiklen for disse.

Først publiceret onsdag, 29. oktober 2025