AI kan helpen om sneller een echte persoon te bereiken

Nieuw onderzoek toont aan dat open source ChatGPT-achtige AI-opstellingen mogelijk bellers kunnen doorverbinden met de juiste persoon in een callcenter met behulp van natuurlijke taal, zonder dat er naar irritante menukeuzes hoeft te worden genavigeerd die elke week anders zijn en die bewust obstructief lijken te zijn.

Proberen om een echte persoon te bereiken in een callcenter kan een frustrerende ervaring zijn vanwege de noodzaak om meerdere keuzemenu’s te doorlopen op een langzaam tempo – vaak zonder zekerheid over welke van de keuzes geschikt is voor uw zaak. Als geen van hen dat doet, nemen ervaren gebruikers de neiging om trucs en workarounds te gebruiken om toegang te krijgen tot een menselijke adviseur van een soort, en om uit ‘optiehel’ te komen. Veel van ons zullen dit herkennen als een meer of minder ‘combative’ en gebruikersvijandige ervaring.

Het is niet verwonderlijk dat callcenters aan de voorzijde staan voor augmentatie of vervanging door AI-systemen; en, ondanks een voorzichtige aanpak die wordt aangeraden van sommige kanten, blijft callcenter-AI-automatisering laaghangend fruit voor tech-koppen, en voor het vooruitzicht van AI-gebaseerde innovatie die ongewoon vroeg ROI kan bieden.

Gesloten winkel

Maar er zijn enkele gebieden waar open source-principes en vrij beschikbare gegevens zelden worden toegepast of beschikbaar zijn, en dit is er een van. Het heeft zin: elk bedrijf dat geïnteresseerd is in het automatiseren van hun klantresponsystemen zal weinig of geen interesse hebben om de gegevens die de kracht van hun harde verworven inzichten, hun methoden of hun corporate IP te delen.

Om te beginnen zou het delen van deze middelen hen een rand geven bij concurrerende bedrijven; belangrijker nog, gezien hoe geneigd AI-in-de-lus-systemen zijn om geheime informatie te onthullen, is het juridisch riskant.

Dit heeft geleid tot een aantal goed geïnvesteerde spelers die onafhankelijk van elkaar AI-geassisteerde callcenterresponsystemen ontwikkelen (vermoedelijk met enige onvermijdelijke redundantie van inspanning); en tot een verspreiding van B2B startups en gevestigde spelers die proberen om de groeiende vraag naar AI-gedreven klantresponsmogelijkheden te bedienen.

Een PolyAI-spraakassistent opent een klantenservicegesprek voor het fictieve bedrijf ‘Augusta Lawn Care’, met behulp van grote hoeveelheden trainingsgesprekken om antwoorden te automatiseren via bestaande callcenterinfrastructuur. Bron

Bovendien heeft de wedloop om de frustratie van het navigeren door een callcenterlabyrint een impuls gegeven aan onderzoeksinspanningen – hoewel de meeste van dergelijke publicaties de neiging hebben om weg te blijven van Arxiv en andere open onderzoekspublicatienetwerken, in overeenstemming met de algemeen clandestiene aard van Interactive Voice Response (IVR)-ontwikkeling.

In plaats daarvan worden onderzoek, gegevens en bedrijfsinformatie met betrekking tot AI-automatisering van klantresponsystemen allemaal jalously bewaakt, met zeer weinig open source-opties beschikbaar – zelfs als het gebruik van FOSS-systemen en -gegevens een juridisch solide optie zou bieden, wat twijfelachtig is.

Lokale oproep

Met dit in gedachten is het verfrissend om een nieuw artikel uit Colombia te zien dat probeert IVR uit zijn corporate kluis te breken, althans een beetje. Het nieuwe werk, een bondige inzending getiteld Beyond IVR Touch-Tones: Customer Intent Routing using LLMs, komt van een onderzoeker aan de Universidad Distrital Francisco José de Caldas in Bogotá, en beweert de eerste niet-gesloten project te zijn dat Large Language Models (LLM’s) gebruikt om een werkend schema voor een Customer Intent Routing (CIR)-systeem te genereren.

In plaats van te proberen toegang te krijgen tot echte oproepgegevens of propriëtaire menustructuren, genereert het nieuwe project alle componenten van scratch met behulp van drie AI-modellen: één om een realistisch callcentermenu uit te vinden; een andere om honderden klachten van bellers te simuleren; en een derde om als chatbot te fungeren, om die klachten naar het juiste bestemming te routeren.

Het resultaat is een volledig synthetisch maar overtuigend testbed, met een fictief telecombedrijf, samen met 920 verschillende gebruikersvragen, waardoor het experiment de juridische risico’s kan omzeilen terwijl het onderzoekt hoe goed de huidige AI vagelijk, rommelig spraak kan interpreteren en de beller nog steeds kan verbinden met de juiste persoon.

Tests geven aan dat het systeem van het schema free-form klachten van bellers kan matchen met het juiste callcenterbestemming met maximaal 89,13% nauwkeurigheid, vooral wanneer ‘geflattened’ menu-opties worden gegeven in plaats van uitgebreide beschrijvingen (meer hierover later).

Het onderzoek vond ook dat wanneer bellers meer informele of gevarieerde taal gebruikten, de AI meer fouten maakte; maar dat sommige van die fouten gebeurden niet omdat de AI het niet begreep, maar omdat het telefoonmenu zelf verwarrend was.

Voorbeelden van klantinteracties, gedeeld als onderdeel van het nieuwe project. Bron

Gegevens voor het project zijn openbaar gemaakt.

Methode

Het eerste model in de drievoudige aanpak creëert een gedetailleerd telefoonmenu voor een fictief telecombedrijf; het tweede genereert unieke berichten van bellers – sommige eenvoudig, andere herschreven of meer informeel – om te simuleren hoe mensen echt praten wanneer ze om hulp bellen. Met betrekking tot dit, werden 920 voorbeelden gegenereerd voor het project.

Het derde model kreeg de taak om elke beller te verbinden met de juiste afdeling, op basis van alleen het bericht en een versie van het menu. Dit schema stelde het experiment in staat om volledig herhaalbaar te zijn, terwijl het de noodzaak om echte oproepgegevens of klantgegevens te gebruiken, omzeilde:

De drie systemen die zijn gekozen voor de drievoudige aanpak. Bron

De drie modellen die werden gebruikt, waren respectievelijk gpt-3.5-turbo; gpt-4o-mini; en gpt-4.1-mini.

Om een overtuigend klantenservice-omgeving te simuleren, was het nodig om een complex telefoonmenu van scratch te synthetiseren. Vanwege het gebrek aan relevante datasets, werd het gpt-3.5-turbo-model aangezet om een volledige, multi-branch-structuur voor een fictief telecomprovider te genereren.

Elke tak was geconfigureerd om servicegebieden te vertegenwoordigen zoals facturering, technische ondersteuning, accountbeheer, en nieuwe diensten, met realistische subopties en variabele diepte over de boom. Vanuit dit kunstmatige menu werden twee versies gemaakt voor later testen: één als een platte teksthiërarchie, om te imiteren hoe een mens het hele menu zou lezen; en een andere als een lijst van eindpunten, elk met zijn eigen reeks knoppen.

Dit stelde het systeem in staat om te worden getest op zowel een gedetailleerde als een ‘gestripte’ versie van de routeringsuitdaging:

Twee versies van het telefoonmenu werden verstrekt aan de AI: een gedetailleerde teksthiërarchie, en een vereenvoudigde lijst van directe menu-opties, om te vergelijken hoe goed elk formaat de routering van bellers naar de juiste plaats ondersteunde.

Om de benodigde bellerberichten te creëren, werd een tweede taalmodel gebruikt om een set originele klachten of verzoeken te produceren, met tien unieke voorbeelden gemaakt voor elk menu-eindpunt.

Elk van deze werd vervolgens uitgebreid tot meerdere herschreven versies, om de range van manieren te imiteren waarop echte bellers hun problemen zouden formuleren, en introduceerde veranderingen in lengte, toon en zelfs kleine fouten of ‘vul’ taal.

De 920 bellerberichten die aanvankelijk werden gegenereerd, waren ontworpen om zowel de precisie van het systeem te testen als om de onvoorspelbaarheid van echte spraak te simuleren.

Het derde stadium testte hoe nauwkeurig het laatste model elk bellerbericht naar het juiste menu-bestemming kon kaarten, op basis van de twee verschillende manieren van presenteren van het IVR-systeem (zie bovenstaand beeld).

In de eerste versie kreeg de AI een volledige, beschrijvende schets van de telefoonboom, met elke tak en suboptie uitgelegd in tekstvorm. In de tweede zag het alleen een lijst van eindpunten, elk gekoppeld aan een knoppenreeks.

Het doel was om te zien of een gestripte versie van het menu het makkelijker zou maken voor het model om te beslissen waar elke oproep naartoe moest gaan. In beide gevallen ontving het systeem één bericht tegelijk en werd gevraagd om alleen het pad terug te geven, zonder extra woorden of uitleg, om automatische scoring te faciliteren.

Isolatie

Om de testresultaten niet te verontreinigen, hield het experiment elk model geïsoleerd van de anderen: het telefoonmenu werd opgesteld door het eerste model, maar vervolgens handmatig gefinaliseerd, zodat het onbekend bleef voor de andere systemen.

De bellerberichten werden vervolgens afzonderlijk gegenereerd door gpt-4o-mini, met behulp van alleen de namen van de eindpunten, en zonder toegang tot de menustructuur. Ten slotte zag gpt-4.1-mini, dat verantwoordelijk was voor de routering, alleen de tekst van het menu en de inkomende berichten, en had geen betrokkenheid bij het creëren van een van beiden.

Metrieken

Om te meten hoe goed het routeringssysteem presteerde, werden twee standaardmetrieken gebruikt: nauwkeurigheid werd gedefinieerd als het percentage gevallen waarin het model het exacte juiste pad teruggeeft (zoals 1‑2‑3). Om de locatie van fouten te isoleren, werden verwarringmatrices ook gegenereerd*, die aangaven hoe vaak elk pad verward werd met anderen. De evaluaties werden uitgevoerd in Python met behulp van de pandas en scikit-learn bibliotheken.

Resultaten

In tests was de nauwkeurigheid van het model sterk afhankelijk van de manier waarop het telefoonmenu werd gepresenteerd: wanneer het een platte lijst van menu-paden kreeg, bereikte het systeem 89,13% nauwkeurigheid op de eenvoudigere dataset, in vergelijking met 81,30% wanneer het de volledige beschrijvende versie van het menu gebruikte:

Routeringsnauwkeurigheid voor het derde (LLM3) model, over verschillende promptformaten en datasettypen, waaruit blijkt dat platte menu-paden consequent beter presteerden dan hiërarchische beschrijvingen, en dat de nauwkeurigheid iets afnam wanneer invoer werd aangevuld met herschreven of informele taal.

Dit patroon bleef bestaan voor de grotere, taalkundig gevarieerde dataset, waar de platte versie opnieuw beter presteerde, met 86,52% tegen 77,07% voor de beschrijvende versie.

Deze resultaten, zo merkt het artikel op, suggereren dat eenvoudige, lijst-gebaseerde prompts het model in staat stelden om queries meer betrouwbaar te matchen dan lange hiërarchische beschrijvingen.

De nauwkeurigheid daalde ook iets wanneer herschreven en informele versies van bellerberichten werden geïntroduceerd, wat aangaf dat grotere variatie realisme verbeterde, maar ook classificatie moeilijker maakte.

Het artikel concludeert:

‘Onze resultaten laten zien dat LLM’s intenties nauwkeuriger routeren wanneer ze platte IVR-paden krijgen (tot 89,13%) dan uitgebreide menu-beschrijvingen (zo laag als 77,07%), wat suggereert dat duidelijke, gestructureerde prompts ruis verminderen en beter aansluiten bij de routeringstaak.

‘Dit ondersteunt het principe dat duidelijkheid en bondigheid de prestaties van LLM’s in classificeringsinstellingen verbeteren.

‘Belangrijk is dat het transformeren van menu’s in platte paden een eenvoudig, automatisch proces is voor werkelijk gebruik.’

Conclusie

Het is verfrissend om tenminste enig open werk te zien gebeuren in een van de meest geïsoleerde en exclusieve onderzoeksgebieden in de literatuur. Wat nog moet worden gezien, is of ‘framing’-architecturen die LLM’s contextualiseren, nodig zullen zijn in de toekomst, of dat het model alleen toegang nodig heeft tot (lokaal beschikbare) bedrijfsinformatie, waardoor de noodzaak voor het bedrijf om gegevens te delen met derde partijen overbodig wordt.

Uiteindelijk lijken de bredere ontwerpprincipes die hier aan het werk zijn, waarschijnlijk te worden overgenomen door toekomstige AI-systemen, zelfs in domeinen buiten klantenservice, zonder dat er een bewuste uitlijning op die use-case nodig is.

* Verwijzing naar het bronartikel voor deze.

Eerst gepubliceerd op woensdag 29 oktober 2025