KI könnte Ihnen helfen, schneller einen echten Menschen zu erreichen

Neue Forschung zeigt, dass Open-Source-ChatGPT-Style-KI-Systeme potenziell Anrufer an die richtige Person in einem Callcenter weiterleiten können, indem sie natürliche Sprache verwenden, ohne sich durch frustrierende Menüoptionen zu kämpfen, die jede Woche anders sind und absichtlich hinderlich erscheinen.

Es kann frustrierend sein, wenn man versucht, in einem Callcenter mit einer echten Person zu sprechen, da man multiple-choice-Optionen in einem langsamen Tempo navigieren muss – oft ohne Sicherheit, welche der Optionen für den eigenen Fall geeignet sind. Wenn keine davon passt, neigen erfahrene Benutzer dazu, Tricks und Workarounds zu verwenden, um Zugang zu einem menschlichen Berater zu erhalten und aus dem “Optionen-Hölle” herauszukommen. Viele von uns werden dies als eine mehr oder weniger “kriegerische” und benutzerfeindliche Erfahrung erkennen.

Es ist nicht überraschend, dass Callcenter an vorderster Front für die Augmentierung oder Ersetzung durch KI-Systeme stehen; und obwohl von einigen Seiten eine vorsichtige Herangehensweise empfohlen wird, bleibt die Automatisierung von Callcenter-KI ein low-hanging fruit für Tech-Schlagzeilen und für die Aussicht auf KI-basierte Innovation, die ungewöhnlich frühe ROI bieten kann.

Geschlossener Shop

Es gibt jedoch einige Bereiche, in denen offene Prinzipien und frei verfügbare Daten selten angewendet oder verfügbar sind, und dies ist einer davon. Es ist sinnvoll: Jedes Unternehmen, das an der Automatisierung seiner Kundenreaktionssysteme interessiert ist, wird nur begrenztes oder kein Interesse haben, die Daten zu teilen, die seine hart erkämpften Erkenntnisse, Methoden oder Corporate-IP ermöglichen.

Ein Grund dafür ist, dass das Teilen dieser Ressourcen ihnen einen Wettbewerbsvorteil kosten würde; wichtiger noch, da KI-Systeme anfällig für Offenlegung von privilegierten Informationen sind, ist es rechtlich riskant.

Dies hat zu einer Reihe von gut investierten Spielern geführt, die unabhängig voneinander AI-gestützte Callcenter-Reaktionsysteme entwickeln; und zu einer Vielzahl von B2B-Startups und etablierten Spielern, die den wachsenden Bedarf an AI-getriebenen Kundenreaktionsfähigkeiten bedienen möchten.

Ein PolyAI-Sprachassistent öffnet einen Kundenanruf für das fiktive Unternehmen ‘Augusta Lawn Care’, indem er auf große Mengen an Trainingsgesprächen zurückgreift, um Antworten über bestehende Callcenter-Infrastruktur zu automatisieren. Quelle

Darüber hinaus hat der Wettbewerb, die Frustration beim Navigieren durch ein Callcenter-Labyrinth zu beseitigen, Forschungsbemühungen angetrieben – obwohl die meisten solcher Veröffentlichungen außerhalb von Arxiv und anderen offenen Forschungsveröffentlichungsnetzwerken stattfinden, was der im Allgemeinen geheimen Natur der Interactive Voice Response (IVR)-Entwicklung entspricht.

Stattdessen werden Forschung, Daten und Geschäftsanalyse im Zusammenhang mit der Automatisierung von Kundenreaktionssystemen durch KI streng gehütet, mit sehr wenigen offenen Quellcode-Optionen verfügbar – selbst wenn die Verwendung von FOSS-Systemen und -Daten eine rechtlich einwandfreie Option böte, was jedoch zweifelhaft ist.

Ortsanruf

Angesichts dessen ist es erfrischend, ein neues Papier aus Kolumbien zu sehen, das versucht, IVR aus seinem corporate-Vault herauszubringen, zumindest ein wenig. Die neue Arbeit, ein prägnanter Eintrag mit dem Titel Beyond IVR Touch-Tones: Customer Intent Routing using LLMs, stammt von einem Forscher der Universidad Distrital Francisco José de Caldas in Bogotá und behauptet, das erste nicht-geschlossene Projekt zu sein, das Large Language Models (LLMs) verwendet, um ein funktionierendes Schema für ein Customer Intent Routing (CIR)-System zu generieren.

Statt zu versuchen, Zugang zu echten Anrufdaten oder proprietären Menübaumstrukturen zu erhalten, generiert das neue Projekt alle Komponenten von Grund auf mithilfe von drei KI-Modellen: einem, um ein realistisches Callcenter-Menü zu erfinden; einem anderen, um Hunderte von Anruferbeschwerden zu simulieren; und einem dritten, um als Chatbot zu fungieren und diese Beschwerden an die richtige Destination weiterzuleiten.

Das Ergebnis ist ein vollsynthetisches, aber überzeugendes Testbett, das ein fiktives Telekommunikationsunternehmen sowie 920 verschiedene Benutzeranfragen umfasst, was es dem Experiment ermöglicht, rechtliche Risiken zu umgehen, während es untersucht, wie gut aktuelle KI ungenaue, unordentliche Sprache interpretieren und den Anrufer immer noch an die richtige Person verbinden kann.

Tests zeigen, dass das Schemas-System Anruferbeschwerden mit bis zu 89,13% Genauigkeit der richtigen Callcenter-Destination zuordnen kann, insbesondere wenn “flattened” Menüoptionen anstelle von verbosen Beschreibungen verwendet werden (mehr darüber später).

Die Studie fand auch heraus, dass die KI mehr Fehler machte, wenn Anrufer eine lockerere oder vielfältigere Sprache verwendeten; aber dass einige dieser Fehler nicht daran lagen, dass die KI missverstand, sondern dass das Telefonmenü selbst verwirrend war.

Beispiele für Kundeninteraktionen, die als Teil des neuen Projekts geteilt werden. Quelle

Die Daten für das Projekt wurden öffentlich zugänglich gemacht.

Methode

Das erste Modell im dreiteiligen Ansatz erstellt ein detailliertes Telefonmenü für ein fiktives Telekommunikationsunternehmen; das zweite generiert einzigartige Anrufermitteilungen – einige einfach, andere umformuliert oder lockerer – um zu simulieren, wie Menschen tatsächlich sprechen, wenn sie um Hilfe anrufen. In diesem Zusammenhang wurden 920 Beispiele für das Projekt generiert.

Das dritte Modell erhielt die Aufgabe, jeden Anrufer an die richtige Abteilung zu verbinden, basierend nur auf der Nachricht und einer Version des Menüs. Dieses Schema ermöglichte es dem Experiment, vollständig wiederholbar zu sein, während es die Notwendigkeit, echte Anrufdaten oder Kundeninformationen offenzulegen, umging:

Die drei Systeme, die für den dreiteiligen Ansatz ausgewählt wurden. Quelle

Die drei verwendeten Modelle waren gpt-3.5-turbo; gpt-4o-mini; und gpt-4.1-mini.

Um eine überzeugende Kundenanrufumgebung zu simulieren, war es notwendig, ein komplexes Telefonmenü von Grund auf zu erstellen. Aufgrund der Knappheit an relevanten Datensätzen wurde das gpt-3.5-turbo-Modell angewiesen, ein vollständiges, mehrverzweigtes Struktur für ein fiktives Telekommunikationsunternehmen zu generieren.

Jeder Zweig wurde so konfiguriert, dass er Dienstleistungsbereiche wie Abrechnung, technische Unterstützung, Kundenverwaltung und neue Dienstleistungen darstellt, mit realistischen Unteroptionen und variierender Tiefe über den Baum. Von diesem künstlichen Menü wurden zwei Versionen für spätere Tests erstellt: eine als einfache Text-Hierarchie, um zu simulieren, wie ein Mensch das gesamte Menü lesen würde; und eine andere als Liste von Endpunkten, jeder mit seiner eigenen Sequenz von Schaltflächen.

Dies ermöglichte es dem System, sowohl auf einer detaillierten als auch auf einer “vereinfachten” Version der Routingsherausforderung getestet zu werden:

Zwei Versionen des Telefonmenüs wurden der KI bereitgestellt: eine detaillierte Text-Hierarchie und eine vereinfachte Liste von direkten Menüoptionen, um zu vergleichen, wie gut jede Formatart die Weiterleitung von Anrufern an die richtige Stelle unterstützte.

Um die Anrufermitteilungen zu erstellen, die für die Tests benötigt wurden, wurde ein zweites Sprachmodell verwendet, um einen Satz von Originalbeschwerden oder Anfragen zu produzieren, mit zehn einzigartigen Beispielen, die für jeden Menü-Endpunkt erstellt wurden.

Jedes davon wurde dann in mehrere umformulierte Versionen erweitert, um die Vielfalt der Wege zu simulieren, auf die echte Anrufer ihre Probleme formulieren könnten, und es wurden Änderungen in Länge, Ton und sogar kleine Fehler oder ‘Füllwörter’ eingeführt.

Die 920 Anrufermitteilungen, die zu Beginn generiert wurden, sollten sowohl die Präzision des Systems testen als auch die Unvorhersehbarkeit der realen Sprache simulieren.

Die dritte Phase testete, wie genau das finale Modell jede Anrufermitteilung an die richtige Menüdestination zuordnen konnte, basierend auf den beiden verschiedenen Darstellungsweisen des IVR-Systems (siehe Bild oben).

Im ersten Fall erhielt die KI eine vollständige, beschreibende Darstellung des Telefonbaums, mit jedem Zweig und jeder Unteroption in Textform dargestellt. Im zweiten Fall sah sie nur eine Liste von Endpunkten, jeder mit seiner eigenen Schaltflächenfolge.

Das Ziel war es, zu sehen, ob eine vereinfachte Version des Menüs es der KI erleichtern würde, jeden Anruf an die richtige Stelle zu verbinden. In beiden Fällen erhielt das System eine Nachricht nach der anderen und wurde aufgefordert, nur den Pfad zurückzugeben, ohne zusätzliche Wörter oder Erklärungen, um eine automatische Bewertung zu ermöglichen.

Isolation

Um die Testergebnisse nicht zu verfälschen, hielt das Experiment jedes Modell isoliert von den anderen: Das Telefonmenü wurde vom ersten Modell erstellt, aber dann manuell finalisiert, so dass es für die anderen Systeme unbekannt blieb.

Die Anrufermitteilungen wurden dann getrennt von gpt-4o-mini generiert, unter Verwendung nur der Endpunktnamen und ohne Zugriff auf die Menüstruktur. Schließlich sah gpt-4.1-mini, das für die Weiterleitung zuständig war, nur den Text des Menüs und die eingehenden Nachrichten und hatte keine Beteiligung an der Erstellung von entweder.

Metriken

Um zu messen, wie gut das Routingsystem funktionierte, wurden zwei Standardmetriken verwendet: Genauigkeit wurde definiert als der Prozentsatz der Fälle, in denen das Modell den exakt richtigen Pfad zurückgab (wie 1‑2‑3). Um die Fehlerorte zu isolieren, wurden auch Verwirrungsmatrizen generiert*, die zeigten, wie oft jeder Pfad mit anderen verwechselt wurde. Die Bewertungen wurden in Python mit den pandas und scikit-learn Bibliotheken durchgeführt.

Ergebnisse

In Tests hing die Genauigkeit des Modells stark von der Darstellung des Telefonmenüs ab: Wenn es die flache Liste von Menüpfaden erhielt, erreichte das System eine Genauigkeit von 89,13% auf dem einfacheren Datensatz, im Vergleich zu 81,30%, wenn es die vollständige beschreibende Version des Menüs verwendete:

Weiterleitungs-Genauigkeit für das dritte (LLM3) Modell, über verschiedene Prompt-Formate und Datensatztypen, die zeigen, dass flache Menüpfade konsistent besser als hierarchische Beschreibungen abschnitten und dass die Genauigkeit leicht abnahm, wenn Eingaben mit umformulierten oder informellen Sprache angereichert wurden.

Dieses Muster galt auch für den größeren, sprachlich vielfältigeren Datensatz, bei dem die flache Version erneut besser abschnitt, mit 86,52% gegenüber 77,07% für die beschreibende Format.

Diese Ergebnisse, so die Studie, deuten darauf hin, dass einfachere, listenbasierte Prompts dem Modell halfen, Anfragen zuverlässiger zuordnen als lange hierarchische Beschreibungen.

Die Genauigkeit sank auch leicht, wenn umformulierte und informelle Versionen von Anrufermitteilungen eingeführt wurden, was darauf hindeutet, dass eine größere Vielfalt die Realistik erhöhte, aber auch die Klassifizierung erschwerte.

Die Studie kommt zu dem Schluss:

‘Unsere Ergebnisse zeigen, dass LLMs Absichten genauer weiterleiten, wenn sie flache IVR-Pfade erhalten (bis zu 89,13), als wenn sie verbosene Menübeschreibungen erhalten (so niedrig wie 77,07%), was darauf hindeutet, dass präzise, strukturierte Prompts Rauschen reduzieren und besser mit der Weiterleitungs-Aufgabe übereinstimmen.

‘Dies unterstützt das Prinzip, dass Klarheit und Kürze die Leistung von LLMs in Klassifizierungsszenarien verbessern.

‘Wichtig ist, dass die Umwandlung von Menüs in flache Pfade ein einfacher, automatisierbarer Prozess für den realen Einsatz ist.’

Schlussfolgerung

Es ist erfrischend, zumindest einige offene Arbeiten in einem der am meisten abgeschotteten und exklusivsten Forschungsbereiche in der Literatur zu sehen. Was noch zu sehen bleibt, ist, ob “Framing”-Architekturen, die LLMs kontextualisieren, in der Zukunft benötigt werden oder ob das Modell nur Zugriff auf (lokal verfügbare) Geschäftsanalyse benötigt, was den Bedarf, Daten mit Drittanbietern zu teilen, überflüssig macht.

Letztendlich scheinen die breiteren Designprinzipien, die hier wirken, wahrscheinlich von zukünftigen KI-Systemen auch in Bereichen jenseits des Kundendienstes ohne bewusste Ausrichtung auf diesen Anwendungsfall übernommen zu werden.

* Bitte beachten Sie die Quellenpapier für diese.

Erstveröffentlicht am Mittwoch, den 29. Oktober 2025