Jetzt mehr als je zuvor ist die Zeit für KI-gestützte sprachbasierte Systeme gekommen. Denken Sie an einen Anruf beim Kundenservice. Bald wird all die Steifheit und Inflexibilität verschwunden sein – die steifen roboterhaften Stimmen, die “drücken Sie die 1 für Verkauf”-Art von einschränkenden Menüs, die ärgerlichen Erfahrungen, die uns alle frantically dazu gebracht haben, die 0 zu drücken, um stattdessen mit einem menschlichen Agenten zu sprechen. (Oder, angesichts der langen Wartezeiten, die ein Transfer zu einem menschlichen Agenten mit sich bringen kann, haben wir uns entschieden, den Anruf ganz aufzugeben.)

Nein mehr. Fortschritte nicht nur in transformer-basierten großen Sprachmodellen (LLMs), sondern auch in automatischer Spracherkennung (ASR) und Text-to-Speech (TTS)-Systemen bedeuten, dass “nächste Generation” sprachbasierte Agenten hier sind – wenn Sie wissen, wie man sie baut.

Heute werfen wir einen Blick auf die Herausforderungen, denen sich jeder stellen muss, der ein solches state-of-the-art sprachbasiertes konversationales Agenten-System bauen möchte.

Warum Sprache?

Bevor wir uns hineinstürzen, lassen Sie uns einen kurzen Blick auf die allgemeinen Anziehungskraft und Relevanz von sprachbasierten Agenten (im Gegensatz zu textbasierten Interaktionen) werfen. Es gibt viele Gründe, warum eine sprachliche Interaktion angemessener sein könnte als eine textbasierte – diese können unter anderem umfassen:

• Präferenz oder Gewohnheit – Sprechen entwickelt sich vor dem Schreiben und historisch

• Langsames Texteingabe – Viele können schneller sprechen als tippen

• Händlerfreie Situationen – wie beim Fahren, Trainieren oder Geschirrspülen

• Analphabetismus – zumindest in den Sprachen, die der Agent versteht

• Behinderungen – wie Blindheit oder fehlende nicht-vokale Motorik

In einer Ära, die scheinbar von webbasierten Transaktionen dominiert wird, bleibt die Sprache ein leistungsfähiger Kanal für den Handel. Zum Beispiel fand eine kürzlich von JD Power durchgeführte Studie über Kundenzufriedenheit in der Hotelbranche heraus, dass Gäste, die ihr Zimmer telefonisch gebucht hatten, zufriedener mit ihrem Aufenthalt waren als diejenigen, die über eine Online-Reiseagentur (OTA) oder direkt über die Website des Hotels gebucht hatten.

Aber interaktive Sprachantworten, oder IVRs, sind nicht genug. Eine 2023 von Zippia durchgeführte Studie fand heraus, dass 88 % der Kunden lieber Telefonanrufe mit einem Live-Agenten bevorzugen, anstatt ein automatisches Telefonmenü zu navigieren. Die Studie fand auch heraus, dass die Dinge, die die Menschen am meisten über Telefonmenüs ärgern, unter anderem umfassen: irrelevanten Optionen anhören (69 %), die Unfähigkeit, das Problem vollständig zu beschreiben (67 %), ineffiziente Dienstleistungen (33 %) und verwirrende Optionen (15 %).

Und es gibt eine Offenheit für die Verwendung von sprachbasierten Assistenten. Laut einer Studie von Accenture sind etwa 47 % der Verbraucher bereits damit komfortabel, Voice-Assistenten zur Interaktion mit Unternehmen zu verwenden, und etwa 31 % der Verbraucher haben bereits einen Voice-Assistenten zur Interaktion mit einem Unternehmen verwendet.

Egal aus welchem Grund, viele Menschen bevorzugen eine gesprochene Interaktion – solange sie natürlich und komfortabel ist.

Was macht einen guten sprachbasierten Agenten aus?

Roughly gesagt, sollte ein guter sprachbasierter Agent auf die Benutzer in einer Weise reagieren, die:

• Relevant ist: Basierend auf einem korrekten Verständnis dessen, was der Benutzer gesagt oder wollte. Beachten Sie, dass in einigen Fällen die Antwort des Agents nicht nur eine gesprochene Antwort ist, sondern eine Form der Aktion durch Integration mit einem Backend (z. B. tatsächlich ein Hotelzimmer buchen, wenn der Anrufer “Los geht” sagt).

• Genau ist: Basierend auf Fakten (z. B. nur sagen, dass ein Zimmer im Hotel am 19. Januar verfügbar ist, wenn es tatsächlich verfügbar ist)

• Klar ist: Die Antwort sollte verständlich sein

• Pünktlich ist: Mit der Art von Latenz, die man von einem Menschen erwarten würde

• Sicher ist: Keine anstößige oder unangemessene Sprache, keine Offenlegung von geschützten Informationen usw.

Das Problem

Aktuelle sprachbasierte automatisierte Systeme versuchen, die oben genannten Kriterien auf Kosten von a) sehr begrenzten und b) sehr frustrierenden Erfahrungen zu erfüllen. Ein Teil davon ist das Ergebnis der hohen Erwartungen, die ein sprachbasierter konversationeller Kontext setzt, mit solchen Erwartungen, die nur höher werden, je mehr die Sprachqualität in TTS-Systemen menschlichen Stimmen ähnelt. Aber diese Erwartungen werden in den derzeit weit verbreiteten Systemen enttäuscht. Warum?

In einem Wort – Inflexibilität:

• Begrenzte Sprache – der Benutzer wird typischerweise gezwungen, Dinge unnatürlich zu sagen: in kurzen Phrasen, in einer bestimmten Reihenfolge, ohne spurious Informationen usw. Dies bietet wenig oder keinen Vorteil gegenüber dem alten Schul-Nummern-basierten Menüsystem

• Schmale, nicht-inclusive Vorstellung von “akzeptabler” Sprache – geringe Toleranz für Slang, Uhms und Ähs usw.

• Keine Rückverfolgung: Wenn etwas schief geht, kann es wenig Chance geben, das problematische Stück Informationen “zu reparieren” oder zu korrigieren, sondern stattdessen von vorne beginnen oder auf einen menschlichen Agenten warten.

• Strenges Turn-taking – keine Fähigkeit, den Agenten zu unterbrechen oder zu sprechen

Es ist offensichtlich, dass Menschen diese Einschränkungen ärgerlich oder frustrierend finden.

Die Lösung:

Die gute Nachricht ist, dass moderne KI-Systeme leistungsfähig und schnell genug sind, um die oben genannten Erfahrungen erheblich zu verbessern, anstatt menschliche Kundenservice-Standards zu erreichen oder zu übertreffen. Dies liegt an einer Vielzahl von Faktoren:

• Schnellere, leistungsfähigere Hardware

• Verbesserungen in ASR (höhere Genauigkeit, Überwindung von Rauschen, Akzenten usw.)

• Verbesserungen in TTS (natürlich klingende oder sogar geklonte Stimmen)

• Die Ankunft generativer LLMs (natürlich klingende Konversationen)

Letzterer Punkt ist ein Game-Changer. Die wichtigste Erkenntnis war, dass ein gutes Vorhersagemodell auch ein gutes generatives Modell sein kann. Ein künstlicher Agent kann nahe an menschliche Konversationsleistung herankommen, wenn er sagt, was ein ausreichend gutes LLM vorhersagt, dass es das wahrscheinlichste ist, was ein guter menschlicher Kundenservice-Agent in dem gegebenen konversationellen Kontext sagen würde.

Daraufhin kamen Dutzende von KI-Startups, die das Problem des sprachbasierten konversationalen Agents einfach durch die Auswahl und Verbindung von Standard-ASR- und TTS-Modulen mit einem LLM-Kern lösen wollten. Auf dieser Ansicht ist die Lösung nur eine Frage der Auswahl einer Kombination, die Latenz und Kosten minimiert. Und natürlich ist das wichtig. Aber reicht das aus?

Nicht so schnell

Es gibt mehrere spezifische Gründe, warum dieser einfache Ansatz nicht funktionieren wird, aber sie ergeben sich aus zwei allgemeinen Punkten:

1. LLMs können auf sich allein nicht gute faktengestützte Textkonversationen der Art liefern, die für Unternehmensanwendungen wie Kundenservice erforderlich sind. Sie können also auch nicht für sprachbasierte Konversationen liefern. Etwas anderes ist erforderlich.

2. Selbst wenn Sie LLMs mit dem ergänzen, was erforderlich ist, um einen guten textbasierten konversationalen Agenten zu erstellen, erfordert die Umwandlung in einen guten sprachbasierten konversationalen Agenten mehr als nur die Verbindung mit den besten ASR- und TTS-Modulen, die Sie sich leisten können.

Lassen Sie uns ein spezifisches Beispiel für jede dieser Herausforderungen betrachten.

Herausforderung 1: Es realistisch halten

Wie allgemein bekannt ist, produzieren LLMs manchmal ungenaue oder “halluzinierte” Informationen. Dies ist in vielen kommerziellen Anwendungen katastrophal, selbst wenn es in Unterhaltungsanwendungen, in denen Genauigkeit nicht das Ziel ist, gut funktionieren kann.

Dass LLMs manchmal halluzinieren, ist nur zu erwarten, wenn man darüber nachdenkt. Es ist eine direkte Folge der Verwendung von Modellen, die auf Daten aus einem Jahr (oder mehr) vor der Generierung von Antworten auf Fragen über Fakten trainiert wurden, die nicht Teil oder nicht impliziert durch ein Datensatz (wie groß auch immer) sind, der ein Jahr oder mehr alt ist. Wenn der Anrufer “Was ist meine Mitgliedsnummer?” fragt, kann ein einfaches vorab trainiertes LLM nur eine plausibel klingende Antwort generieren, nicht eine genaue.

Die häufigsten Methoden, um dieses Problem zu lösen, sind:

• Feinabstimmung: Trainieren Sie das vorab trainierte LLM weiter, diesmal auf all den domänen-spezifischen Daten, die Sie möchten, dass es korrekt beantworten kann.

• Prompt-Engineering: Fügen Sie die zusätzlichen Daten/Anweisungen als Eingabe für das LLM hinzu, zusätzlich zur Konversationsgeschichte

• Retrieval-Augmented-Generation (RAG): Ähnlich wie Prompt-Engineering, außer dass die Daten, die dem Prompt hinzugefügt werden, dynamisch durch Abgleich des aktuellen konversationellen Kontexts (z. B. der Kunde hat “Hat Ihr Hotel einen Pool?” gefragt) mit einem verschlüsselten Index Ihrer domänen-spezifischen Daten bestimmt werden (z. B. eine Datei, die “Hier sind die Einrichtungen, die im Hotel verfügbar sind: Pool, Sauna, EV-Ladestation”).

• Regelbasierte Steuerung: Ähnlich wie RAG, aber was hinzugefügt oder subtrahiert werden soll, wird nicht durch Abgleich mit einem neuronalen Gedächtnis bestimmt, sondern durch hartkodierte (und handkodierte) Regeln.

Beachten Sie, dass es nicht eine Größe gibt, die für alle passt. Welche dieser Methoden angemessen ist, hängt unter anderem von den domänen-spezifischen Daten ab, die die Antwort des Agents informieren. Insbesondere hängt es davon ab, ob diese Daten häufig (z. B. von Anruf zu Anruf – z. B. Kundenname) oder kaum je (z. B. die anfängliche Begrüßung: “Hallo, vielen Dank für Ihren Anruf beim Hotel Budapest. Wie kann ich Ihnen heute helfen?”) ändern. Feinabstimmung wäre für den ersten Fall nicht angemessen und RAG wäre für den zweiten Fall eine ungeschickte Lösung. Jedes funktionierende System muss also eine Vielzahl dieser Methoden verwenden.

Was mehr ist, erfordert die Integration dieser Methoden mit dem LLM und miteinander in einer Weise, die Latenz und Kosten minimiert, sorgfältige Ingenieurskunst. Zum Beispiel könnte die RAG-Leistung Ihres Modells verbessert werden, wenn Sie es für diese Methode feinabstimmen.

Es mag keine Überraschung sein, dass jede dieser Methoden wiederum ihre eigenen Herausforderungen mit sich bringt. Zum Beispiel nehmen wir die Feinabstimmung. Die Feinabstimmung Ihres vorab trainierten LLMs auf Ihre domänen-spezifischen Daten wird seine Leistung auf diesen Daten verbessern, ja. Aber die Feinabstimmung ändert die Parameter (Gewichte), die die Grundlage der allgemeinen Leistung des vorab trainierten Modells sind. Diese Änderung verursacht daher ein “Vergessen” (oder “katastrophales Vergessen”) einiger der vorherigen Kenntnisse des Modells. Dies kann dazu führen, dass das Modell inkorrekte oder unangemessene (sogar unsichere) Antworten gibt. Wenn Sie möchten, dass Ihr Agent weiterhin genau und sicher antwortet, benötigen Sie eine Feinabstimmungsmethode, die das katastrophale Vergessen mildert.

Herausforderung 2: Endpointing

Die Bestimmung, wann ein Kunde aufgehört hat zu sprechen, ist für einen natürlichen Konversationsfluss entscheidend. Ebenso muss das System Unterbrechungen auf eine Weise handhaben, die die Konversation kohärent und auf die Bedürfnisse des Kunden abgestimmt hält. Die Erreichung eines Standards, der mit menschlicher Interaktion vergleichbar ist, ist eine komplexe Aufgabe, aber sie ist für die Schaffung natürlicher und angenehmer konversationeller Erfahrungen unerlässlich.

Eine Lösung, die funktioniert, erfordert, dass die Designer Fragen wie diese berücksichtigen:

• Wie lange sollte der Agent nachdem der Kunde aufgehört hat zu sprechen warten, bevor er entscheidet, dass der Kunde aufgehört hat zu sprechen?

• Hängt dies davon ab, ob der Kunde einen vollständigen Satz abgeschlossen hat?

• Was sollte getan werden, wenn der Kunde den Agenten unterbricht?

• Insbesondere sollte der Agent annehmen, dass das, was er gesagt hat, vom Kunden nicht gehört wurde?

Diese Probleme, die größtenteils mit der Zeit zu tun haben, erfordern sorgfältige Ingenieurskunst über das hinaus, was für die Erlangung einer korrekten Antwort durch ein LLM erforderlich ist.

Schlussfolgerung

Die Entwicklung von KI-gestützten sprachbasierten Systemen verspricht eine revolutionäre Veränderung in der Kundenservicodynamik, indem sie veraltete Telefonsysteme durch fortschrittliche LLMs, ASR- und TTS-Technologien ersetzen. Allerdings werden die Überwindung von Herausforderungen bei halluzinierten Informationen und nahtloser Endpointing von entscheidender Bedeutung sein, um natürliche und effiziente sprachbasierte Interaktionen zu liefern.

Die Automatisierung des Kundenservice hat das Potenzial, ein echter Game-Changer für Unternehmen zu werden, aber nur, wenn sie richtig durchgeführt wird. Im Jahr 2024, insbesondere mit all diesen neuen Technologien, können wir endlich Systeme bauen, die natürlich und fließend und robust uns verstehen können. Die Nettoeffekt wird die Wartezeiten reduzieren und die aktuelle Erfahrung, die wir mit Voice-Bots haben, verbessern und eine transformative Ära in der Kundenbindung und Servicequalität markieren.