Ryan McDonald, Chief Scientist at ASAPP – Interview Series

Ryan McDonald ist der Chief Scientist bei ASAPP. Er ist verantwortlich für die Richtung der Forschung und der Datenwissenschaftsgruppen, um ASAPPs Vision zu verwirklichen, die menschliche Aktivität positiv durch die Weiterentwicklung von KI zu unterstützen. Die Gruppe konzentriert sich derzeit auf die Weiterentwicklung des Bereichs der aufgabenorientierten Dialoge in realen Situationen wie dem Kundenservice. In solchen dynamischen Umgebungen gibt es viele interagierende Teile: das Gespräch zwischen Kunde und Agent; die Umgebung und die Werkzeuge, die der Agent verwendet; verschiedene Erfolgskriterien; eine breite Palette von Kundenbedürfnissen und Situationen. Die Optimierung dieser Umgebung, um qualitativ hochwertige Ergebnisse für Kunden, Agenten und Unternehmen zu erzielen, erfordert erhebliche Forschungsinvestitionen in die Informationsbeschaffung, die Sprachgenerierung, die optimale Steuerung, das Lernen und, was kritisch ist, die Bewertung.

Ryan McDonald hat über 20 Jahre an der Sprachverständigung und dem maschinellen Lernen gearbeitet. Seine Promotion an der University of Pennsylvania konzentrierte sich auf neue maschinelle Lernmethoden für die strukturierte Vorhersage in der NLP, insbesondere auf die Informationsextraktion und die syntaktische Analyse. An der Penn war seine Forschung instrumental bei der Entwicklung der Bereiche der Abhängigkeitsanalyse und der Domänenanpassung in der NLP-Community. Nach seiner Promotion trat Ryan dem Forschungsteam von Google bei. Dort forschte er an der Sentimentanalyse und den Zusammenfassungsmodellen für Kundenbewertungen, was zu einem der ersten groß angelegten Konsumentenzusammenfassungssysteme führte, das täglich von Millionen von Benutzern genutzt wird.

Ryans Forschung konzentrierte sich dann auf die massiv multilinguale Sprachverständigung. Zunächst konzentrierte sich seine Forschung auf die Verbesserung der maschinellen Übersetzung, aber die wachsende Bedeutung der Multilingualität bei der Informationsbeschaffung und den digitalen Assistenten führte seine Forschung zur Internationalisierung dieser wichtigen Technologien. Ryans Team war instrumental bei der Entwicklung des Google-Assistenten als globale Technologie. Während dieser Zeit leitete er auch das Konsortium für universelle Abhängigkeiten mit einer großen Gruppe von akademischen Mitarbeitern. Dies ist das größte multilinguale Datenkonsortium, das auf syntaktische Sprachressourcen abzielt. Nach über einem Jahrzehnt, in dem er an Verbraucherprodukten gearbeitet hatte, wechselte Ryan in den Bereich Unternehmen und leitete zahlreiche NLP- und ML-Projekte, um Googles Cloud-Dienste zu verbessern, einschließlich des Core-NLP-API, Lösungen für Call-Center-AI und Wissensentdeckung aus wissenschaftlicher Literatur. Ryans Forschung an Unternehmens-NLP und ML setzt sich bei ASAPP fort.

Ryan hat über 100 Forschungsarbeiten in führenden Zeitschriften und Konferenzen veröffentlicht, die Tausende von Malen zitiert wurden. Er hat Preise für die beste Arbeit auf internationalen Konferenzen (EMNLP, NAACL) für seine Arbeiten zur multilingualen syntaktischen Analyse gewonnen. Sein Buch “Abhängigkeitsanalyse” dient seit über einem Jahrzehnt als eines der wichtigsten pädagogischen Ressourcen für die syntaktische Analyse. Neben seiner Tätigkeit als Bereichsleiter auf fast allen führenden NLP- und ML-Konferenzen war er auch Herausgeber der beiden führenden Zeitschriften in diesem Bereich – Transactions of the Association for Computational Linguistics und Computational Linguistics. Er hat zahlreiche Doktoranden und Praktikanten betreut und hat auf führenden Konferenzen, Workshops und Universitäten auf der ganzen Welt Vorträge gehalten.

Was hat Sie ursprünglich für das maschinelle Lernen und speziell für die natürliche Sprachverarbeitung interessiert?

Ich war ein Undergraduate mit einem Doppelstudium in Informatik und Philosophie. Ich war besonders an der Philosophie der KI sowie an den praktischeren Aspekten interessiert, wie die KI funktioniert. Ich hatte das Glück, ein Forschungsprojekt mit Gerald Penn an der University of Toronto zu sichern, das sich auf die Zusammenfassung von Nachrichten für Mobiltelefone konzentrierte. Das war vor über 20 Jahren und verwendete sehr primitive Methoden im Vergleich zu heute. Gerald war ein großartiger Mentor und weckte mein Interesse an den formalen Modellen für die Struktur der Sprache (Syntax und Semantik). Ich war fasziniert von der Komplexität der Sprache und den mathematischen Rahmenbedingungen, um die Phänomene zu erklären, die Menschen jeden Tag natürlicherweise verstehen. Zu dieser Zeit waren Suchmaschinen allgegenwärtig, und ich konnte die enorme Aufwärtsentwicklung für die NLP und ML in der Zukunft sehen.

Sie haben über 100 Forschungsarbeiten in führenden Zeitschriften und Konferenzen veröffentlicht, die Tausende von Malen zitiert wurden. Welche davon war Ihrer Meinung nach die einflussreichste Forschungsarbeit?

Das ist immer eine schwierige Frage zu beantworten. Und je nachdem, wann man mich fragt, ändert sich meine Antwort. Wenn man mich vor ein paar Jahren gefragt hätte, wäre es die Arbeit, die ich über die Verwendung von Graphenalgorithmen für die Abhängigkeitsanalyse gemacht habe. Diese Arbeit, zusammen mit der Arbeit von Joakim Nivre, hat über ein Jahrzehnt lang rapide Forschung auf dem Gebiet der syntaktischen Abhängigkeitsanalyse ausgelöst, was einen großen Einfluss auf die Adoption der NLP in Technologieunternehmen hatte, einschließlich einer großen Menge an Arbeit, die Kollegen und ich bei Google für die Suche, die Übersetzung, den Assistenten usw. gemacht haben.

Allerdings hat sich die Verwendung von diskreten syntaktischen Repräsentationen der Sprache mit der schnellen Adoption von neuronalen Netzen zurückentwickelt. Ich würde jetzt sagen, dass es die grundlegende Arbeit ist, die ich mit John Blitzer und Fernando Pereira über Domänenanpassung gemacht habe. Die Methoden, die wir in dieser Arbeit verwendet haben, sind nicht mehr so relevant heute, aber ich denke, dass diese Arbeit (zusammen mit zeitgenössischen Arbeiten von Hal Daume) die Problematik und ihre Bedeutung für den Bereich festgelegt hat. Jetzt, da ich ausschließlich im Unternehmensbereich arbeite, bin ich sehr bewusst für die Probleme, die wir damals aufgeworfen haben und die wir noch immer nicht gelöst haben.

Sie haben den größten Teil Ihrer Karriere bei Google verbracht und halfen dabei, state-of-the-art-NLP- und ML-Technologien aufzubauen und in die Produktion zu überführen. Was waren einige Ihrer wichtigsten Erkenntnisse aus dieser Erfahrung?

Meine wichtigste Erkenntnis wäre, dass man beim Aufbau von NLP- und ML-Modellen nie vorhersagen kann, wann Dinge schiefgehen. Man muss besessen von den Daten, der Fehleranalyse, den Metriken usw. sein, um alle Punkte im Prozess zu überwachen. Es ist oft zwecklos, die Schmerzpunkte zu erraten, und es ist meistens effizienter, End-to-End-Modelle so schnell wie möglich aufzubauen und anzupassen.

Als NLP/ML-Forscher konzentrieren wir uns auf die Punkte, an denen das Modell brechen kann und welche Modellannahmen nicht halten, wenn die Reifen auf die Straße treffen. Aber oft ist es die Datenverarbeitung oder die Benutzeroberfläche, die der Schlüssel zu erfolgreichen NLP/ML-Produkten ist. Erst wenn diese solide sind, können wir wirklich an der Qualität iterieren, um den gesamten Wert der Modelle auszuschöpfen.

Anfang 2021 haben Sie ASAPP als Chief Scientist beigetreten, ein Unternehmen, das AI-Tools anbietet, um Kundenberater zu unterstützen. Was hat Sie zu dieser Position hingezogen?

Für eine vollständige Antwort lesen Sie bitte meinen Blogbeitrag zu diesem Thema. Aber um es zusammenzufassen, sind die Hauptgründe:

• Die Probleme sind schwierig. Agenten, die sich in schwierigen Kundeninteraktionen engagieren, müssen eine Menge Informationen und Erfahrungen einsetzen, um Kundenprobleme zu lösen. Das Aufbauen von Modellen, die einen Mehrwert über eine enorme Menge an Domänenwissen hinaus bieten, ist schwierig, insbesondere wenn die Signale schwach sind. Zum Beispiel: War der Kundenzufriedenheitswert niedrig, weil der Agent etwas falsch gemacht hat oder weil der Kunde einfach nur unzufrieden war?
• Die Unternehmen und Agenten, die in diesem Bereich tätig sind, sind sehr daran interessiert, AI zu nutzen, um die Kundenexperience zu verbessern. Sie kämpfen nicht gegen Fortschritte an, sondern sehen sie als kritische Werkzeuge, um reale Probleme zu lösen. Es ist großartig, solche engagierte Partner zu haben.
• Schließlich sind die Bereiche und Probleme in einem Unternehmensumfeld so heterogen, dass die Anpassung (siehe meine Antwort auf Frage 2) das Problem ist, das gelöst werden muss. Wir können nicht einfach Dienste für ein Unternehmen oder eine Branche aufbauen, sondern für alle. Dies ist ein großartiger Stresstest für den aktuellen Stand der KI.
• ASAPP konzentriert sich ausschließlich auf dieses Problem.

Können Sie die Vision von ASAPP erläutern, die menschliche Aktivität positiv durch die Weiterentwicklung der KI zu unterstützen?

Unsere zentrale Hypothese bei ASAPP ist, dass KI den Menschen nicht ersetzen, sondern sie in positiver und produktiver Weise unterstützen sollte. Diese Vision ist breit gefächert, und wir haben die Ambition, sie auf alle relevanten menschlichen Aktivitäten anzuwenden. Allerdings ist dies ein breites Mandat, und der erste Bereich, auf den wir uns konzentriert haben, ist der Kundenerfahrungsbereich.

Der Kundenerfahrungsbereich verkörpert alle Herausforderungen und Belohnungen, die mit der Unterstützung menschlicher Aktivitäten einhergehen. Agenten sind in komplizierte Problemlösungsaufgaben engagiert, die es erfordern, dass sie Workflows befolgen, relevante Informationen aus Kunden- und Wissensbasen abrufen und sich an nuancierte Situationen anpassen, in denen sich ein Kunde befinden kann. Dies gibt rise zu einer riesigen Anzahl von Möglichkeiten für KI, um diesen Prozess zu verbessern. Allerdings denken wir, dass es wichtig ist, dies auf positive Weise zu tun, indem:

• Die Unterstützung an Punkten erfolgt, die während des Agentenjobs natürlicherweise und flüssig sind. Dies ist kritisch. Wenn KI zu unangemessenen Momenten oder mit schlechter Latenz interfenziert, wird dies tatsächlich negative Auswirkungen auf die Erfahrung des Agenten haben, da er sich bewusst gegen die KI wehren muss.
• Noch kritischer ist, dass wir wollen, dass die KI positive Ergebnisse für alle beteiligten Menschen erzielt. In diesem Fall sind es der Kunde, der Agent und das Unternehmen. Kunden wollen, dass ihre Probleme effizient und effektiv gelöst werden. Agenten wollen das für Kunden tun. Zusätzlich wollen Agenten ein hartes Job, oft mit schwierigen unzufriedenen Kunden. KI sollte ihnen helfen, die Arbeit und die kognitive Belastung auszugleichen, um Erschöpfung und Burnout zu verringern und die Jobzufriedenheit zu erhöhen. Schließlich wollen wir positive Geschäftsergebnisse für das Unternehmen, das den Call-Center betreibt. Dies kann die Kundenzufriedenheit, die Durchlaufzeit der Probleme, die an einem Tag bearbeitet werden können, oder sogar der Umsatz sein.

Für Call-Center denken wir oft, dass die positiven Ergebnisse zwischen Kunde, Agent und Unternehmen im Konflikt zueinander stehen. Aber gute KI wird helfen, alle drei zu optimieren.

Können Sie die aktuelle KI-Anatomie eines Call-Centers erläutern?

Heute hat fast jeder Schritt Ihres Kontakts mit einem Call-Center eine Form von KI, die bestimmt, wie das Problem bearbeitet wird.

Der erste Schritt ist ein interaktiver Sprachassistent (IVR) oder ein Chatbot. Dies ist vollautomatisch und sein Hauptzweck ist es, den Grund für den Anruf zu verstehen und den Kunden entsprechend zu routen. Potenziell werden diese Systeme versuchen, so viel Informationen wie möglich zu sammeln, bevor sie den Kunden an einen Agenten weiterleiten, um die Chance zu maximieren, dass der Agent das Problem schnell lösen kann. Viele moderne Bots können auch direkt das Problem des Benutzers lösen, ohne dass ein Agent benötigt wird – dies wird als “Containment” bezeichnet, da der Anruf nie menschliche Intervention benötigt. Dies kann durch die Empfehlung von FAQs oder die einfache Ausführung einer einfachen Aufgabe für den Kunden erreicht werden.

Nach diesem Schritt geht der Anruf zum Agenten. Sobald der Anruf beim Agenten ist, besteht die Hauptrolle der KI darin, den Agenten zu führen und Vorschläge zu machen. Was sollten sie als Nächstes sagen? Welchen Ablauf sollten sie befolgen? Welche Wissensbasen-Artikel werden helfen, das Problem zu lösen? Diese Modelle werden normalerweise auf historischen Daten trainiert und für einen bestimmten Leistungsindikator optimiert, der die Bearbeitungszeit (wie schnell das Problem gelöst wurde) oder den Kundenzufriedenheitswert (ob der Kunde mit der Erfahrung zufrieden war) sein kann.

Sobald der Anruf oder Chat beendet ist, ist die KI noch immer aktiv. In den meisten Call-Centern wird der Agent strukturierte Informationen und Notizen über das Geschehen während des Anrufs hinterlassen. Dies ist für Analysezwecke, aber auch für jeden nachfolgenden Agenten, der das Problem aufgreift, wenn es noch nicht gelöst ist. KI hilft bei all diesen Schritten.

Schließlich gibt es in einem Call-Center Supervisoren, die dazu da sind, Agenten zu unterstützen und ihre Fähigkeiten zu verbessern. KI kann hier kritisch sein. In einem Call-Center mit Hunderten von Agenten, die Tausende von Anrufen pro Tag bearbeiten, wie kann ein Supervisor die Probleme identifizieren, die seine Intervention benötigen? Wie kann er verstehen, was während des Tages passiert ist? Wie kann er Bereiche für die Verbesserung der Fähigkeiten der Agenten finden, um ihre Fähigkeiten zu verbessern?

Wie hilft ASAPP dabei, die Fluktuationsrate der Call-Center-Mitarbeiter zu reduzieren?

Große Unternehmen, die Verbrauchsgüter und -dienstleistungen anbieten, geben Millionen, manchmal sogar Milliarden von Dollar pro Jahr für Call-Center aus, die ihren Kunden dienen, wobei die Arbeitskosten 80-90% der Gesamtkosten ausmachen. Es ist ein großes Problem, die Fluktuationsrate der Agenten zu senken, die 40% – und manchmal 100% oder mehr – pro Jahr beträgt.

Es gibt oft das Klischee, dass Agenten gleichgültig gegenüber Ihren Problemen sind und nur durch die Bewegungen gehen. Nichts kann weiter von der Wahrheit entfernt sein. Agenten, wie alle Menschen, ziehen Zufriedenheit aus der Lösung von Kundenproblemen. Wie würden Sie lieber Ihren Tag verbringen, indem Sie kräftige “Danke” hören oder schreiende Kunden? In einer kürzlich von uns durchgeführten Studie fanden wir heraus, dass 90% der Agenten berichteten, dass Anrufe mit Kunden ihren Tag machten, und die Mehrheit sagte, sie seien mit ihrem Job zufrieden. Aber Agenten wollen die Werkzeuge und die Schulung, die erforderlich sind, um Kunden glücklich zu machen. Unzufriedene Kunden führen zu frustrierten, erschöpften und gestressten Agenten. Dies ist der Haupttreiber der Fluktuationsrate.

KI, die den Agenten während eines Anrufs unterstützt (wie zuvor beschrieben), hilft bereits. Wenn der Agent die Werkzeuge und die Anleitung hat, um effektiv und schnell ein Problem für einen Kunden zu lösen, dann können die Chancen, dass der Kunde zufrieden ist, nur höher sein, was wiederum zu höherer Jobzufriedenheit führen sollte.

Allerdings beginnt ASAPP nicht dort. Während die Echtzeit-Dynamik-Anleitung kritisch ist, ist auch strukturierte Schulung, Coaching und Feedback wichtig. Viele Agenten trainieren auf neue Probleme oder Verfahren “live”. Stellen Sie sich vor, wir gäben Piloten das Handbuch des Flugzeugs und sagten ihnen dann, sie sollten 300 Passagiere nach Denver fliegen? Weil davon, bauen wir auf ASAPP Werkzeuge für Agenten, um Verfahren und schwierige Situationen zu üben, bevor sie mit Live-Kunden zu tun haben. Wenn dies mit gezieltem Feedback (entweder von einem Supervisor oder automatisch) gekoppelt wird, wird dies es dem Agenten ermöglichen, seine Fähigkeiten in einer weniger stressigen Umgebung zu verbessern.

Bessere KI, um die Kundenzufriedenheit in dynamischen Situationen zu verbessern, sowie KI für die Schulung – das ist, wie ASAPP den Fokus auf den Agenten legt, mit dem ultimativen Ziel, die Fluktuationsrate zu reduzieren.

Was sind einige Beispiele für die Ergebnisse, die durch die Integration von KI in einem Call-Center erzielt werden können?

Wie oben erwähnt, kann KI eine transformative Technologie sein, um die Produktivität zu steigern. Für eine US-Fluggesellschaft, mit der wir zusammenarbeiten, sahen wir eine Steigerung der Produktivität der Agenten um 86% und eine Steigerung des organisatorischen Durchsatzes (die Gesamtzahl der Interaktionen über alle Kundenkanäle geteilt durch die Arbeitszeit, die benötigt wird, um diese Bedürfnisse zu erfüllen) um 127%. Für einen globalen Netzwerkbetreiber, der ASAPP-Dienste nutzt, stieg der Net Promoter Score (die Bereitschaft der Kunden, die Produkte oder Dienstleistungen eines Unternehmens anderen zu empfehlen) um 45%. Für ein Top-3-Kabelunternehmen, das ASAPP-Dienste nutzt, sanken die Kosten pro Interaktion um 52%. Diese Beispiele zeigen, wie KI die Produktivität steigern, die Qualität des Kundendienstes verbessern und die Geschäftskosten senken kann.

Was ist Ihre persönliche Vision für die Zukunft der KI im Arbeitsplatz?

KI ist bereits ziemlich präsent im Arbeitsplatz. Wenn ich dies schreibe, helfen mir Rechtschreib- und Grammatikprüfungen sowie Textvervollständigungen. Ich habe Spam-Filter und Nachrichtenklassifizierer in meiner E-Mail-/Messaging-Software. Ich verwende KI-gesteuerte Suche, um die relevanten Informationen zu finden, die ich benötige, um auszuführen. Dies wird wachsen, sowie meine Adoption, da die Anzahl der KI-gesteuerten Funktionen und ihre Qualität zunimmt.

Allerdings würde ich diese Art von KI als atomar bezeichnen. Sie unterstützt mich zwar, aber nur in sehr präzisen Momenten, die eine hohe Präzision der Vorhersagen ermöglichen. Ich kann zum Beispiel nicht von einer KI verlangen, diese Fragen zu beantworten – noch nicht 🙂

Ernsthafter gesagt, ist meine Vision, die Übernahme von End-to-End-KI im gesamten Arbeitsplatz zu sehen. Ich meine nicht End-to-End im Sinne des maschinellen Lernens. Was ich meine, ist, dass die KI holistisch große und komplexe Aufgaben optimiert, die für das Gesamtziel und nicht nur für atomare Punkte im Prozess ausgelegt sind. ASAPP bringt dies bereits in Call-Centern zum Tragen. Zum Beispiel optimieren wir, was der Agent als Nächstes sagen soll, basierend auf einer holistischen Menge von Faktoren über den Standort des Agenten im Gespräch und dem ultimativen Ziel. Aber darüber hinaus stellen Sie sich vor, ein Wissenschaftler, der eine systematische Übersicht über ein wichtiges Thema schreibt, ein Software-Ingenieur, der eine Plattform aufbaut oder komplexe Systeme integriert, ein Anwalt, der eine juristische Zusammenfassung schreibt usw. In der Zukunft werden all diese Fachleute auf KI angewiesen sein, um ihre Effektivität bei diesen Aufgaben schnell zu erhöhen und die gewünschten Ergebnisse zu optimieren, um sie von kritischeren Herausforderungen zu befreien.

Gibt es noch etwas, das Sie über ASAPP teilen möchten?