Ryan McDonald, Chief Scientist at ASAPP – Interview-Serie

Ryan McDonald ist der Chief Scientist bei ASAPP. Er ist verantwortlich für die Ausrichtung der Forschungs- und Datenwissenschaftsgruppen, um die Vision von ASAPP zu erreichen, die menschliche Aktivität durch den Fortschritt der KI positiv zu unterstützen. Die Gruppe konzentriert sich derzeit auf die Weiterentwicklung des Bereichs der Aufgabenorientierten Dialoge in realen Situationen wie dem Kundenservice. In solchen dynamischen Umgebungen gibt es viele interagierende Teile: das Gespräch zwischen Kunde und Agent; die Umgebung und die Werkzeuge, die der Agent verwendet; verschiedene Erfolgsmaße; eine breite Palette von Kundenbedürfnissen und Situationen. Die Optimierung dieser Umgebung, um zu qualitativ hochwertigen Ergebnissen für Kunden, Agenten und Unternehmen zu führen, erfordert erhebliche Forschungsinvestitionen in die Bereiche Retrieval, Sprachgenerierung, konstruierte Optimierung, Lernen und, kritisch, Evaluation.

Ryan arbeitet seit über 20 Jahren an der Sprachverständigung und dem maschinellen Lernen. Seine Promotion an der University of Pennsylvania konzentrierte sich auf neue maschinelle Lernmethoden für die strukturierte Vorhersage in der NLP, insbesondere auf die Informationsextraktion und die syntaktische Analyse. An der Penn war seine Forschung instrumental bei der Entwicklung der Felder der Abhängigkeitsanalyse und der Domänenanpassung in der NLP-Community. Nach seiner Promotion trat Ryan der Forschungsgruppe von Google bei. Dort forschte er an der Sentiment-Analyse und den Summarisierungsmodellen für Kundenrezensionen, was zu einem der ersten großen Consumer-Summarisierungssysteme führte, das von Millionen von Benutzern täglich genutzt wird.

Ryans Forschung wandte sich dann der massiv multilingualen Sprachverständigung zu. Zunächst konzentrierte sich seine Forschung auf die Verbesserung der maschinellen Übersetzung, aber die wachsende Bedeutung der Multilingualität in der Informationsrückgewinnung und den digitalen Assistenten führte seine Forschung in Richtung der Internationalisierung dieser wichtigen Technologien. Ryans Team war instrumental bei der Entwicklung des Google-Assistenten als globale Technologie. Während dieser Zeit leitete er auch das Universal-Dependencies-Konsortium mit einer großen Gruppe von akademischen Mitarbeitern. Dies ist das größte multilinguale Datenkonsortium, das auf syntaktische Sprachressourcen abzielt. Nach über einem Jahrzehnt, in dem er an Consumer-Produkten gearbeitet hatte, wechselte Ryan in die Unternehmensbereiche und leitete zahlreiche NLP- und ML-Projekte, um die Google-Cloud-Services zu verbessern, einschließlich des Core-NLP-API, Lösungen für Call-Center-AI und Wissensentdeckung aus wissenschaftlicher Literatur. Ryans Forschung an Unternehmens-NLP und ML setzt sich bei ASAPP fort.

Ryan hat über 100 Forschungsarbeiten in Top-Tier-Journalen und -Konferenzen veröffentlicht, die Tausende von Malen zitiert wurden. Er hat Best-Paper-Preise auf Premier-Internationalen Konferenzen (EMNLP, NAACL) für seine Arbeiten zur multilingualen syntaktischen Analyse gewonnen. Sein Buch “Abhängigkeitsanalyse” hat als eines der wichtigsten pädagogischen Ressourcen für die syntaktische Analyse über ein Jahrzehnt hinweg gedient. Neben seiner Tätigkeit als Bereichsleiter bei fast jeder Tier-1-NLP- und ML-Konferenz war er auch Herausgeber der beiden führenden Zeitschriften im Bereich – Transactions of the Association for Computational Linguistics und Computational Linguistics. Er hat zahlreiche Doktoranden und Praktikanten betreut und hat auf Top-Konferenzen, Workshops und führenden Universitäten auf der ganzen Welt eingeladene Vorträge gehalten.

Was hat Sie ursprünglich für das maschinelle Lernen und speziell für die natürliche Sprachverarbeitung interessiert?

Ich war ein Undergraduate mit einem Doppelabschluss in Informatik und Philosophie. Ich war besonders an der Philosophie der KI sowie an den praktischen Aspekten interessiert, wie die KI funktioniert. Ich hatte das Glück, ein Forschungsprojekt mit Gerald Penn an der University of Toronto zu sichern, das sich auf die Zusammenfassung von Nachrichten für Mobiltelefone konzentrierte. Das war vor über 20 Jahren und verwendete sehr primitive Methoden im Vergleich zu heute. Gerald war ein großartiger Mentor und weckte mein Interesse an den formalen Modellen für die Struktur der Sprache (Syntax und Semantik). Ich war fasziniert von der Komplexität der Sprache und den mathematischen Rahmenbedingungen, um die Phänomene zu erklären, die Menschen täglich natürlich parsen. Zu dieser Zeit waren Suchmaschinen allgegenwärtig, und ich konnte die massive Aufwärtsentwicklung für NLP und ML in der Zukunft sehen.

Sie haben über 100 Forschungsarbeiten in Top-Tier-Journalen und -Konferenzen veröffentlicht, die Tausende von Malen zitiert wurden. Welche davon war in Ihrer Meinung die einflussreichste Forschungsarbeit?

Das ist immer eine schwierige Frage zu beantworten. Und mit der Zeit denke ich, dass meine Antwort sich ändert. Wenn man mich vor ein paar Jahren gefragt hätte, wäre es die Arbeit, die ich über die Verwendung von Graphalgorithmen für die Abhängigkeitsanalyse durchgeführt habe. Diese Arbeit, zusammen mit der Arbeit von Joakim Nivre, hat über ein Jahrzehnt lang rapide Forschung auf die syntaktische Abhängigkeitsanalyse ausgelöst, was einen großen Einfluss auf die Übernahme von NLP in Technologieunternehmen hatte, einschließlich einer großen Menge an Arbeit, die Kollegen und ich bei Google für Search, Translate, Assistant usw. durchgeführt haben.

Als Nächstes wandte sich meine Forschung der massiv multilingualen Sprachverständigung zu. Zunächst konzentrierte sich meine Forschung auf die Verbesserung der maschinellen Übersetzung, aber die wachsende Bedeutung der Multilingualität in der Informationsrückgewinnung und den digitalen Assistenten führte meine Forschung in Richtung der Internationalisierung dieser wichtigen Technologien. Ryans Team war instrumental bei der Entwicklung des Google-Assistenten als globale Technologie. Während dieser Zeit leitete er auch das Universal-Dependencies-Konsortium mit einer großen Gruppe von akademischen Mitarbeitern. Dies ist das größte multilinguale Datenkonsortium, das auf syntaktische Sprachressourcen abzielt. Nach über einem Jahrzehnt, in dem er an Consumer-Produkten gearbeitet hatte, wechselte Ryan in die Unternehmensbereiche und leitete zahlreiche NLP- und ML-Projekte, um die Google-Cloud-Services zu verbessern, einschließlich des Core-NLP-API, Lösungen für Call-Center-AI und Wissensentdeckung aus wissenschaftlicher Literatur. Ryans Forschung an Unternehmens-NLP und ML setzt sich bei ASAPP fort.

Sie haben den Großteil Ihrer Karriere bei Google verbracht, wo Sie halfen, State-of-the-Art-NLP- und ML-Technologien aufzubauen und in die Produktion zu überführen. Was waren einige Ihrer wichtigsten Erkenntnisse aus dieser Erfahrung?

Meine wichtigste Erkenntnis wäre, dass man bei der Entwicklung von NLP- und ML-Modellen nie vorhersagen kann, wann Dinge schiefgehen. Man muss besessen von den Daten, der Fehleranalyse, den Metriken usw. sein, um erfolgreich zu sein. Es ist oft sinnlos, die potenziellen Probleme zu erraten, und es ist meistens effizienter, End-to-End-Modelle so schnell wie möglich aufzubauen und anzupassen.

Als NLP/ML-Forscher konzentrieren wir uns auf die Stellen, an denen das Modell brechen könnte, und welche Modellannahmen nicht halten, wenn die Reifen auf der Straße treffen. Aber oft ist es die Datenverarbeitung oder die Benutzeroberfläche, die der Schlüssel zum Erfolg von NLP/ML-Produkten ist. Erst wenn diese solid sind, können wir wirklich auf die Qualität der Modelle achten, um den maximalen Nutzen zu erzielen.

Anfang 2021 haben Sie ASAPP als Chief Scientist beigetreten, ein Unternehmen, das AI-Tools anbietet, um Kundenbetreuer zu unterstützen. Was hat Sie zu dieser Position hingezogen?

Für eine vollständigere Antwort lesen Sie bitte meinen Blog-Beitrag zu diesem Thema. Aber um es zusammenzufassen, sind die Hauptgründe:

• Die Probleme sind schwierig. Agenten, die in schwierigen Kundenbetreuungssituationen tätig sind, müssen viel Wissen und Erfahrung einsetzen, um Kundenprobleme zu lösen. Das Aufbauen von Modellen, die in diesen Situationen einen Mehrwert bieten, ist schwierig, insbesondere wenn die Signale schwach sind. Zum Beispiel: War die Kundenzufriedenheit niedrig, weil der Agent etwas falsch gemacht hat, oder war der Kunde einfach nur generell unzufrieden?
• Die Unternehmen und Agenten, die in diesem Bereich tätig sind, sind sehr begeistert von AI, die ihnen hilft, die Kundenerfahrung zu verbessern. Sie kämpfen nicht gegen Fortschritte an, sondern sehen sie als kritische Werkzeuge, um reale Probleme zu lösen. Es ist großartig, solche engagierten Partner zu haben.
• Schließlich sind die Domänen und Probleme in einem Unternehmensumfeld so heterogen, dass Anpassung (siehe meine Antwort auf Frage 2) das Problem ist, das gelöst werden muss. Wir können nicht einfach Dienste für ein Unternehmen oder eine Branche aufbauen, sondern für alle. Dies ist ein großartiger Test für den aktuellen Stand der KI.
• ASAPP konzentriert sich ausschließlich auf dieses Problem.

Können Sie ASAPPs Vision erläutern, menschliche Aktivitäten durch den Fortschritt der KI positiv zu unterstützen?

Unsere zentrale Hypothese bei ASAPP ist, dass KI nicht den Menschen ersetzen, sondern sie in positiven und produktiven Weisen unterstützen sollte. Diese Vision ist breit und wir haben Ambitionen, sie auf alle relevanten menschlichen Aktivitäten anzuwenden. Allerdings haben wir uns entschieden, uns zunächst auf den Bereich der Kundenerfahrung zu konzentrieren.

Der Bereich der Kundenerfahrung verkörpert alle Herausforderungen und Belohnungen, die mit der Unterstützung menschlicher Aktivitäten einhergehen. Agenten sind in komplizierten Problemlösungsaufgaben engagiert, die es erfordern, Arbeitsabläufe zu befolgen, relevante Informationen aus Kunden- und Wissensbasen zu extrahieren und sich an nuancierte Situationen anzupassen, in denen sich ein Kunde befinden kann. Dies gibt rise zu einer großen Anzahl von Möglichkeiten für KI, um diesen Prozess zu verbessern. Allerdings denken wir, dass es wichtig ist, dies auf positive Weise zu tun, indem:

• Die Unterstützung an Punkten erfolgt, die während des Agentenjobs natürlich und flüssig sind. Dies ist kritisch. Wenn KI in unangemessenen Momenten oder mit schlechter Latenz eingreift, wird dies tatsächlich einen negativen Effekt auf die Erfahrung des Agenten haben, da er/sie die KI bewusst ignorieren muss.
• Noch kritischer wollen wir, dass die KI positive Ergebnisse für alle beteiligten Menschen erzielt. In diesem Fall sind es der Kunde, der Agent und das Unternehmen. Kunden möchten ihre Probleme effizient und effektiv gelöst haben. Agenten möchten dies für Kunden tun. Darüber hinaus möchten Agenten ihre Arbeit mit Engagement und Zufriedenheit ausführen. Sie möchten nicht nur ihre Arbeit erledigen, sondern auch den Kunden zufriedenstellen. Nach allem möchten Agenten in Call-Centern nicht nur ihre Arbeit erledigen, sondern auch ihre Arbeit mit Engagement und Zufriedenheit ausführen. Dies ist der Haupttreiber für Fluktuation.

Für Call-Center denken wir oft, dass die positiven Ergebnisse zwischen Kunde, Agent und Unternehmen in Konflikt zueinander stehen. Aber gute KI wird helfen, alle drei zu optimieren.

Können Sie die aktuelle KI-Anatomie eines Call-Centers erläutern?

Heute hat fast jeder Schritt Ihres Kontakts mit einem Call-Center eine Form von KI, die den Prozess antreibt oder informiert.

Der erste Schritt ist ein interaktives Sprachsystem (IVR) oder ein Chat-Bot. Dies ist vollautomatisch und sein Hauptzweck ist es, den Grund für den Anruf des Kunden zu verstehen und ihn entsprechend zu routen. Potenziell werden diese Systeme versuchen, so viel Informationen wie möglich zu sammeln, bevor sie den Kunden an einen Agenten weiterleiten, um die Chance zu maximieren, dass der Agent das Problem schnell lösen kann. Viele moderne Bots können auch direkt das Problem des Benutzers lösen, ohne dass ein Agent erforderlich ist – dies wird als “Containment” bezeichnet, da der Anruf nie menschliche Intervention erfordert. Dies kann durch die Empfehlung von FAQs oder die einfache Ausführung einer einfachen Aufgabe für den Kunden erreicht werden.

Nach diesem Schritt geht der Anruf zum Agenten. Sobald der Anruf beim Agenten ist, besteht die Hauptrolle der KI darin, den Agenten zu führen und Vorschläge zu machen. Was sollten sie als Nächstes sagen? Welchen Ablauf sollten sie befolgen? Welche Wissensbasen werden helfen, das Problem zu lösen? Diese Modelle werden normalerweise auf historischen Daten trainiert und auf einen bestimmten Leistungsindikator optimiert, der die Bearbeitungszeit (wie schnell das Problem gelöst wurde) oder die Kundenzufriedenheit (ob der Kunde mit der Erfahrung zufrieden war) sein kann.

Sobald der Anruf oder Chat beendet ist, ist die KI immer noch aktiv. In den meisten Call-Centern wird der Agent strukturierte Informationen und Notizen über das, was während des Anrufs passiert ist, hinterlassen. Dies ist für Analysezwecke, aber auch für jeden nachfolgenden Agenten, der das Problem aufgreift, wenn es noch nicht gelöst ist. KI hilft bei all diesen Schritten.

Wie hilft ASAPP dabei, die Fluktuation der Call-Center-Mitarbeiter zu reduzieren?

Große Unternehmen, die Verbrauchsgüter und -dienstleistungen anbieten, geben Millionen, manchmal sogar Milliarden von Dollar pro Jahr für Call-Center aus, die ihren Kunden dienen, wobei die Arbeitskosten 80-90% der Gesamtkosten ausmachen. Dies ist ein großes Problem, das die Fluktuation der Agenten antreibt, die 40% – und manchmal 100% oder mehr – pro Jahr beträgt.

Es gibt oft ein Klischee, dass Agenten gleichgültig gegenüber Ihren Problemen sind und nur ihre Pflicht tun. Nichts kann weiter von der Wahrheit entfernt sein. Agenten, wie alle Menschen, ziehen Zufriedenheit aus der Lösung von Kundenproblemen. Wie würden Sie lieber Ihren Tag verbringen, indem Sie robuste “Danke” hören oder schreiende Kunden? In einer kürzlichen Studie, die wir durchgeführt haben, stellten wir fest, dass 90% der Agenten berichteten, dass Anrufe mit Kunden ihren Tag machten, und die Mehrheit sagte, sie seien mit ihrer Arbeit zufrieden. Aber Agenten wollen die Werkzeuge und die Schulung, die erforderlich sind, um Kunden glücklich zu machen. Unzufriedene Kunden führen zu frustrierten, erschöpften und gestressten Agenten. Dies ist der Haupttreiber für Fluktuation.

Die KI, die die Agenten während eines Anrufs unterstützt (wie oben beschrieben), hilft bereits. Wenn der Agent die Werkzeuge und die Führung hat, um ein Problem für einen Kunden effektiv und schnell zu lösen, dann sind die Chancen, dass der Kunde zufrieden ist, nur höher, was wiederum zu höherer Arbeitszufriedenheit führen sollte.

ASAPP beginnt jedoch nicht dort. Während die Echtzeit-Dynamik-Führung kritisch ist, ist auch eine strukturierte Schulung, Coaching und Feedback wichtig. Viele Agenten trainieren auf neue Themen oder Verfahren “live”, d. h. sie erhalten eine Beschreibung des Verfahrens, aber dann nur, wenn sie einen Anruf mit einem echten Kunden haben. Stellen Sie sich vor, wir gäben Piloten das Handbuch des Flugzeugs und sagten ihnen dann, sie sollten 300 Passagiere nach Denver fliegen? Deshalb konzentrieren wir uns darauf, KI zu verwenden, um Werkzeuge für Agenten zu entwickeln, um Verfahren und schwierige Situationen zu üben, bevor sie mit Live-Kunden zu tun haben. Wenn dies mit gezieltem Feedback (entweder von einem Supervisor oder automatisch) kombiniert wird, ermöglicht dies es dem Agenten, seine Fähigkeiten in einer weniger stressigen Umgebung zu entwickeln.

Bessere KI, um die Kundenzufriedenheit in dynamischen Situationen zu verbessern, sowie KI für fundierte Schulung – das ist, wie ASAPP den Fokus auf den Agenten legt, mit dem ultimativen Ziel, die Fluktuation zu reduzieren.

Welche Arten von Ergebnissen können durch die Integration von KI in einem Call-Center erzielt werden?

Wie oben erwähnt, kann KI eine transformative Technologie sein, um die Produktivität zu steigern. Für eine US-Luftfahrtgesellschaft, mit der wir zusammenarbeiten, sahen wir eine Steigerung der Produktivität der Agenten um 86% und eine Steigerung des organisatorischen Durchsatzes (die Gesamtzahl der Interaktionen über alle Kundenbetreuungskanäle geteilt durch die Arbeitszeit, die für die Erfüllung dieser Bedürfnisse aufgewendet wird) um 127%. Für einen globalen Netzwerkbetreiber, der ASAPP-Dienste nutzt, stieg der Net Promoter Score (die Bereitschaft der Kunden, die Produkte oder Dienstleistungen eines Unternehmens anderen zu empfehlen) um 45%. Für ein Top-3-Kabelunternehmen, das ASAPP-Dienste nutzt, sanken die Kosten pro Interaktion um 52%. Diese Beispiele zeigen, wie KI die Produktivität steigern, die Qualität der Kundenbetreuung verbessern und die Geschäftskosten senken kann.

Was ist Ihre persönliche Vision für die Zukunft der KI im Arbeitsplatz?

Die KI ist bereits ziemlich weit verbreitet im Arbeitsplatz. Wenn ich dies schreibe, helfen mir Rechtschreib- und Grammatikprüfungen sowie Text-Autocomplete. Ich habe Spam-Filter und Nachrichtenklassifizierer in meinen E-Mail-/Messaging-Tools. Ich verwende KI-gesteuerte Suche, um die relevanten Informationen zu finden, die ich benötige, um meine Arbeit auszuführen. Dies wird wachsen, sowie meine Akzeptanz, wenn die Anzahl der KI-gesteuerten Funktionen und ihre Qualität zunimmt.

Ich würde dies jedoch als atomare Ergänzung bezeichnen. Es unterstützt mich sicherlich, aber in sehr präzisen Momenten, die eine hohe Präzision der Vorhersagen ermöglichen. Ich kann sicherlich nicht von einer KI verlangen, dass sie diese Fragen beantwortet – noch nicht 🙂

Ernsthaft gesagt, meine Vision ist es, die Übernahme von KI im gesamten Arbeitsplatz zu sehen. Ich meine nicht die Übernahme von KI im Sinne des maschinellen Lernens. Was ich meine, ist, dass die KI große und komplexe Aufgaben holistisch optimiert und nicht nur atomare Punkte während des Prozesses. ASAPP bringt dies bereits in Call-Centern zum Einsatz. Zum Beispiel optimieren wir, was der Agent als Nächstes sagen sollte, basierend auf einer holistischen Menge von Faktoren darüber, wo der Agent im Gespräch ist und was das ultimative Ziel ist. Aber darüber hinaus stelle ich mir vor, dass Wissenschaftler, die eine systematische Übersicht über ein wichtiges Thema erstellen, Software-Ingenieure, die eine Plattform oder komplexe Systeme integrieren, oder Anwälte, die einen Rechtsbrief schreiben, alle auf KI angewiesen sind, um ihre Effektivität bei diesen Aufgaben zu steigern und die gewünschten Ergebnisse zu optimieren, und sie so von kritischeren Herausforderungen befreien.

Gibt es noch etwas, das Sie über ASAPP teilen möchten?

Unser Forschungsteam bei ASAPP hat einen klaren Fokus: Wir treiben die KI voran, um menschliche Aktivitäten zu unterstützen und reale Probleme in Unternehmen zu lösen. Forscher bei ASAPP arbeiten daran, die Wissenschaft der NLP und ML grundlegend voranzutreiben, um unsere Ziele zu erreichen, und wenden diese Fortschritte auf unsere Produkte an. Sie nutzen die riesigen Mengen an Daten, die unsere Produkte generieren, und unsere Fähigkeit, KI-Funktionen in die reale Welt zu überführen, um grundlegende Forschungsfragen auf neue Weise zu stellen und zu beantworten.

Entdecken Sie unsere aktuellen Forschungsarbeiten unter https://www.asapp.com/ai-research/.

Vielen Dank für die detaillierten Antworten. Leser, die mehr erfahren möchten, sollten ASAPP besuchen.