Vikrant Tomar, CTO und Gründer von Fluent.ai – Interview-Serie

Vikrant Tomar ist der CTO und Gründer von Fluent.ai, einer Sprachverständnis- und Voice-User-Interface-Software für Geräte-Hersteller und Dienstleister.

Was hat Sie ursprünglich dazu gebracht, sich mit akustischem Modellieren für die Spracherkennung zu beschäftigen?

Eigentlich die Fähigkeit, mit Geräten auf die gleiche Weise zu sprechen wie mit einem anderen Menschen. Diese Vision hat mich fasziniert. Ich begann, mich mit der Spracherkennung während meines letzten Studienjahres zu beschäftigen. Zu diesem Zeitpunkt begann ich auch, mich für die Forschung zu interessieren, also nahm ich einen Kurs über Spracherkennung und ein damit verbundenes Forschungsprojekt. Ich konnte eine Forschungsarbeit auf der InterSpeech-Konferenz veröffentlichen, einer der größten und renommiertesten Konferenzen für Spracherkennung. All dies motivierte mich, mich langfristig auf die Forschung in der Spracherkennung zu konzentrieren, daher den PhD.

Im Jahr 2015 gründeten Sie Fluent.ai. Können Sie die Geschichte hinter diesem Startup teilen?

Ich hatte schon lange den Wunsch, ein Unternehmen zu gründen. Ich und zwei andere Freunde hatten versucht, ein Unternehmen nach unserem Bachelor-Abschluss zu gründen, aber aus verschiedenen Gründen war dieser Versuch nicht erfolgreich. Während meines PhD-Studiums an der McGill-Universität beobachtete ich die Startup-Szene in Montreal. Zu dieser Zeit kam ich auch mit Menschen von TandemLaunch in Kontakt – der Startup-Gründung, bei der ich Fluent.ai gründete. Zu diesem Zeitpunkt war ich fast am Ende meines PhD-Studiums und dachte ernsthaft über die Gründung eines Unternehmens nach. Durch meine Erfahrungen, Forschung und Zusammenarbeit mit anderen Sprachforschungsgruppen erkannte ich, dass die meisten dieser Erfahrungen auf die Entwicklung von Spracherkennung in einer bestimmten Weise ausgerichtet waren: von Sprache zu Texttranskription und dann zur natürlichen Sprachverarbeitung. Dies ließ jedoch eine Lücke in der Benutzerfreundlichkeit. Ein großer Teil der Bevölkerung kann nicht von Sprachlösungen profitieren, die auf diese Weise entwickelt wurden. Die Menge an Daten, die für diese Methoden erforderlich ist, ist so groß, dass es finanziell nicht sinnvoll wäre, separate Modelle für Sprachen mit weniger Sprechern zu entwickeln. Darüber hinaus haben viele Dialekte und Sprachen keine eigene Schrift. Meine eigene Familie konnte nicht einmal die von mir entwickelten Tools verwenden (sie sprechen einen Dialekt des Hindi). Wenn man all dies berücksichtigt, begann ich, über andere Möglichkeiten nachzudenken, Sprachmodelle zu erstellen, bei denen weniger Daten erforderlich wären und/oder der Endbenutzer die Modelle selbst trainieren oder aktualisieren könnte. Ich war mir der Arbeiten an der KU Leuven University (KUL) bewusst, die einige dieser Anforderungen erfüllen konnten. Mit einem Teil der Technologie von KUL konnten wir die ersten Schritte in Richtung dessen unternehmen, was Fluent heute ist.

Können Sie Fluent.ai’s intuitive Sprachverständnis-Lösungen erläutern?

Fluent.ai’s Spracherkennungslösungen sind von der Art und Weise inspiriert, wie Menschen Sprachen erwerben und erkennen. Konventionelle Spracherkennungssysteme transkribieren die Eingabesprache zunächst in Text und extrahieren dann die Bedeutung aus diesem Text. So erkennen Menschen jedoch keine Sprache. Nehmen wir beispielsweise Kinder, bevor sie lesen und schreiben lernen: Trotzdem sie nichts über die schriftliche Darstellung von Sprachen wissen, können sie mühelos ein Gespräch führen. Ähnlich können Fluent’s tiefen neuronalen Netzen-basierten Modelle die Bedeutung direkt aus den Sprachlauten extrahieren, ohne dass sie zuerst in Text transkribiert werden müssen. Technisch gesehen ist dies wahres Sprachverständnis. Es gibt mehrere Vorteile dieser Methode. Die traditionelle Spracherkennung ist ein umständlicher Ansatz, bei dem mehrere Module, die getrennt trainiert werden, zusammengefügt werden, um eine endgültige Antwort zu liefern. Dies führt zu einer nicht optimalen Lösung, die unter Variationen in den Ergebnissen für Akzente, Geräusche, Hintergrundbedingungen usw. leidet. Fluent’s automatisches Intent-Erkennungssystem (AIR) ist end-to-end optimiert; es handelt sich um eine vollständig neuronale Netzwerkbasierte Architektur, bei der alle Module gemeinsam trainiert werden, um die beste Lösung zu liefern. Darüber hinaus können wir eine Reihe rechenintensiver Module, die in herkömmlichen Spracherkennungssystemen häufig vorkommen, entfernen. Dies ermöglicht es uns, Spracherkennungssysteme mit geringem Fußabdruck zu erstellen, die auf einem Low-Power-Mikrocontroller mit 50 MHz und nur 40 KB RAM laufen können. Schließlich können unsere Sprachverständnis-basierten AIR-Systeme die Ähnlichkeiten zwischen verschiedenen Sprachen auf eine einzigartige Weise ausnutzen, um beispielsweise die Fähigkeit zu bieten, mehrere Sprachen in einem einzigen Modell zu erkennen.

Welche Herausforderungen gibt es im Bereich KI, um das Problem des Umgebungsgeräuschs zu überwinden?

Geräusche sind eine der größten Herausforderungen für die Spracherkennung. Was dieses Problem besonders schwierig macht, ist die Tatsache, dass es viele verschiedene Arten von Geräuschen gibt und dass sie das Spektrum der Sprache auf unterschiedliche Weise beeinflussen. Manchmal kann Geräusch auch die Mikrofonantwort beeinflussen. In vielen Fällen ist es nicht möglich, die Sprachquellen von den Geräuschquellen zu trennen. In einigen Fällen kann Geräusch die im Sprachspektrum verfügbare Information maskieren, während es in anderen Fällen die nützliche Information vollständig entfernen kann. Beides führt zu einer geringen Genauigkeit. Während es einfach ist, konsistente Geräuschtypen wie Ventilatorgeräusche zu entfernen, sind einige Geräuschtypen wie Stimmengewirr oder Hintergrundgespräche sehr schwierig zu entfernen, da sie das Sprachspektrum auf unterschiedliche Weise beeinflussen.

Können Sie definieren, was Edge-AI ist und wie Fluent.ai diese Art von KI verwendet?

Edge-AI ist ein Sammelbegriff, der verschiedene Methoden umfasst, mit denen KI-Anwendungen auf Geräte mit geringer Leistung verlagert werden können. Immer mehr wird dieser Begriff für Fälle verwendet, in denen die Edge-Geräte bestimmte intelligente Berechnungen selbst durchführen. Bei Fluent konzentrieren wir uns darauf, hochwertiges Sprachverständnis an den Rand zu bringen. Wir haben effiziente Algorithmen entwickelt, die es ermöglichen, dass Geräte mit geringer Leistung die Eingabesprache selbst erkennen, ohne dass die Daten an einen Cloud-Server gesendet werden müssen. Die Vorteile sind zweifach: Erstens wird die Privatsphäre des Benutzers nicht durch das Streamen und Speichern seiner Sprachdaten in der Cloud gefährdet. Zweitens reduziert sich die Latenz, da die Sprachdaten und die Antwort nicht zwischen dem Cloud-Server und dem Gerät hin- und hergesendet werden müssen.

Welche anderen Arten von Machine-Learning-Technologien werden verwendet?

Unser Hauptaugenmerk liegt auf Deep-Learning-Ansätzen für die Spracherkennung. Wir verwenden RL-Methoden (Reinforcement Learning), z. B. NASIL[1], um neue, bisher unbekannte KI-Modellarchitekturen zu entdecken (sozusagen KI, die KI erstellt). Und wir verwenden AutoML, um unsere vorher festgelegten KI-Modelle anzupassen, um zuverlässige Ergebnisse für verschiedene Anwendungen zu erzielen und so die Zuverlässigkeit und Reproduzierbarkeit zu erhöhen. Modelkompression und andere mathematische Ansätze helfen außerdem, die Modellleistung zu optimieren.

Was sehen Sie in den nächsten 5 Jahren für die natürliche Sprachverständigung und die natürliche Sprachverarbeitung?

Ich denke, dass die Systeme sich weiterentwickeln werden, um natürlichere Interaktionen zu ermöglichen. Trotz der Fortschritte in den letzten Jahren können die meisten aktuellen Systeme nur einfache Anfragen beantworten oder eine sprachgesteuerte Internetsuche durchführen. Wir werden mehr und mehr Lösungen sehen, die in der Lage sind, komplexe Anfragen zu beantworten und zu begründen, anstatt nur als sprachgesteuerte Suchmaschine zu fungieren.

Ein weiteres interessantes Thema ist die Privatsphäre. Die derzeitigen Lösungen sind hauptsächlich internetverbundene Geräte, die alle Sprachdaten des Benutzers in die Cloud streamen. Die Privatsphäre dieser Lösungen wird jedoch zunehmend zu einem Problem. Wir sehen auch die Anwendungen von Sprachbenutzeroberflächen in industriellen Umgebungen, im professionellen Audio-Bereich sowie in der Hotellerie und in Konferenzräumen. Eine wichtige Anforderung für diese Anwendungen ist die Privatsphäre, daher genügen die derzeitigen Lösungen nicht – wir werden also mehr Edge-AI- oder On-Device-Natürliche-Sprachlösungen sehen.

Wie ich bereits erwähnt habe, bleiben Sprach- und Natürliche-Sprachlösungen für einen großen Teil der Weltbevölkerung unzugänglich. Es gibt eine erhebliche Menge an Arbeit, um neue Arten von KI-Modellen zu entwickeln, die mit einer kleinen Menge an Daten trainiert werden können, was die Entwicklungskosten reduziert und die Entwicklung von Modellen in Sprachen mit weniger Sprechern ermöglicht. Auf ähnliche Weise werden wir Lösungen sehen, die in der Lage sind, mehrere Sprachen in einem einzigen Modell zu erkennen. Insgesamt werden wir mehr und mehr die Implementierung von mehrsprachigen KI-Modellen sehen, die in der Lage sind, die Anfrage eines Benutzers in seiner Muttersprache zu beantworten.

Gibt es noch etwas, das Sie über Fluent.ai teilen möchten?

Die Sprachtechnologie hat in den letzten Jahren große Fortschritte gemacht und hat ein großes Wachstumspotenzial auf dem Weg vor sich. Bei Fluent.ai suchen wir ständig nach neuen Anwendungsmöglichkeiten für unsere bestehende Technologie und innovieren kontinuierlich intern. Die COVID-19-Pandemie hat eine erhöhte Sensibilität gegenüber hochberührten Bereichen wie Aufzugsknöpfen, Kiosken in Restaurants und mehr geschaffen, was eine neue Nachfrage nach sprachgesteuerten Technologien ausgelöst hat. Fluent.ai hofft, diese Lücken zu füllen, da unsere Lösungen mehrsprachig und daher inklusiver sind und offline funktionieren, was eine zusätzliche Ebene der Privatsphäre bietet. Diese Funktionen, wie bereits erwähnt, werden wahrscheinlich die Zukunft der Sprachtechnologie sein.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten die Website von Fluent.ai besuchen.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit