Amr Nour-Eldin, Vice President of Technology at LXT – Interview-Serie

Amr Nour-Eldin ist der Vice President of Technology bei LXT. Amr ist ein Ph.D.-Forschungswissenschaftler mit über 16 Jahren beruflicher Erfahrung in den Bereichen Sprach- und Audioverarbeitung sowie maschinellem Lernen im Kontext der automatischen Spracherkennung (ASR), mit besonderem Fokus auf und praktischer Erfahrung in den letzten Jahren auf Deep-Learning-Techniken für die Streaming-End-to-End-Spracherkennung.

LXT ist ein aufstrebender Marktführer im Bereich der AI-Trainingsdaten, um intelligente Technologien für globale Organisationen zu ermöglichen. In Partnerschaft mit einem internationalen Netzwerk von Beitragenden sammelt und annotiert LXT Daten in verschiedenen Modalitäten mit der erforderlichen Geschwindigkeit, Skalierbarkeit und Agilität für das Unternehmen. Ihre globale Expertise umfasst über 145 Länder und mehr als 1000 Sprachlokalisierungen.

Sie haben einen PhD in Signalverarbeitung von der McGill University, was hat Sie ursprünglich an diesem Bereich interessiert?

Ich wollte immer Ingenieurwissenschaften studieren und mochte die Naturwissenschaften im Allgemeinen, aber ich wurde speziell von Mathematik und Physik angezogen. Ich versuchte immer, herauszufinden, wie die Natur funktioniert und wie man diese Erkenntnisse anwenden kann, um Technologie zu entwickeln. Nach der Schule hatte ich die Gelegenheit, Medizin und andere Berufe zu studieren, aber ich wählte speziell Ingenieurwissenschaften, da sie in meinen Augen die perfekte Kombination aus Theorie und Anwendung in den beiden Bereichen darstellten, die mir am nächsten lagen: Mathematik und Physik. Und als ich mich dann dafür entschied, gab es viele mögliche Wege – mechanisch, zivil und so weiter. Aber ich wählte speziell Elektrotechnik, da sie mir am nächsten kam und die schwierigste in meinen Augen war, was die Art von Mathematik- und Physikproblemen betrifft, die ich immer herausfordernd fand und daher mehr genoss, sowie die Grundlage der modernen Technologie, die mich immer angetrieben hat.

Innerhalb der Elektrotechnik gibt es verschiedene Spezialisierungen, die man wählen kann, die im Allgemeinen unter zwei Schirmen fallen: Telekommunikation und Signalverarbeitung sowie die der Energie- und Elektrotechnik. Als es Zeit war, zwischen diesen beiden zu wählen, wählte ich Telekommunikation und Signalverarbeitung, da sie näher an der Art liegt, wie wir die Natur durch Physik und Gleichungen beschreiben. Man spricht über Signale, sei es Audio, Bilder oder Video; man versteht, wie wir kommunizieren und was unsere Sinne wahrnehmen, und wie man diese Informationen mathematisch darstellen kann, um diese Erkenntnisse zu nutzen, um Technologie zu entwickeln und zu verbessern.

Können Sie Ihre Forschung an der McGill University über den informationstheoretischen Aspekt der künstlichen Bandbreitenerweiterung (BWE) diskutieren?

Nachdem ich meinen Bachelor-Abschluss abgeschlossen hatte, wollte ich das Feld der Signalverarbeitung akademisch weiterverfolgen. Nach einem Jahr des Studiums der Photonik als Teil eines Master-Studiums in Physik entschied ich mich, zurück zur Ingenieurwissenschaft zu wechseln, um meinen Master in Audio- und Sprachsignalverarbeitung zu absolvieren, mit dem Schwerpunkt auf Spracherkennung. Als es Zeit war, meine Promotion zu machen, wollte ich mein Feld ein wenig erweitern in die allgemeine Audio- und Sprachverarbeitung sowie die eng verwandten Bereiche des maschinellen Lernens und der Informationstheorie, anstatt mich nur auf die Anwendung der Spracherkennung zu konzentrieren.

Das Fahrzeug für meine Promotion war die Bandbreitenerweiterung von schmalbandigen Sprachen. Schmalbandige Sprache bezieht sich auf herkömmliche Telefonie. Der Frequenzinhalt der Sprache erstreckt sich bis zu etwa 20 Kilohertz, aber der größte Teil des Informationsinhalts konzentriert sich auf etwa 4 Kilohertz. Bandbreitenerweiterung bezieht sich auf die künstliche Erweiterung des Sprachinhalts von 3,4 Kilohertz, was die obere Frequenzgrenze in der herkömmlichen Telefonie ist, auf über 8 Kilohertz oder mehr. Um den fehlenden höheren Frequenzinhalt besser zu rekonstruieren, wenn nur der verfügbare schmalbandige Inhalt verfügbar ist, muss man zuerst die gemeinsame Information zwischen dem Sprachinhalt in den beiden Frequenzbändern quantifizieren, dann ein Modell trainieren, das diese gemeinsame Information lernt; ein Modell, das, wenn es trainiert ist, verwendet werden kann, um Hochfrequenzinhalt zu generieren, wenn nur schmalbandige Sprache und das, was das Modell über die Beziehung zwischen der verfügbaren schmalbandigen Sprache und dem fehlenden Hochfrequenzinhalt gelernt hat, verfügbar ist. Die Quantifizierung und Darstellung dieser gemeinsamen “gemeinsamen Information” ist der Bereich, in dem die Informationstheorie zum Tragen kommt. Die Informationstheorie ist das Studium der Quantifizierung und Darstellung von Informationen in jedem Signal. Meine Forschung beschäftigte sich also mit der Einbeziehung der Informationstheorie, um die künstliche Bandbreitenerweiterung der Sprache zu verbessern. Meine Promotion war also eher eine interdisziplinäre Forschungsaktivität, bei der ich Signalverarbeitung mit Informationstheorie und maschinellem Lernen kombinierte.

Sie waren über 16 Jahre lang Principal Speech Scientist bei Nuance Communications, jetzt Teil von Microsoft (MSFT ), was waren einige Ihrer wichtigsten Erkenntnisse aus dieser Erfahrung?

Aus meiner Sicht war der wichtigste Vorteil, dass ich immer an state-of-the-art-, cutting-edge-Techniken in der Signalverarbeitung und dem maschinellen Lernen gearbeitet habe und diese Technologie auf reale Anwendungen angewendet habe. Ich hatte die Gelegenheit, diese Techniken auf Conversational-AI-Produkte in verschiedenen Bereichen anzuwenden. Diese Bereiche reichten von Unternehmen über Gesundheitswesen, Automotive und Mobilität bis hin zu anderen. Einige der spezifischen Anwendungen umfassten virtuelle Assistenten, interaktive Sprachantworten, Voicemail-zu-Text und andere, bei denen eine ordnungsgemäße Darstellung und Transkription kritisch ist, wie zum Beispiel im Gesundheitswesen bei Arzt-Patienten-Interaktionen. Während dieser 16 Jahre hatte ich das Glück, die Evolution der Conversational-AI-Technologie hautnah mitzuerleben und Teil davon zu sein, von den Tagen der statistischen Modellierung mit Hidden-Markov-Modellen bis hin zur allmählichen Übernahme durch Deep Learning, bis hin zu heute, wo Deep Learning fast alle Aspekte der KI, einschließlich generativer KI sowie traditioneller prädiktiver oder diskriminativer KI, dominiert. Ein weiterer wichtiger Erkenntnis aus dieser Erfahrung ist die entscheidende Rolle, die Daten spielen, sowohl in Bezug auf Menge als auch auf Qualität, als Treiber der Fähigkeiten und Leistung von KI-Modellen.

Sie haben ein Dutzend Papier veröffentlicht, darunter in renommierten Publikationen wie IEEE. Welches Papier war aus Ihrer Sicht das bahnbrechendste, das Sie veröffentlicht haben, und warum war es wichtig?

Das einflussreichste, gemessen an der Anzahl der Zitate laut Google (GOOGL ) Scholar, wäre ein Papier aus dem Jahr 2008 mit dem Titel „Mel-Frequency-Cepstral-Koeffizienten-basierte Bandbreitenerweiterung von schmalbandiger Sprache“. Auf höchstem Niveau konzentriert sich das Papier darauf, wie man Sprachinhalt mithilfe einer Merkmal-Darstellung rekonstruieren kann, die im Bereich der automatischen Spracherkennung (ASR) weit verbreitet ist, Mel-Frequency-Cepstral-Koeffizienten.

Das innovativste Papier aus meiner Sicht ist jedoch ein Papier mit der zweithöchsten Anzahl an Zitaten, ein Papier aus dem Jahr 2011 mit dem Titel “Memory-basierte Approximation des Gaussian-Mixture-Model-Frameworks für die Bandbreitenerweiterung von schmalbandiger Sprache“. In dieser Arbeit schlug ich eine neue statistische Modellierungstechnik vor, die zeitliche Informationen in der Sprache einbezieht. Der Vorteil dieser Technik besteht darin, dass sie es ermöglicht, langfristige Informationen in der Sprache mit minimaler zusätzlicher Komplexität und auf eine Weise zu modellieren, die es auch ermöglicht, weitebandige Sprache in Echtzeit zu generieren.

Im Juni 2023 wurden Sie als Vice President of Technology bei LXT rekrutiert, was hat Sie zu dieser Position hingezogen?

Während meiner akademischen und beruflichen Erfahrung vor LXT habe ich immer direkt mit Daten gearbeitet. Tatsächlich war einer der wichtigsten Erkenntnisse, den ich aus meiner Arbeit mit Sprachwissenschaft und maschinellem Lernen gezogen habe, die entscheidende Rolle, die Daten im Lebenszyklus von KI-Modellen spielen. Die Verfügbarkeit von genügend qualitativ hochwertigen Daten im richtigen Format war und ist immer noch von entscheidender Bedeutung für den Erfolg von state-of-the-art-Deep-Learning-basierten KI. Als ich also an einem Punkt in meiner Karriere angelangt war, an dem ich nach einer startup-ähnlichen Umgebung suchte, in der ich lernen, meine Fähigkeiten erweitern und meine Erfahrungen mit Sprache und KI nutzen konnte, um den größten Einfluss zu haben, war ich glücklich, die Gelegenheit zu haben, LXT beizutreten. Es war der perfekte Fit. LXT ist nicht nur ein Anbieter von KI-Trainingsdaten, der mit beeindruckender und konsistenter Geschwindigkeit wächst, sondern ich sah es auch als das perfekte Stadium in Bezug auf Wachstum in Bezug auf KI-Kenntnisse sowie in Bezug auf Kundenanzahl und -vielfalt, und daher in Bezug auf KI- und KI-Datentypen. Ich freute mich darauf, beizutragen und bei seinem Wachstumsweg zu helfen; um einen großen Einfluss zu haben, indem ich die Perspektive eines KI-Datennutzers einbringen konnte, nachdem ich all die Jahre als KI-Datennutzer tätig war.

Wie sieht Ihr durchschnittlicher Tag bei LXT aus?

Mein durchschnittlicher Tag beginnt damit, mich in die neuesten Forschungsergebnisse zu einem Thema oder anderen zu vertiefen, die sich in letzter Zeit auf generative KI konzentriert haben, und wie wir diese auf die Bedürfnisse unserer Kunden anwenden können. Glücklicherweise habe ich ein hervorragendes Team, das sehr gut darin ist, Lösungen für die spezifischen KI-Datenbedürfnisse unserer Kunden zu erstellen und anzupassen. Also arbeite ich eng mit ihnen zusammen, um diese Agenda festzulegen.

Es gibt auch, natürlich, strategische jährliche und quartalsweise Planung und die Aufteilung strategischer Ziele in individuelle Teamziele und die Verfolgung der Entwicklungen entlang dieser Pläne. Was die von uns durchgeführte Feature-Entwicklung betrifft, haben wir im Allgemeinen zwei Technologie-Schienen. Die eine besteht darin, sicherzustellen, dass wir die richtigen Bausteine haben, um die besten Ergebnisse auf unseren aktuellen und neuen eingehenden Projekten zu liefern. Die andere Schiene konzentriert sich auf die Verbesserung und Erweiterung unserer Technologie-Fähigkeiten, mit dem Schwerpunkt auf die Einbeziehung von maschinellem Lernen in diese.

Können Sie die Arten von maschinellen Lernalgorithmen diskutieren, an denen Sie bei LXT arbeiten?

KI-Lösungen verändern Unternehmen in allen Branchen, und wir bei LXT sind stolz darauf, die hochwertigen Daten zu liefern, die erforderlich sind, um die maschinellen Lernalgorithmen zu trainieren, die sie antreiben. Unsere Kunden arbeiten an einer Vielzahl von Anwendungen, darunter erweiterte und virtuelle Realität, Computer-Vision, Conversational-AI, generative KI, Suchrelevanz und Sprach- und Natursprachverarbeitung (NLP) sowie andere. Wir sind darauf bedacht, die maschinellen Lernalgorithmen und Technologien der Zukunft durch Daten-Generierung und -Verbesserung in jeder Sprache, Kultur und Modalität zu ermöglichen.

Intern setzen wir auch maschinelles Lernen ein, um unsere internen Prozesse zu verbessern und zu optimieren, von der Automatisierung unserer Daten-Validierungsprüfungen bis hin zur Ermöglichung eines menschlichen Modells zur Annotation von Daten in allen Modalitäten, an denen wir arbeiten.

Die Sprach- und Audioverarbeitung nähert sich rapide der Perfektion, wenn es um Englisch und speziell weiße Männer geht. Wie lange erwarten Sie, dass es ein gleichwertiges Spielfeld für alle Sprachen, Geschlechter und Ethnien gibt?

Das ist eine komplexe Frage, und sie hängt von einer Reihe von Faktoren ab, einschließlich der wirtschaftlichen, politischen, sozialen und technologischen Faktoren. Aber was klar ist, ist, dass die Verbreitung der englischen Sprache es der KI ermöglicht hat, wo sie heute ist. Also hängt es davon ab, wie schnell die Darstellung von Daten aus verschiedenen Ethnien und Populationen online wächst, und das Tempo, mit dem sie wächst, bestimmt, wann wir dort ankommen.

Es ist jedoch klar, dass LXT und ähnliche Unternehmen eine wichtige Rolle dabei spielen können, uns in Richtung eines gleichwertigen Spielfelds zu bringen. Solange die Daten für weniger gut vertretene Sprachen, Geschlechter und Ethnien schwer zugänglich sind oder einfach nicht verfügbar sind, wird sich der Wandel langsamer vollziehen. Aber wir versuchen, unseren Teil beizutragen. Mit Abdeckung für über 1.000 Sprachlokalisierungen und Erfahrung in 145 Ländern hilft LXT dabei, den Zugang zu mehr Sprachdaten zu ermöglichen.

Was ist Ihre Vision dafür, wie LXT die KI-Bemühungen für verschiedene Kunden beschleunigen kann?

Unser Ziel bei LXT ist es, die Datenlösungen bereitzustellen, die eine effiziente, genaue und schnelle KI-Entwicklung ermöglichen. Durch unsere 12-jährige Erfahrung im Bereich der KI-Daten haben wir nicht nur umfassende Kenntnisse über die Bedürfnisse der Kunden in Bezug auf alle Aspekte der Daten gesammelt, sondern auch unsere Prozesse kontinuierlich fein abgestimmt, um die höchste Qualität der Daten mit der schnellsten Geschwindigkeit und den besten Preispunkten zu liefern. Als Ergebnis unserer unerschütterlichen Verpflichtung, unseren Kunden die optimale Kombination aus KI-Datenqualität, Effizienz und Preis zu bieten, sind wir zu einem vertrauenswürdigen KI-Daten-Partner geworden, wie unsere wiederkehrenden Kunden belegen, die immer wieder zu LXT zurückkehren, um ihre ständig wachsenden und sich entwickelnden KI-Datenbedürfnisse zu decken. Meine Vision ist es, diese LXT-“DNA” zu zementieren, zu verbessern und zu erweitern, und zwar auf alle Datenmodalitäten, an denen wir arbeiten, sowie auf alle Arten von KI-Entwicklung, die wir jetzt bedienen, einschließlich generativer KI. Das Erreichen dieses Ziels hängt von der strategischen Erweiterung unserer eigenen maschinellen Lern- und Data-Science-Fähigkeiten ab, sowohl in Bezug auf Technologie als auch auf Ressourcen.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten LXT besuchen.