Amr Nour-Eldin, Vice President of Technology bij LXT – Interview Serie

Amr Nour-Eldin is de Vice President of Technology bij LXT. Amr is een Ph.D.-onderzoeker met meer dan 16 jaar professionele ervaring in de gebieden van spraak/audio-verwerking en machine learning in de context van Automatische Spraakherkenning (ASR), met een bijzondere focus en hands-on ervaring in recente jaren op diepe leertechnieken voor streaming end-to-end spraakherkenning.

LXT is een opkomende leider in AI-trainingsdata om intelligente technologie te bieden voor wereldwijde organisaties. In samenwerking met een internationaal netwerk van bijdragers, verzamelt en annoteren LXT gegevens over meerdere modaliteiten met de snelheid, schaal en flexibiliteit die nodig is voor ondernemingen. Hun wereldwijde expertise omvat meer dan 145 landen en meer dan 1000 taalgebieden.

U heeft een PhD in Signaalverwerking van de McGill University, wat u aanvankelijk interesseerde in dit veld?

Ik wilde altijd techniek studeren en hield echt van natuurwetenschappen in het algemeen, maar werd meer specifiek aangetrokken door wiskunde en natuurkunde. Ik probeerde altijd te begrijpen hoe de natuur werkt en hoe ik die kennis kon toepassen om technologie te creëren. Na de middelbare school had ik de kans om geneeskunde en andere beroepen te studeren, maar koos specifiek voor techniek omdat het de perfecte combinatie was van theorie en toepassing in de twee gebieden die het dichtst bij mijn hart liggen: wiskunde en natuurkunde. En toen ik eenmaal die keuze had gemaakt, waren er veel mogelijke paden – mechanica, civiele techniek enz. Maar ik koos specifiek voor elektrotechniek omdat het het dichtst bij de soort wiskunde- en natuurkunde-problemen ligt die ik altijd uitdagend en leuk vond, evenals de basis van moderne technologie die me altijd heeft gedreven.

Binnen de elektrotechniek zijn er verschillende specialisaties om uit te kiezen, die algemeen onder twee paraplu’s vallen: telecommunicatie en signaalverwerking, en die van energie en elektrotechniek. Toen het tijd was om te kiezen tussen die twee, koos ik voor telecom en signaalverwerking omdat het dichter bij de manier ligt waarop we de natuur beschrijven door middel van natuurkunde en vergelijkingen. Je praat over signalen, of het nu audio, beelden of video is; het begrijpen van hoe we communiceren en wat onze zintuigen waarnemen, en hoe we die informatie wiskundig kunnen weergeven op een manier die ons in staat stelt die kennis te gebruiken om technologie te creëren en te verbeteren.

Kunt u uw onderzoek aan de McGill University bespreken over het informatie-theoretische aspect van kunstmatige Bandwidth-extensie (BWE)?

Na mijn bachelor-diploma wilde ik het signaalverwerkingsveld academisch blijven nastreven. Na een jaar te hebben gestudeerd aan de master in Fotonica, besloot ik terug te keren naar de techniek om mijn master in Audio- en spraaksignaalverwerking te doen, met een focus op spraakherkenning. Toen het tijd was om mijn PhD te doen, wilde ik mijn vakgebied een beetje verbreden naar algemene audio- en spraakverwerking, evenals de nauw verwante gebieden van machine learning en informatie-theorie, in plaats van me alleen te concentreren op de spraakherkenningstoepassing.

Het voertuig voor mijn PhD was de bandbreedte-extensie van smalbandige spraak. Smalbandige spraak verwijst naar conventionele telefoniële spraak. De frequentie-inhoud van spraak strekt zich uit tot ongeveer 20 kilohertz, maar de meeste informatie-inhoud is geconcentreerd tot ongeveer 4 kilohertz. Bandbreedte-extensie verwijst naar het kunstmatig uitbreiden van spraakinhoud van 3,4 kilohertz, dat de bovengrens is van conventionele telefoniële spraak, tot boven die grens, tot 8 kilohertz of meer. Om die ontbrekende hogere frequentie-inhoud beter te reconstrueren, gegeven alleen de beschikbare smalbandige inhoud, moet men eerst de wederzijdse informatie tussen spraakinhoud in de twee frequentiebanden kwantificeren, en vervolgens een model trainen dat die gedeelde informatie leert; een model dat, eenmaal getraind, kan worden gebruikt om hoge bandbreedte-inhoud te genereren, gegeven alleen smalbandige spraak en wat het model heeft geleerd over de relatie tussen die beschikbare smalbandige spraak en de ontbrekende hoge bandbreedte-inhoud. Het kwantificeren en weergeven van die gedeelde “wederzijdse informatie” is waar informatie-theorie bij komt kijken. Informatie-theorie is de studie van het kwantificeren en weergeven van informatie in elk signaal. Mijn onderzoek was dus gericht op het incorporeren van informatie-theorie om de kunstmatige bandbreedte-extensie van spraak te verbeteren. Als zodanig was mijn PhD meer een interdisciplinair onderzoeksactiviteit waarbij ik signaalverwerking combineerde met informatie-theorie en machine learning.

U was een Principal Speech Scientist bij Nuance Communications, nu onderdeel van Microsoft (MSFT ), voor meer dan 16 jaar, wat waren enkele van uw belangrijkste inzichten uit deze ervaring?

Vanuit mijn perspectief was het meest belangrijke voordeel dat ik altijd werkte aan state-of-the-art, cutting-edge technieken in signaalverwerking en machine learning en die technologie toepaste op echte wereldtoepassingen. Ik kreeg de kans om die technieken toe te passen op Conversational AI-producten over meerdere domeinen. Deze domeinen varieerden van ondernemingen tot gezondheidszorg, automotive en mobiliteit, onder andere. Enkele van de specifieke toepassingen omvatten virtuele assistenten, interactieve voice response, voicemail-naar-tekst en andere waarbij een juiste weergave en transcriptie kritiek is, zoals in de gezondheidszorg met arts-patiëntinteracties. Gedurende die 16 jaar was ik gelukkig getuige van en onderdeel van de evolutie van conversational AI, van de dagen van statistische modellering met Hidden Markov Models, via de geleidelijke overname van Deep Learning, tot nu waar deep learning bijna alle aspecten van AI domineert, inclusief Generative AI en traditionele predictieve of discriminatieve AI. Een ander belangrijk inzicht uit deze ervaring is de cruciale rol die data speelt, zowel in kwantiteit als kwaliteit, als een belangrijke stuwende kracht achter de mogelijkheden en prestaties van AI-modellen.

U heeft een dozijn artikelen gepubliceerd, waaronder in gerenommeerde publicaties als IEEE. In uw mening, wat is het meest baanbrekende artikel dat u heeft gepubliceerd en waarom was het belangrijk?

Het meest impactvolle artikel, gemeten naar het aantal citaten volgens Google (GOOGL ) Scholar, zou een artikel uit 2008 zijn getiteld “Mel-Frequency Cepstral Coefficient-Based Bandwidth Extension of Narrowband Speech”. Op hoog niveau is het onderwerp van dit artikel hoe men spraakinhoud kan reconstrueren met behulp van een functie-weergave die breed wordt gebruikt in het veld van automatische spraakherkenning (ASR), mel-frequentie-cepstrumcoëfficiënten.

Maar het meest innovatieve artikel naar mijn mening is een artikel met de op een na meeste citaten, een artikel uit 2011 getiteld “Memory-Based Approximation of the Gaussian Mixture Model Framework for Bandwidth Extension of Narrowband Speech“. In dat werk stelde ik een nieuwe statistische modelleringstechniek voor die tijdelijke informatie in spraak incorporeert. Het voordeel van die techniek is dat het het modelleren van lange-termijninformatie in spraak mogelijk maakt met minimale extra complexiteit en op een manier die nog steeds toelaat dat breedbandige spraak in een streaming- of real-time modus gegenereerd wordt.

In juni 2023 werd u aangesteld als Vice President of Technology bij LXT, wat trok u aan in deze positie?

Gedurende mijn academische en professionele ervaring voorafgaand aan LXT, heb ik altijd rechtstreeks met data gewerkt. In feite, zoals ik eerder opmerkte, was een van de belangrijkste inzichten uit mijn werk met spraakwetenschap en machine learning de cruciale rol die data speelt in de AI-modellevenscyclus. Het hebben van voldoende kwaliteitsdata in het juiste formaat was, en blijft, essentieel voor het succes van state-of-the-art diepe leermodellen. Als zodanig, toen ik op een punt in mijn carrière was waarop ik op zoek was naar een startup-achtige omgeving waarin ik kon leren, mijn vaardigheden kon verbreden, evenals mijn ervaring met spraak en AI kon gebruiken om de meeste impact te hebben, was ik gelukkig om de kans te hebben om me bij LXT aan te sluiten. Het was de perfecte match. LXT is niet alleen een AI-dataleverancier die met indrukwekkende en consistente snelheid groeit, maar ik zag het ook als op het perfecte groeistadium in termen van AI-kennis evenals in cliëntgrootte en diversiteit, en dus in AI- en AI-data types. Ik verheugde me op de kans om me bij hen aan te sluiten en te helpen bij hun groeireis; om een grote impact te hebben door de perspectief van een data-eindgebruiker te brengen, aangezien ik al die jaren een AI-datawetenschapper-gebruiker was.

Hoe ziet uw gemiddelde dag bij LXT eruit?

Mijn gemiddelde dag begint met het bekijken van de laatste onderzoeken op een bepaald onderwerp of ander, wat de laatste tijd vooral gericht is op generatieve AI, en hoe we die kunnen toepassen op de behoeften van onze klanten. Gelukkig heb ik een uitstekend team dat zeer bedreven is in het creëren en aanpassen van oplossingen voor de vaak gespecialiseerde AI-databehoeften van onze klanten. Dus ik werk nauw samen met hen om die agenda te bepalen.

Er is ook, natuurlijk, strategisch jaarlijks en kwartaalplanning, en het opbreken van strategische doelstellingen in individuele teamdoelen en het bijhouden van de ontwikkelingen langs die plannen. Wat betreft de functieontwikkeling die we doen, hebben we over het algemeen twee technologie-tracks. De ene is om ervoor te zorgen dat we de juiste onderdelen op hun plaats hebben om de beste resultaten te leveren op onze huidige en nieuwe binnenkomende projecten. De andere track is het verbeteren en uitbreiden van onze technologiecapaciteiten, met een focus op het incorporeren van machine learning in die capaciteiten.

Kunt u de soorten machine learning-algoritmen bespreken waar u aan werkt bij LXT?

Kunstmatige intelligentie-oplossingen transformeren bedrijven over alle industrieën heen, en wij bij LXT zijn vereerd om de hoogwaardige data te leveren om de machine learning-algoritmen te trainen die hen aandrijven. Onze klanten werken aan een breed scala aan toepassingen, waaronder augmented en virtuele realiteit, computerzicht, conversational AI, generatieve AI, zoekrelevantie en spraak- en natuurlijke taalverwerking (NLP), onder andere. We zijn toegewijd om de machine learning-algoritmen en -technologieën van de toekomst te ondersteunen door data-generatie en -verbetering over elke taal, cultuur en modaliteit heen.

Intern zijn we ook machine learning aan het incorporeren om onze interne processen te verbeteren en te optimaliseren, variërend van het automatiseren van onze datakwaliteitsvalidatie tot het mogelijk maken van een human-in-the-loop labeling-model over alle data-modaliteiten waar we aan werken.

Spraak- en audioverwerking nadert snel perfectie als het gaat om het Engels en specifiek witte mannen. Hoe lang denkt u dat het zal duren voordat het een gelijk speelveld is over alle talen, geslachten en etniciteiten?

Dit is een complexe vraag, en hangt af van een aantal factoren, waaronder economische, politieke, sociale en technologische factoren, onder andere. Maar wat duidelijk is, is dat de prevalentie van de Engelse taal is wat AI heeft gebracht waar we nu zijn. Dus om op een punt te komen waar het een gelijk speelveld is, hangt echt af van de snelheid waarmee de vertegenwoordiging van data van verschillende etniciteiten en bevolkingsgroepen online groeit, en het tempo waarin het groeit, is wat zal bepalen wanneer we daar aankomen.

Maar LXT en soortgelijke bedrijven kunnen een grote rol spelen in het drijven van ons naar een meer gelijk speelveld. Zolang de data voor minder goed vertegenwoordigde talen, geslachten en etniciteiten moeilijk toegankelijk is of simpelweg niet beschikbaar is, zal die verandering langzamer komen. Maar we proberen ons aandeel te doen. Met dekking voor meer dan 1.000 taalgebieden en ervaring in 145 landen, helpt LXT om toegang tot meer taaldata mogelijk te maken.

Wat is uw visie op hoe LXT AI-inspanningen voor verschillende klanten kan versnellen?

Ons doel bij LXT is om de data-oplossingen te bieden die efficiënte, nauwkeurige en snellere AI-ontwikkeling mogelijk maken. Door onze 12 jaar ervaring in de AI-data-ruimte, hebben we niet alleen uitgebreide kennis over klantbehoeften op het gebied van alle aspecten van data verzameld, maar hebben we ook onze processen voortdurend verfijnd om de hoogste kwaliteit data te leveren op het snelste tempo en tegen de beste prijspunten. Als gevolg van onze onwankelbare toewijding om onze klanten de optimale combinatie van AI-datakwaliteit, efficiëntie en prijs te bieden, zijn we een vertrouwd AI-data-partner geworden, zoals blijkt uit onze terugkerende klanten die steeds weer bij LXT komen voor hun steeds groeiende en evoluerende AI-databehoeften. Mijn visie is om die LXT-“MO” te consolideren, te verbeteren en uit te breiden naar alle modaliteiten van data waar we aan werken, evenals naar alle soorten AI-ontwikkeling die we nu bedienen, inclusief generatieve AI. Het bereiken van dit doel draait om het strategisch uitbreiden van onze eigen machine learning- en datawetenschapscapaciteiten, zowel in termen van technologie als resources.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen LXT bezoeken.