Amr Nour-Eldin, Vice President of Technology at LXT – Intervju-serie

Amr Nour-Eldin är Vice President of Technology på LXT. Amr är en Ph.D.-forskare med över 16 års professionell erfarenhet inom områdena tal- och ljudbehandling samt maskinlärande i sammanhanget med automatisk taligenkänning (ASR), med särskild fokus och praktisk erfarenhet under de senaste åren av djupinlärningstekniker för strömmande slut-till-slut-taligenkänning.

LXT är en framväxande ledare inom AI-träningsdata för att driva intelligent teknik för globala organisationer. I samarbete med ett internationellt nätverk av bidragsgivare samlar och annoterar LXT data över flera modaliteter med den hastighet, skala och flexibilitet som krävs av företaget. Deras globala expertis omfattar mer än 145 länder och över 1000 språklokaler.

Vad var det som initialt intresserade dig för detta område när du påbörjade din doktorsexamen i signalbehandling vid McGill University?

Jag ville alltid studera teknik och tyckte om naturvetenskap i allmänhet, men drogs mer specifikt till matematik och fysik. Jag försökte alltid förstå hur naturen fungerar och hur man kan tillämpa den förståelsen för att skapa teknik. Efter gymnasiet hade jag möjlighet att gå in på medicin och andra yrken, men valde specifikt teknik eftersom det representerar den perfekta kombinationen av teori och tillämpning i de två områden som ligger närmast mitt hjärta: matematik och fysik. Och sedan jag hade valt det, fanns det många möjliga vägar – mekanik, civilingenjör, och så vidare. Men jag valde specifikt elektroteknik eftersom det är det närmaste och det tuffaste, enligt min mening, till de matematiska och fysikaliska problem som jag alltid funnit utmanande och därför njuter mer av, samt att det är grunden för modern teknik som alltid har drivit mig.

Inom elektroteknik finns det olika specialiseringar att välja mellan, som vanligtvis faller under två paraplyer: telekommunikation och signalbehandling, och den som omfattar kraft och elektroteknik. När det var dags att välja mellan dem, valde jag telekommunikation och signalbehandling eftersom det är närmare hur vi beskriver naturen genom fysik och ekvationer. Man talar om signaler, antingen det är ljud, bilder eller video; att förstå hur vi kommunicerar och vad våra sinnen uppfattar, och hur man kan representera den informationen matematiskt på ett sätt som tillåter oss att utnyttja den kunskapen för att skapa och förbättra teknik.

Kan du diskutera din forskning vid McGill University om den informations-teoretiska aspekten av artificiell bandbreddsutvidgning (BWE)?

Efter att jag avslutat min kandidatexamen, ville jag fortsätta att forska inom området signalbehandling akademiskt. Efter ett år av studier i fotonik som en del av en masterexamen i fysik, beslutade jag att byta tillbaka till teknik för att fortsätta min masterexamen i ljud- och talsignalbehandling, med fokus på talsignalbehandling. När det var dags att göra min doktorsexamen, ville jag bredda mitt område lite grann till allmän ljud- och talsignalbehandling samt de nära relaterade områdena maskinlärande och informations-teori, snarare än att bara fokusera på talsignalbehandlingsapplikationen.

Fordonet för min doktorsexamen var bandbreddsutvidgning av smalbandigt tal. Smalbandigt tal refererar till konventionell telefoni. Frekvensinnehållet i talet sträcker sig till cirka 20 kilohertz, men den största delen av informationsinnehållet är koncentrerat upp till bara 4 kilohertz. Bandbreddsutvidgning refererar till att artificiellt utvidga talsinnehållet från 3,4 kilohertz, som är den övre frekvensgränsen i konventionell telefoni, till ovanför det, upp till åtta kilohertz eller mer. För att bättre rekonstruera det saknade högre frekvensinnehållet, givet endast det tillgängliga smalbandiga innehållet, måste man först kvantifiera den ömsesidiga informationen mellan talsinnehållet i de två frekvensbanden, sedan använda den informationen för att träna en modell som lär sig den delade informationen; en modell som, när den är tränad, kan användas för att generera högbandigt innehåll givet endast smalbandigt tal och vad modellen lärde sig om relationen mellan det tillgängliga smalbandiga talet och det saknade högbandiga innehållet. Att kvantifiera och representera den delade “ömsesidiga informationen” är där informations-teorin kommer in. Informations-teorin är studiet av att kvantifiera och representera information i vilken signal som helst. Så min forskning handlade om att inkorporera informations-teori för att förbättra den artificiella bandbreddsutvidgningen av tal. Som sådan var min doktorsexamen mer av en tvärvetenskaplig forskningsaktivitet där jag kombinerade signalbehandling med informations-teori och maskinlärande.

Du var Principal Speech Scientist på Nuance Communications, nu en del av Microsoft (MSFT ), i över 16 år, vad var några av dina viktigaste erfarenheter från den tiden?

Från mitt perspektiv var den viktigaste fördelen att jag alltid arbetade med state-of-the-art, banbrytande tekniker inom signalbehandling och maskinlärande och tillämpade den tekniken på verkliga applikationer. Jag fick chansen att tillämpa dessa tekniker på Conversational AI-produkter över flera domäner. Dessa domäner sträckte sig från företag till hälsovård, bilar och mobilitet, bland andra. Några av de specifika applikationerna inkluderade virtuella assistenter, interaktiv röstrespons, röst-till-text och andra där korrekt representation och transkription är kritisk, som i hälsovården med läkare-patientinteraktioner. Under de 16 åren hade jag turen att vara en del av utvecklingen av konversations-AI, från dagarna med statistisk modellering med hjälp av Hidden Markov Models, genom den gradvisa övertagandet av djupinlärning, till nu när djupinlärning domineras och nästan alla aspekter av AI, inklusive generativ AI samt traditionell prediktiv eller diskriminativ AI. En annan viktig erfarenhet från den tiden är den avgörande roll som data spelar, genom kvantitet och kvalitet, som en viktig drivkraft för AI-modellens förmåga och prestanda.

Du har publicerat ett dussin artiklar, inklusive i sådana ansedda publikationer som IEEE. I ditt tycke, vad är den mest banbrytande artikeln som du publicerade och varför var den viktig?

Den mest inflytelserika, enligt antalet citeringar enligt Google (GOOGL ) Scholar, skulle vara en artikel från 2008 med titeln “Mel-Frequency Cepstral Coefficient-Based Bandwidth Extension of Narrowband Speech”. På en hög nivå handlar artikeln om hur man kan rekonstruera talsinnehåll med hjälp av en funktionell representation som är allmänt använd inom området automatisk talsignalbehandling (ASR), mel-frekvens-cepstral-koefficienter.

Men den mer innovativa artikeln enligt mig är en artikel med den näst flesta citeringarna, en artikel från 2011 med titeln “Memory-Based Approximation of the Gaussian Mixture Model Framework for Bandwidth Extension of Narrowband Speech“. I det arbetet föreslog jag en ny statistisk modelleringsteknik som inkorporerar temporal information i tal. Fördelen med den tekniken är att den tillåter modellering av långsiktig information i tal med minimal ytterligare komplexitet och på ett sätt som fortfarande tillåter generering av bredbandigt tal i realtid.

I juni 2023 rekryterades du som Vice President of Technology på LXT, vad var det som lockade dig till den positionen?

Under hela min akademiska och professionella erfarenhet före LXT har jag alltid arbetat direkt med data. I själva verket, som jag noterade tidigare, var en av de viktigaste erfarenheterna från mitt arbete med talsignalbehandling och maskinlärande den avgörande roll som data spelar i AI-modellens livscykel. Att ha tillräckligt med kvalitetsdata i rätt format var, och fortsätter att vara, avgörande för framgången för state-of-the-art djupinlärningsbaserad AI. Som sådan, när jag befann mig i en fas i min karriär där jag sökte en startup-liknande miljö där jag kunde lära mig, bredda mina färdigheter, samt utnyttja min erfarenhet av tal och AI för att ha störst inverkan, hade jag turen att få möjlighet att ansluta till LXT. Det var den perfekta passningen. Inte bara är LXT en AI-dataleverantör som växer i en imponerande och konsekvent takt, utan jag såg det också som en perfekt fas i termer av tillväxt i AI-kunskap samt i kundstorlek och diversitet, och därmed i AI- och AI-data typer. Jag njöt av möjligheten att ansluta och hjälpa till i dess tillväxtresa; att ha en stor inverkan genom att bringa perspektivet av en data-slutanvändare efter att ha varit en AI-data vetenskapsman under alla dessa år.

Vad ser en genomsnittlig dag ut för dig på LXT?

Min genomsnittliga dag börjar med att titta på den senaste forskningen inom ett ämne eller ett annat, som nyligen har handlat om generativ AI, och hur vi kan tillämpa det på våra kunders behov. Lyckligtvis har jag ett utmärkt team som är mycket skickliga på att skapa och anpassa lösningar för våra kunders ofta specialiserade AI-data behov. Så, jag arbetar nära med dem för att sätta den agendan.

Det finns också, naturligtvis, strategisk årlig och kvartalsvis planering, och att bryta ner strategiska mål till individuella teammål och hålla oss à jour med utvecklingen längs med dessa planer. När det gäller de funktioner vi utvecklar, har vi vanligtvis två tekniska spår. Det ena är att se till att vi har rätt bitar på plats för att leverera de bästa resultaten på våra nuvarande och nya inkommande projekt. Det andra spåret är att förbättra och expandera våra tekniska förmågor, med fokus på att inkorporera maskinlärande i dem.

Kan du diskutera de typer av maskinlärandealgoritmer som du arbetar med på LXT?

Artificiell intelligens-lösningar förvandlar företag över alla branscher, och vi på LXT är hedrade att tillhandahålla de högkvalitativa data som tränar maskinlärandealgoritmerna som driver dem. Våra kunder arbetar med en mängd olika applikationer, inklusive förstärkt och virtuell verklighet, datorseende, konversations-AI, generativ AI, sökrelaterad relevans och tal- och naturligt språkbehandling (NLP), bland andra. Vi är dedikerade till att driva maskinlärandealgoritmerna och teknikerna för framtiden genom data-generering och förbättring över alla språk, kulturer och modaliteter.

Inom LXT inkorporerar vi också maskinlärande för att förbättra och optimera våra interna processer, från att automatisera vår datakvalitetsvalidering till att möjliggöra en mänsklig-i-loopen-modell för märkning över alla data-modaliteter vi arbetar med.

Tal- och ljudbehandling närmar sig snabbt nästan fullständig perfektion när det gäller engelska och specifikt vita män. Hur länge tror du att det kommer att ta innan det är en jämn spelplan över alla språk, kön och etniciteter?

Detta är en komplicerad fråga, och beror på en mängd faktorer, inklusive de ekonomiska, politiska, sociala och tekniska, bland andra. Men vad som är tydligt är att förekomsten av det engelska språket är vad som drivit AI till där vi är nu. Så för att komma till en plats där det är en jämn spelplan, beror det verkligen på den takt med vilken representationen av data från olika etniciteter och befolkningar växer online, och den takt med vilken det växer är vad som kommer att bestämma när vi kommer dit.

Men LXT och liknande företag kan ha en stor roll i att driva oss mot en mer jämn spelplan. Så länge data för mindre väl representerade språk, kön och etniciteter är svåra att komma åt eller enkelt inte tillgängliga, kommer den förändringen att ske långsammare. Men vi försöker göra vår del. Med täckning för över 1 000 språklokaler och erfarenhet i 145 länder, hjälper LXT till att göra tillgång till mer språkdata möjlig.

Vad är din vision för hur LXT kan accelerera AI-insatser för olika kunder?

Vår målsättning på LXT är att tillhandahålla data-lösningarna som möjliggör effektiv, korrekt och snabb AI-utveckling. Genom våra 12 års erfarenhet inom AI-dataområdet har vi inte bara ackumulerat omfattande kunskap om kundernas behov i termer av alla aspekter relaterade till data, utan vi har också kontinuerligt finslipat våra processer för att leverera den högsta kvaliteten på data på den snabbaste takten och de bästa priserna. Följaktligen, som ett resultat av vår outtröttliga åtagande att tillhandahålla våra kunder den optimala kombinationen av AI-datakvalitet, effektivitet och prissättning, har vi blivit en pålitlig AI-data partner, som bevisas av våra återkommande kunder som fortsätter att komma tillbaka till LXT för sina alltmer växande och utvecklande AI-data behov. Min vision är att befästa, förbättra och expandera den LXT-“MO” till alla modaliteter av data vi arbetar med, samt till alla typer av AI-utveckling vi nu betjänar, inklusive generativ AI. Att uppnå detta mål handlar om att strategiskt expandera våra egna maskinlärande- och data-vetenskapliga förmågor, både i termer av teknik och resurser.

Tack för det underbara samtalet, läsare som vill lära sig mer kan besöka LXT.