Amr Nour-Eldin, Vice President for Teknologi ved LXT – Intervieuserie

Amr Nour-Eldin er Vice President for Teknologi ved LXT. Amr er en Ph.D.-forsker med over 16 års professionel erfaring inden for områderne tale-/lydbehandling og maskinlæring i sammenhæng med automatisk talegenkendelse (ASR), med særlig fokus og praktisk erfaring i de senere år på dybtlæringsteknikker til streaming-end-to-end talegenkendelse.

LXT er en fremvoksende leder inden for AI-træningsdata til at drive intelligente teknologier for globale organisationer. I partnerskab med et internationalt netværk af bidragsydere indsamler og annoterer LXT data på tværs af multiple modaliteter med den hastighed, skala og fleksibilitet, der kræves af virksomhederne. Deres globale ekspertise dækker mere end 145 lande og over 1000 sproglokaler.

Hvad var det, der oprindeligt interesserede dig for dette felt, da du tog en Ph.D. i signalbehandling fra McGill University?

Jeg har altid ønsket at studere ingeniørvidenskab, og jeg kunne rigtig godt lide naturvidenskab generelt, men blev mere specifikt tiltrukket af matematik og fysik. Jeg fandt mig selv altid forsøgende at forstå, hvordan naturen fungerer, og hvordan jeg kunne anvende den viden til at skabe teknologi. Efter gymnasiet havde jeg muligheden for at gå i medicin og andre fag, men valgte specifikt ingeniørvidenskab, da det repræsenterede den perfekte kombination i min mening af både teori og anvendelse i de to fag, der lå nærmest mit hjerte: matematik og fysik. Og derefter, da jeg havde valgt det, var der mange mulige veje – mekanisk, civil og så videre. Men jeg valgte specifikt elektroingeniørvidenskab, fordi det er det nærmeste og det sværest i min mening, til den type matematiske og fysikproblemer, som jeg altid fandt udfordrende og derfor nød mere, samt være grundlaget for moderne teknologi, som altid har drevet mig.

Inden for elektroingeniørvidenskab er der forskellige specialer at vælge imellem, som generelt falder under to paraplyer: telekommunikation og signalbehandling, og det, der vedrører kraft og elektroingeniørvidenskab. Da det var tid til at vælge imellem disse, valgte jeg telekommunikation og signalbehandling, fordi det er tættere på, hvordan vi beskriver naturen gennem fysik og ligninger. Du taler om signaler, enten det er lyd, billeder eller video; forstå, hvordan vi kommunikerer og hvad vores sanser opfatter, og hvordan man matematisk kan repræsentere den information på en måde, der giver os mulighed for at udnytte den viden til at skabe og forbedre teknologi.

Kunne du diskutere din forskning på McGill University om den informations-teoretiske aspekt af kunstig båndbreddeudvidelse (BWE)?

Efter jeg havde afsluttet min bacheloruddannelse, ønskede jeg at fortsætte med at følge signalbehandlingsfeltet akademisk. Efter et år med at studere fotonik som en del af en kandidatuddannelse i fysik, besluttede jeg at skifte tilbage til ingeniørvidenskab for at følge min kandidatuddannelse i audio- og talesignalbehandling, med fokus på talegenkendelse. Da det var tid til at gøre min Ph.D., ønskede jeg at udvide mit felt lidt mere til generel audio- og talesignalbehandling samt de nært beslægtede fag, maskinlæring og informations-teori, snarere end kun at fokusere på talegenkendelsesapplikationen.

Det, der var grundlaget for min Ph.D., var båndbreddeudvidelsen af smalbånds-tale. Smalbånds-tale refererer til konventionel telefoni. Den frekvensmæssige indhold af tale strækker sig op til omkring 20 kilohertz, men det meste af informationsindholdet er koncentreret op til kun 4 kilohertz. Båndbreddeudvidelse refererer til at udvide taleindhold fra 3,4 kilohertz, som er den øvre frekvensgrænse i konventionel telefoni, til over den, op til otte kilohertz eller mere. For bedre at genskabe det manglende højfrekvensindhold, når man kun har det tilgængelige smalbåndsindhold, skal man først kvantificere den gensidige information mellem taleindhold i de to frekvensbånd, og derefter bruge den information til at træne en model, der lærer den fælles information; en model, der, når den er trænet, kan bruges til at generere højfrekvensindhold, når man kun har smalbånds-tale og det, modellen har lært om forholdet mellem det tilgængelige smalbånds-tale og det manglende højfrekvensindhold. Kvantificering og repræsentation af den fælles “gensidige information” er, hvor informations-teorien kommer ind. Informations-teori er studiet af at kvantificere og repræsentere information i ethvert signal. Min forskning var altså om at inkorporere informations-teori for at forbedre den kunstige båndbreddeudvidelse af tale. Min Ph.D. var derfor mere en tværfaglig forskningsaktivitet, hvor jeg kombinerede signalbehandling med informations-teori og maskinlæring.

Du var Principal Speech Scientist hos Nuance Communications, nu en del af Microsoft (MSFT ), i over 16 år. Hvad var nogle af dine vigtigste erfaringer fra denne oplevelse?

Set fra mit perspektiv var den vigtigste fordel, at jeg altid arbejdede med state-of-the-art, cutting-edge-teknikker inden for signalbehandling og maskinlæring og anvendte den teknologi til virkelige applikationer. Jeg fik chancen for at anvende disse teknikker til Conversational AI-produkter på tværs af multiple domæner. Disse domæner strakte sig fra enterprise til sundhedsvesen, bilindustri og mobilitet, blandt andre. Nogle af de specifikke applikationer inkluderede virtuelle assistenter, interaktive voicesvar, voicemail-til-tekst og andre, hvor korrekt repræsentation og transskription er kritisk, såsom i sundhedsvesenet med læge-patient-interaktioner. Gennem disse 16 år var jeg heldig at være vidne til og en del af udviklingen af Conversational AI, fra dage med statistisk modellering ved hjælp af Hidden Markov Models, gennem den gradvise overtagelse af Dyb Læring, til nu, hvor dyb læring dominerer og er almindelig i næsten alle aspekter af AI, herunder Generativ AI såvel som traditionel prædikativ eller diskriminativ AI. En anden vigtig erfaring fra denne oplevelse er den afgørende rolle, som data spiller, både i kvantitet og kvalitet, som en nøgle-driver for AI-modellens evner og præstation.

Du har publiceret en snes artikler, herunder i så anerkendte publikationer som IEEE. I din mening, hvilken af dine publicerede artikler var den mest banebrydende, og hvorfor var den vigtig?

Den mest indflydelsesrige, målt på antallet af citeringer ifølge Google (GOOGL ) Scholar, ville være en artikel fra 2008 med titlen “Mel-Frequency Cepstral Coefficient-Based Bandwidth Extension of Narrowband Speech”. På et højt niveau handler denne artikel om, hvordan man kan genskabe taleindhold ved hjælp af en funktionel repræsentation, der er vidt anvendt i feltet automatisk talegenkendelse (ASR), mel-frekvens-cepstrum-koefficienter.

Men den mere innovative artikel i min mening er en artikel med den næststørste antal citeringer, en artikel fra 2011 med titlen “Memory-Based Approximation of the Gaussian Mixture Model Framework for Bandwidth Extension of Narrowband Speech“. I dette arbejde foreslog jeg en ny statistisk modelleringsteknik, der inkorporerer tidsinformation i tale. Fordelene ved denne teknik er, at den tillader modellering af langtidsinformation i tale med minimal ekstra kompleksitet og på en måde, der stadig tillader generation af bredbånds-tale i en streaming eller realtidsfashion.

I juni 2023 blev du rekrutteret som Vice President for Teknologi ved LXT. Hvad var det, der tiltrak dig til denne stilling?

Gennem min akademiske og professionelle erfaring før LXT har jeg altid arbejdet direkte med data. Faktisk, som jeg tidligere nævnte, var en af mine vigtigste erfaringer fra mit arbejde med talevidenskab og maskinlæring den afgørende rolle, som data spiller i AI-modellens livscyklus. At have nok kvalitetsdata i det rette format var, og er fortsat, afgørende for succesen med state-of-the-art dyb-læring-baseret AI. Da jeg var på et stadie i min karriere, hvor jeg søgte en startup-lignende omgang, hvor jeg kunne lære, udvide mine færdigheder samt udnytte min erfaring med tale og AI til at have den største indvirkning, var jeg heldig at have muligheden for at tilslutte mig LXT. Det var det perfekte match. Ikke kun er LXT en AI-dataudbyder, der vokser med imponerende og konstant hastighed, men jeg så det også som det perfekte tidspunkt i forhold til vækst i AI-kundskab samt i klientstørrelse og diversitet, og derfor i AI- og AI-data typer. Jeg glædede mig til at tilslutte mig og hjælpe med dets vækstrejse; at have en stor indvirkning ved at bringe perspektivet fra en data-slutbruger efter at have været en AI-datavidenskabsbruger i alle disse år.

Hvad ser en gennemsnitlig dag ud for dig ved LXT?

Min gennemsnitlige dag begynder med at se på den seneste forskning på et eller andet emne, som har centreret sig omkring generativ AI, og hvordan vi kan anvende det til vores kunders behov. Heldigvis har jeg et fremragende team, der er meget dygtigt til at skabe og tilpasse løsninger til vores kunders ofte specialiserede AI-data-behov. Så jeg arbejder tæt sammen med dem for at fastlægge den agenda.

Der er også, naturligvis, strategisk årlig og kvartalsmæssig planlægning, og opdeling af strategiske mål i enkeltteams-mål og følge med udviklingen langs disse planer. For hvad angår de tekniske funktioner, vi udvikler, har vi generelt to tekniske spor. Det ene er at sikre, at vi har de rette dele på plads til at levere de bedste resultater på vores nuværende og nye indgående projekter. Det andet spor er forbedring og udvidelse af vores tekniske evner, med fokus på at inkorporere maskinlæring i dem.

Kunne du diskutere de typer af maskinlæring-algoritmer, du arbejder med ved LXT?

Kunstig intelligens-løsninger transformerer forretninger på tværs af alle brancher, og vi ved LXT er ærede over at levere de højkvalitetsdata, der træner de maskinlæring-algoritmer, der driver dem. Vore kunder arbejder på en bred vifte af applikationer, herunder forstærket og virtuel virkelighed, computer-vision, conversational AI, generativ AI, søge-relevans og tale- og naturlig-sprogbehandling, blandt andre. Vi er dedikeret til at drive de maskinlæring-algoritmer og -teknologier for fremtiden gennem data-generering og -forbedring på tværs af hvert sprog, kultur og modalitet.

Internt inkorporerer vi også maskinlæring for at forbedre og optimere vores interne processer, der strækker sig fra automatisering af vores data-kvalitetsvalidering til at enable en human-in-the-loop-model for mærkning på tværs af alle data-modaliteter, vi arbejder med.

Tale- og lydbehandling er hurtigt på vej mod at nå næsten perfektion, især for engelsk og specifikt for hvide mænd. Hvor lang tid forventer du, det vil tage, før det bliver en lige spillende grund for alle sprog, køn og etniciteter?

Dette er et kompliceret spørgsmål, og afhænger af en række faktorer, herunder økonomiske, politiske, sociale og tekniske, blandt andre. Men hvad der er klart, er, at det er den engelske sprogs udbredelse, der har drevet AI til, hvor vi er i dag. Så for at nå et sted, hvor det er en lige spillende grund, afhænger det af, hvor hurtigt representationen af data fra forskellige etniciteter og befolkningsgrupper vokser på nettet, og hvilken hastighed, det vokser med, er det, der vil bestemme, hvornår vi når dertil.

Men LXT og lignende virksomheder kan have en stor hånd i at drive os mod en mere lige spillende grund. Så længe data for mindre repræsenterede sprog, køn og etniciteter er svære at få adgang til eller simpelthen ikke tilgængelige, vil denne forandring ske langsommere. Men vi prøver at gøre vores del. Med dækning for over 1.000 sproglokaler og erfaring i 145 lande hjælper LXT med at gøre adgang til mere sprogdata mulig.

Hvad er din vision for, hvordan LXT kan accelerere AI-bestræbelser for forskellige kunder?

Vores mål ved LXT er at levere de data-løsninger, der muliggør effektiv, præcis og hurtig AI-udvikling. Gennem vores 12 års erfaring inden for AI-datafeltet har vi ikke kun opbygget omfattende kundskab om kunders behov på alle aspekter relateret til data, men har også kontinuerligt finjusteret vores processer for at levere den højeste kvalitetsdata på den hurtigste måde og til de bedste priser. Som følge heraf er vi blevet en pålidelig AI-data-partner, som vores gentagne kunder, der fortsat vender tilbage til LXT for deres stadig voksende og udviklende AI-data-behov, er bevis på. Min vision er at cementere, forbedre og udvide den “LXT-måde” på alle de modaliteter af data, vi arbejder med, samt på alle typer AI-udvikling, vi nu betjener, herunder generativ AI. At opnå dette mål drejer sig om at udvide vores egne maskinlæring- og data-videnskabs-evner strategisk, både i forhold til teknologi og ressourcer.

Tak for det gode interview. Læsere, der ønsker at lære mere, kan besøge LXT.