Amr Nour-Eldin, Vice President of Technology at LXT – Intervista di Serie

Amr Nour-Eldin, è il Vice President of Technology at LXT. Amr è un ricercatore scientifico con un dottorato di ricerca con oltre 16 anni di esperienza professionale nei campi dell’elaborazione del segnale vocale e dell’apprendimento automatico nel contesto del riconoscimento automatico del parlato (ASR), con un focus particolare e un’esperienza pratica negli ultimi anni sulle tecniche di apprendimento profondo per il riconoscimento del parlato in streaming.

LXT è un leader emergente nei dati di formazione per l’intelligenza artificiale per le organizzazioni globali. In partnership con una rete internazionale di contributori, LXT raccoglie e annota dati in più modalità con la velocità, la scala e l’agilità richieste dalle aziende. La loro esperienza globale copre oltre 145 paesi e più di 1000 lingue locali.

Ha perseguito un dottorato in Elaborazione dei segnali presso l’Università di McGill, cosa l’ha inizialmente interessato a questo campo?

Ho sempre voluto studiare ingegneria e mi sono sempre piaciute le scienze naturali in generale, ma sono stato attratto più specificamente dalla matematica e dalla fisica. Ho sempre cercato di capire come funziona la natura e come applicare quella comprensione per creare tecnologia. Dopo la scuola superiore, ho avuto l’opportunità di entrare in medicina e altre professioni, ma ho scelto specificamente l’ingegneria perché rappresenta la combinazione perfetta, a mio parere, di teoria e applicazione nei due campi più vicini al mio cuore: matematica e fisica. E poi, una volta scelto, c’erano molti percorsi possibili – meccanico, civile e così via. Ma ho scelto specificamente l’ingegneria elettrica perché è la più vicina e la più difficile, a mio parere, ai tipi di problemi di matematica e fisica che ho sempre trovato più stimolanti e quindi più divertenti, oltre a essere la base della tecnologia moderna che mi ha sempre guidato.

Dentro l’ingegneria elettrica, ci sono varie specializzazioni da scegliere, che in generale rientrano in due categorie: le telecomunicazioni e l’elaborazione dei segnali, e quella dell’energia e dell’ingegneria elettrica. Quando è arrivato il momento di scegliere tra queste due, ho scelto le telecomunicazioni e l’elaborazione dei segnali perché è più vicina a come descriviamo la natura attraverso la fisica e le equazioni. Stiamo parlando di segnali, che siano audio, immagini o video; capire come comunichiamo e cosa percepiscono i nostri sensi, e come rappresentare matematicamente quelle informazioni in modo da poter sfruttare quella conoscenza per creare e migliorare la tecnologia.

Può discutere la sua ricerca all’Università di McGill sull’aspetto dell’informazione teorica dell’estensione della larghezza di banda artificiale (BWE)?

Dopo aver completato il mio diploma di laurea, ho voluto continuare a perseguire il campo dell’elaborazione dei segnali a livello accademico. Dopo un anno di studio sulla fotonica come parte di un master in Fisica, ho deciso di tornare all’ingegneria per perseguire il mio master in elaborazione del segnale audio e vocale, concentrandomi sul riconoscimento vocale. Quando è arrivato il momento di fare il mio dottorato, ho voluto allargare il mio campo un po’ di più nell’elaborazione generale del segnale audio e vocale, nonché nei campi correlati dell’apprendimento automatico e della teoria dell’informazione, piuttosto che concentrarmi solo sull’applicazione del riconoscimento vocale.

Il veicolo per il mio dottorato è stata l’estensione della larghezza di banda della voce a larghezza di banda ristretta. La voce a larghezza di banda ristretta si riferisce alla voce telefonica convenzionale. Il contenuto di frequenza della voce si estende a circa 20 kilohertz, ma la maggior parte del contenuto informativo è concentrata fino a solo 4 kilohertz. L’estensione della larghezza di banda si riferisce all’estensione artificiale del contenuto vocale da 3,4 kilohertz, che è il limite superiore di frequenza nella telefonia convenzionale, a oltre quel valore, fino a 8 kilohertz o più. Per ricostruire meglio il contenuto di frequenza più alta mancante dato solo il contenuto a larghezza di banda ristretta disponibile, è necessario prima quantificare l’informazione mutua tra il contenuto vocale nelle due bande di frequenza, quindi utilizzare quell’informazione per addestrare un modello che apprende quell’informazione condivisa; un modello che, una volta addestrato, può quindi essere utilizzato per generare contenuto a larghezza di banda alta dato solo il contenuto vocale a larghezza di banda ristretta e ciò che il modello ha appreso sulla relazione tra quel contenuto vocale a larghezza di banda ristretta disponibile e il contenuto a larghezza di banda alta mancante. La quantificazione e la rappresentazione di quell’informazione mutua condivisa è dove entra in gioco la teoria dell’informazione. La teoria dell’informazione è lo studio della quantificazione e della rappresentazione dell’informazione in qualsiasi segnale. Quindi la mia ricerca è stata sull’incorporazione della teoria dell’informazione per migliorare l’estensione artificiale della larghezza di banda della voce. Come tale, il mio dottorato è stato più un’attività di ricerca interdisciplinare in cui ho combinato l’elaborazione dei segnali con la teoria dell’informazione e l’apprendimento automatico.

È stato Principal Speech Scientist a Nuance Communications, ora parte di Microsoft (MSFT ), per oltre 16 anni, quali sono stati alcuni dei suoi principali risultati da questa esperienza?

Dal mio punto di vista, il beneficio più importante è stato che ho sempre lavorato sulle tecniche all’avanguardia e sulle tecnologie di apprendimento automatico e le ho applicate a applicazioni reali. Ho avuto l’opportunità di applicare quelle tecniche a prodotti di intelligenza artificiale conversazionale in più domini. Quei domini includevano l’impresa, la sanità, l’automotive e la mobilità, tra gli altri. Alcune delle applicazioni specifiche includevano assistenti virtuali, risposta interattiva vocale, voicemail to text e altri dove la rappresentazione e la trascrizione corrette sono critiche, come nella sanità con le interazioni medico-paziente. Durante quei 16 anni, ho avuto la fortuna di assistere in prima persona e di far parte dell’evoluzione dell’intelligenza artificiale conversazionale, dai giorni del modeling statistico che utilizzava i modelli nascosti di Markov, attraverso la graduale conquista dell’apprendimento profondo, a oggi dove l’apprendimento profondo si è diffuso e domina quasi tutti gli aspetti dell’IA, compresa l’IA generativa e l’IA tradizionale predittiva o discriminatoria. Un altro risultato importante da quell’esperienza è il ruolo cruciale che i dati svolgono, attraverso la quantità e la qualità, come un fattore chiave delle capacità e delle prestazioni dei modelli di IA.

Ha pubblicato una dozzina di articoli, compresi in pubblicazioni di prestigio come IEEE. A suo parere, quale è il lavoro di ricerca più innovativo che ha pubblicato e perché è stato importante?

Il più impattante, per numero di citazioni secondo Google (GOOGL ) Scholar, sarebbe un articolo del 2008 intitolato “Mel-Frequency Cepstral Coefficient-Based Bandwidth Extension of Narrowband Speech”. A livello alto, l’obiettivo di questo articolo è come ricostruire il contenuto vocale utilizzando una rappresentazione delle caratteristiche ampiamente utilizzata nel campo del riconoscimento automatico del parlato (ASR), i coefficienti cepstrali della frequenza di Mel.

Tuttavia, il lavoro più innovativo a mio parere è un articolo con la seconda citazione più alta, un articolo del 2011 intitolato “Memory-Based Approximation of the Gaussian Mixture Model Framework for Bandwidth Extension of Narrowband Speech“. In quel lavoro, ho proposto una nuova tecnica di modeling statistico che incorpora informazioni temporali nel segnale vocale. Il vantaggio di quella tecnica è che consente di modellare informazioni a lungo termine nel segnale vocale con una complessità aggiuntiva minima e in un modo che consente ancora la generazione di segnale vocale a larghezza di banda alta in tempo reale.

Nel giugno 2023 è stato assunto come Vice President of Technology at LXT, cosa lo ha attirato in questa posizione?

Durante la mia esperienza accademica e professionale precedente LXT, ho sempre lavorato direttamente con i dati. In effetti, come ho notato in precedenza, un risultato importante per me dal mio lavoro con la scienza del segnale vocale e l’apprendimento automatico è stato il ruolo cruciale che i dati svolgono nel ciclo di vita del modello di IA. Avere abbastanza dati di qualità nel formato giusto è stato, e continua a essere, vitale per il successo dell’IA basata sull’apprendimento profondo. Come tale, quando sono stato a un punto della mia carriera in cui stavo cercando un ambiente simile a quello di una startup dove potessi imparare, ampliare le mie competenze, nonché sfruttare la mia esperienza con il segnale vocale e l’IA per avere il maggior impatto possibile, ho avuto la fortuna di avere l’opportunità di unirmi a LXT. È stato il posto perfetto. Non solo LXT è un fornitore di dati di IA che cresce a un ritmo impressionante e costante, ma ho anche visto che si trovava al punto giusto in termini di crescita in termini di conoscenze di IA, nonché in termini di dimensioni e diversità dei clienti, e quindi in termini di tipi di dati di IA. Mi sono gustato l’opportunità di unirmi e aiutare nel suo percorso di crescita; avere un grande impatto portando la prospettiva di un utente finale dei dati dopo essere stato un utente scientifico di dati di IA per tutti quegli anni.

Come si svolge la sua giornata tipo a LXT?

La mia giornata tipo inizia con la lettura delle ultime ricerche su un argomento o un altro, che ultimamente si è concentrata sull’IA generativa e su come possiamo applicarla alle esigenze dei nostri clienti. Per fortuna, ho un team eccellente che è molto abile nel creare e personalizzare soluzioni per le esigenze specifiche dei nostri clienti in termini di dati di IA. Quindi, lavoro a stretto contatto con loro per definire quell’agenda.

C’è anche, naturalmente, la pianificazione strategica annuale e trimestrale, e la suddivisione degli obiettivi strategici in obiettivi di squadra individuali e il mantenimento dell’aggiornamento con gli sviluppi lungo quei piani. Per quanto riguarda lo sviluppo delle funzionalità che stiamo facendo, abbiamo generalmente due percorsi tecnologici. Uno è assicurarsi di avere i pezzi giusti al posto giusto per consegnare i migliori risultati sui nostri progetti attuali e nuovi in arrivo. L’altro percorso è migliorare e ampliare le nostre capacità tecnologiche, con un focus sull’incorporazione dell’apprendimento automatico in esse.

Può discutere i tipi di algoritmi di apprendimento automatico su cui lavora a LXT?

Le soluzioni di intelligenza artificiale stanno trasformando le aziende in tutti i settori e noi a LXT siamo onorati di fornire i dati di alta qualità per addestrare gli algoritmi di apprendimento automatico che li alimentano. I nostri clienti stanno lavorando su una vasta gamma di applicazioni, tra cui realtà aumentata e virtuale, visione computerizzata, intelligenza artificiale conversazionale, intelligenza artificiale generativa, rilevanza della ricerca e elaborazione del segnale vocale e del linguaggio naturale (NLP), tra gli altri. Siamo impegnati a potenziare gli algoritmi e le tecnologie di apprendimento automatico del futuro attraverso la generazione e il miglioramento dei dati in ogni lingua, cultura e modalità.

Internamente, stiamo anche incorporando l’apprendimento automatico per migliorare e ottimizzare i nostri processi interni, che vanno dall’automatizzazione della convalida della qualità dei dati all’abilitazione di un modello di etichettatura umana nella modalità di tutti i dati che lavoriamo.

L’elaborazione del segnale vocale e audio sta raggiungendo la perfezione quando si tratta dell’inglese e in particolare degli uomini bianchi. Quanto tempo pensa che ci vorrà perché sia un campo di gioco uniforme in tutte le lingue, generi ed etnie?

Questa è una domanda complessa e dipende da una serie di fattori, tra cui quelli economici, politici, sociali e tecnologici, tra gli altri. Ma ciò che è chiaro è che la prevalenza della lingua inglese è ciò che ha portato l’IA a dove siamo ora. Quindi raggiungere un punto in cui è un campo di gioco uniforme davvero dipende dalla velocità con cui la rappresentazione dei dati di diverse etnie e popolazioni cresce online, e il ritmo con cui cresce è ciò che determinerà quando ci arriveremo.

Tuttavia, LXT e società simili possono avere un ruolo importante nel guidare verso un campo di gioco più uniforme. Finché i dati per le lingue, i generi e le etnie meno rappresentate sono difficili da accedere o semplicemente non disponibili, quel cambiamento arriverà più lentamente. Ma stiamo cercando di fare la nostra parte. Con una copertura per oltre 1.000 lingue locali e un’esperienza in 145 paesi, LXT aiuta a rendere possibile l’accesso a più dati linguistici.

Qual è la sua visione su come LXT può accelerare gli sforzi di intelligenza artificiale per i diversi clienti?

Il nostro obiettivo a LXT è fornire le soluzioni di dati che consentono lo sviluppo efficiente, preciso e veloce dell’IA. Attraverso i nostri 12 anni di esperienza nello spazio dei dati di IA, non solo abbiamo accumulato una vasta conoscenza delle esigenze dei clienti in termini di tutti gli aspetti relativi ai dati, ma abbiamo anche continuamente affinato i nostri processi per consegnare i dati di alta qualità al ritmo più veloce e ai migliori punti di prezzo. Di conseguenza, come risultato del nostro impegno costante per fornire ai nostri clienti la combinazione ottimale di qualità dei dati di IA, efficienza e prezzo, siamo diventati un partner di dati di IA affidabile, come evidenziato dai nostri clienti che continuano a tornare a LXT per le loro esigenze di dati di IA in continua crescita ed evoluzione. La mia visione è di consolidare, migliorare e ampliare quella “modus operandi” di LXT a tutte le modalità di dati su cui lavoriamo, nonché a tutti i tipi di sviluppo di IA che serviamo ora, compresa l’IA generativa. Il raggiungimento di questo obiettivo ruota attorno all’ampliamento strategico delle nostre capacità di apprendimento automatico e di scienza dei dati, sia in termini di tecnologia che di risorse.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare LXT.