Anastassia Loukina, Senior Research Scientist (NLP/Speech) at ETS – Intervista

Anastassia Loukina è una ricercatrice presso Educational Testing Services (ETS), dove lavora sul punteggio automatizzato del discorso.

I suoi interessi di ricerca coprono un’ampia gamma di argomenti. Ha lavorato, tra le altre cose, sui dialetti greci moderni, sul ritmo del discorso e sull’analisi automatica della prosodia.

Il suo lavoro attuale si concentra sull’integrazione di strumenti e metodi delle tecnologie del discorso e dell’apprendimento automatico con le conoscenze degli studi sulla percezione e produzione del discorso al fine di costruire modelli di punteggio automatizzato per la valutazione del discorso non nativo.

È evidente che lei ha una grande passione per le lingue, cosa l’ha introdotta a questa passione?

Sono cresciuta parlando russo a San Pietroburgo, in Russia, e ricordo di essere stata affascinata quando ho scoperto per la prima volta la lingua inglese: per alcune parole, c’era un modello che mi permetteva di “convertire” una parola russa in una parola inglese. E poi mi sono imbattuta in una parola dove “il mio” modello non funzionava e ho cercato di creare una regola migliore, più generale. A quel tempo, naturalmente, non sapevo nulla di tipologia linguistica o della differenza tra cognati e prestiti linguistici, ma questo ha alimentato la mia curiosità e il mio desiderio di imparare altre lingue. Questa passione per l’identificazione di modelli nel modo in cui le persone parlano e per testarli sui dati è ciò che mi ha portato alla fonetica, all’apprendimento automatico e al lavoro che sto facendo adesso.

Prima del suo attuale lavoro nel campo dell’elaborazione del linguaggio naturale (NLP), lei lavorava come traduttrice tra inglese-russo e greco moderno-russo. Crede che il suo lavoro come traduttrice le abbia fornito ulteriori conoscenze sulle sfumature e sui problemi associati all’NLP?

La mia identità principale è sempre stata quella di ricercatrice. È vero che ho iniziato la mia carriera accademica come studiosa di greco moderno, o più specificamente, di fonetica del greco moderno. Per il mio dottorato, ho esplorato le differenze fonetiche tra diversi dialetti del greco moderno e come queste differenze potessero essere collegate alla storia della regione. Ho sostenuto che alcune delle differenze tra i dialetti potrebbero essere emerse come risultato del contatto linguistico tra ciascun dialetto e altre lingue parlate nella regione. Sebbene non lavori più sul greco moderno, i cambiamenti che si verificano quando due lingue entrano in contatto l’una con l’altra sono ancora al centro del mio lavoro: solo che adesso mi concentro su ciò che accade quando un individuo impara una nuova lingua e su come la tecnologia possa aiutare a farlo nel modo più efficiente.

Quando si tratta della lingua inglese, ci sono una miriade di accenti. Come progetta un sistema NLP in grado di comprendere tutti i diversi dialetti? È semplicemente una questione di alimentare l’algoritmo di apprendimento profondo con ulteriori grandi dati da ciascun tipo di accento?

Ci sono diversi approcci che sono stati utilizzati in passato per affrontare questo problema. Oltre a costruire un unico modello che copra tutti gli accenti, potreste identificare prima l’accento e poi utilizzare un modello personalizzato per quell’accento, o potreste provare più modelli contemporaneamente e scegliere quello che funziona meglio. In ultima analisi, per ottenere una buona prestazione su una vasta gamma di accenti, è necessario disporre di dati di addestramento e valutazione rappresentativi dei molti accenti che un sistema potrebbe incontrare.

Presso ETS, conduciamo valutazioni approfondite per assicurarci che i punteggi prodotti dai nostri sistemi automatizzati riflettano le differenze nelle abilità effettive che desideriamo misurare e non siano influenzati dalle caratteristiche demografiche dell’apprendente, come il suo genere, la sua razza o il suo paese di origine.

I bambini e/o gli apprendenti di lingue spesso hanno difficoltà con la pronuncia perfetta. Come supera il problema della pronuncia?

Non esiste una “pronuncia perfetta”: il modo in cui parliamo è strettamente legato alla nostra identità e, in quanto sviluppatori e ricercatori, il nostro obiettivo è assicurarci che i nostri sistemi siano equi per tutti gli utenti.

Both i bambini e gli apprendenti di lingue presentano sfide particolari per i sistemi basati sul discorso. Ad esempio, le voci dei bambini non solo hanno una qualità acustica molto diversa, ma i bambini parlano anche in modo diverso dagli adulti e c’è molta variabilità tra i bambini. Di conseguenza, lo sviluppo di un sistema di riconoscimento del discorso per i bambini è di solito un compito separato che richiede una grande quantità di dati di discorso dei bambini.

Allo stesso modo, sebbene ci siano molte somiglianze tra gli apprendenti di lingue provenienti dallo stesso background, gli apprendenti possono variare ampiamente nell’uso di modelli fonetici, grammaticali e lessicali, rendendo il riconoscimento del discorso un compito particolarmente impegnativo. Quando costruiamo i nostri sistemi per la valutazione della competenza linguistica inglese, utilizziamo i dati di apprendenti di lingue con una vasta gamma di livelli di competenza e lingue native.

Nel gennaio 2018, ha pubblicato “Utilizzo di risposte esemplari per l’addestramento e la valutazione di sistemi di punteggio del discorso automatizzato”’. Quali sono alcuni dei principali progressi fondamentali che dovrebbero essere compresi da questo articolo?

In questo articolo, abbiamo esaminato come la qualità dei dati di addestramento e testing influisca sulla prestazione dei sistemi di punteggio automatizzato.

I sistemi di punteggio automatizzato, come molti altri sistemi automatizzati, sono addestrati su dati etichettati per gli esseri umani. In questo caso, si tratta di punteggi assegnati da valutatori umani. I valutatori umani non sempre concordano nei punteggi che assegnano. Ci sono diverse strategie utilizzate nella valutazione per assicurarsi che il punteggio finale segnalato all’apprendente rimanga altamente affidabile nonostante la variazione nell’accordo umano a livello di singola domanda. Tuttavia, poiché i motori di punteggio automatizzato sono solitamente addestrati utilizzando punteggi a livello di risposta, eventuali incoerenze in tali punteggi a causa della varietà di motivi sopra menzionati possono influire negativamente sul sistema.

Siamo stati in grado di accedere a una grande quantità di dati con diversi livelli di accordo tra valutatori umani e di confrontare la prestazione del sistema in condizioni diverse. Quello che abbiamo trovato è che addestrare il sistema su dati perfetti non migliora effettivamente la sua prestazione rispetto a un sistema addestrato su dati con etichette più rumorose. Le etichette perfette offrono un vantaggio solo quando la dimensione totale dell’insieme di addestramento è molto bassa. D’altra parte, la qualità delle etichette umane ha avuto un enorme impatto sulla valutazione del sistema: le stime della prestazione possono essere fino al 30% più elevate se si valuta su etichette pulite.

Il messaggio da ricavare è che se si dispone di molti dati e risorse per pulire le etichette di riferimento, potrebbe essere più intelligente pulire le etichette nel set di valutazione piuttosto che le etichette nel set di addestramento. E questo risultato si applica non solo al punteggio automatizzato, ma anche a molte altre aree.

Potrebbe descrivere alcuni dei suoi lavori presso ETS?

Lavoro su un sistema di punteggio del discorso che elabora il linguaggio parlato in un contesto educativo. Uno di questi sistemi è SpeechRater®, che utilizza tecnologie avanzate di riconoscimento e analisi del discorso per valutare e fornire feedback dettagliato sulla competenza linguistica inglese parlata. SpeechRater è un’applicazione molto matura che esiste da oltre 10 anni. Costruisco modelli di punteggio per diverse applicazioni e lavoro con altri colleghi in ETS per assicurarmi che i nostri punteggi siano affidabili, equi e validi per tutti gli apprendenti. Lavoriamo anche con altri gruppi in ETS per monitorare costantemente la prestazione del sistema.

Oltre a mantenere e migliorare i nostri sistemi operativi, sviluppiamo nuovi sistemi. Uno dei progetti che mi entusiasma particolarmente è RelayReader™: un’applicazione progettata per aiutare i lettori in sviluppo a guadagnare fluidità e fiducia. Quando si legge con RelayReader, l’utente si alterna ascoltando e leggendo ad alta voce un libro. La sua lettura viene quindi inviata ai nostri server per fornire feedback. In termini di elaborazione del discorso, la principale sfida di questa applicazione è come misurare l’apprendimento e fornire feedback azionabili e affidabili in modo non invasivo, senza interferire con l’engagement dell’utente con il libro.

Qual è la sua parte preferita del lavoro con ETS?

Quello che mi ha inizialmente attirato verso ETS è che è un’organizzazione no-profit con una missione di avanzare la qualità dell’istruzione per tutte le persone in tutto il mondo. Sebbene sia naturalmente fantastico quando la ricerca porta a un prodotto, apprezzo l’opportunità di lavorare su progetti che sono più fondamentali per natura, ma che aiuteranno lo sviluppo di prodotti in futuro. Apprezzo anche il fatto che ETS prende molto seriamente questioni come la privacy dei dati e l’equità e che tutti i nostri sistemi subiscono una valutazione molto rigorosa prima di essere distribuiti operativamente.

Ma ciò che rende ETS un ottimo posto in cui lavorare è la sua gente. Abbiamo una comunità incredibile di scienziati, ingegneri e sviluppatori provenienti da molti background diversi, il che consente molte collaborazioni interessanti.

Crede che un’intelligenza artificiale possa mai superare il test di Turing?

Dal 1950, ci sono state molte interpretazioni di come il test di Turing dovrebbe essere eseguito nella pratica. Probabilmente c’è un accordo generale sul fatto che il test di Turing non sia stato superato in senso filosofico, ovvero non esiste un sistema di intelligenza artificiale che pensi come un essere umano. Tuttavia, questo è diventato un argomento molto di nicchia. La maggior parte delle persone non costruisce sistemi per superare il test di Turing: vogliamo che raggiungano obiettivi specifici.

Per alcuni di questi compiti, ad esempio il riconoscimento del discorso o la comprensione del linguaggio naturale, la prestazione umana potrebbe essere giustamente considerata lo standard di riferimento. Tuttavia, ci sono anche molti altri compiti in cui ci aspettiamo che un sistema automatizzato faccia molto meglio degli esseri umani o in cui un sistema automatizzato e un esperto umano devono lavorare insieme per ottenere il miglior risultato. Ad esempio, in un contesto educativo, non vogliamo che un sistema di intelligenza artificiale sostituisca un insegnante: vogliamo che aiuti gli insegnanti, sia identificando modelli nelle traiettorie di apprendimento degli studenti, aiutando con la valutazione o trovando i migliori materiali didattici.

C’è qualcos’altro che lei vorrebbe condividere su ETS o NLP?

Molte persone conoscono ETS per le sue valutazioni e sistemi di punteggio automatizzato. Ma facciamo molto di più. Abbiamo molte capacità, dalla biometria vocale ad applicazioni di dialogo parlato, e stiamo sempre cercando nuovi modi per integrare la tecnologia nell’apprendimento. Ora che molti studenti stanno imparando da casa, abbiamo aperto alcune delle nostre capacità di ricerca al pubblico in generale.

Grazie per l’intervista e per aver offerto questo insight sugli ultimi progressi nel campo dell’NLP e del riconoscimento del discorso. Chiunque desideri saperne di più può visitare Educational Testing Services.