Il Futuro della Valutazione della Pronuncia – Leader di Pensiero

In tutto il mondo, il numero di apprendenti della lingua inglese continua a crescere. Le istituzioni educative e i datori di lavoro devono essere in grado di valutare la competenza linguistica inglese degli apprendenti della lingua – in particolare, la loro capacità di parlare, poiché la lingua parlata rimane tra le capacità linguistiche più essenziali. La sfida, sia per gli sviluppatori di valutazioni che per gli utenti finali, è trovare un modo per farlo in modo accurato, veloce e finanziariamente sostenibile. Come parte di questa sfida, la valutazione di queste valutazioni comporta un insieme di fattori propri, soprattutto quando consideriamo le diverse aree (discorso, scrittura, ecc.) che vengono testate. Con la domanda di competenze linguistiche in inglese in tutto il mondo che dovrebbe aumentare, cosa dovrebbe essere il futuro della valutazione della pronuncia per soddisfare queste esigenze?

La risposta a questa domanda, in parte, si trova nell’evoluzione della valutazione della pronuncia fino ad oggi. La valutazione delle risposte costruite parlare è stata storicamente effettuata utilizzando valutatori umani. Tuttavia, questo processo tende ad essere costoso e lento e presenta sfide aggiuntive, tra cui la scalabilità e le carenze dei valutatori umani stessi (ad esempio, la soggettività o il pregiudizio del valutatore). Come discusso nel nostro libro Automated Speaking Assessment: Using Language Technologies to Score Spontaneous Speech, per affrontare queste sfide, un numero crescente di valutazioni utilizza ora la tecnologia di valutazione automatica della pronuncia come unica fonte di valutazione o in combinazione con valutatori umani. Prima di distribuire motori di valutazione automatica, tuttavia, le loro prestazioni devono essere valutate a fondo, in particolare in relazione all’affidabilità del punteggio, alla validità (il sistema misura ciò che dovrebbe?) e all’equità (il sistema non deve introdurre pregiudizi legati a sottogruppi di popolazione come il genere o la lingua madre).

Dal 2006, il motore di valutazione della pronuncia di ETS, SpeechRater®, è stato operazionalizzato nella valutazione TOEFL® Practice Online (TPO) (utilizzata da potenziali partecipanti per prepararsi alla valutazione TOEFL iBT®) e, dal 2019, SpeechRater è stato utilizzato anche, insieme a valutatori umani, per la valutazione della sezione di parlato della valutazione TOEFL iBT. Il motore valuta un’ampia gamma di competenze di parlato per discorsi spontanei non madrelingua, tra cui pronuncia e fluidità, gamma lessicale e grammatica, e capacità di parlato di livello superiore legate alla coerenza e alla progressione delle idee. Queste caratteristiche vengono calcolate utilizzando algoritmi di elaborazione del linguaggio naturale (NLP) e di elaborazione del discorso. Un modello statistico viene quindi applicato a queste caratteristiche per assegnare un punteggio finale alla risposta di un partecipante.

Sebbene questo modello sia stato addestrato su dati precedentemente osservati valutati da valutatori umani, viene anche esaminato da esperti di contenuto per massimizzare la sua validità. Se una risposta viene ritenuta non valutabile a causa della qualità audio o di altri problemi, il motore può segnalarla per un’ulteriore revisione per evitare di generare un punteggio potenzialmente non affidabile o non valido. I valutatori umani sono sempre coinvolti nella valutazione delle risposte parlare nella valutazione TOEFL iBT ad alto rischio.

Poiché i valutatori umani e SpeechRater sono attualmente utilizzati insieme per valutare le risposte dei partecipanti nelle valutazioni di parlato ad alto rischio, entrambi svolgono un ruolo in ciò che il futuro della valutazione della competenza linguistica inglese può essere. I valutatori umani hanno la capacità di comprendere il contenuto e l’organizzazione del discorso di una risposta parlata in modo approfondito. Al contrario, i motori di valutazione automatica della pronuncia possono misurare con maggiore precisione certi aspetti dettagliati del discorso, come la fluidità o la pronuncia, mostrano una coerenza perfetta nel tempo, possono ridurre il tempo di valutazione complessivo e il costo, e sono più facili da scalare per supportare grandi volumi di test. Quando i valutatori umani e i sistemi di valutazione automatica della pronuncia sono combinati, il sistema risultante può trarre vantaggio dalle forze di ciascun approccio di valutazione.

Al fine di evolvere continuamente i motori di valutazione automatica della pronuncia, la ricerca e lo sviluppo devono concentrarsi sugli aspetti seguenti, tra gli altri:

• Costruire sistemi di riconoscimento automatico del discorso con maggiore precisione: poiché la maggior parte delle caratteristiche di un sistema di valutazione della pronuncia dipende direttamente o indirettamente da questo componente del sistema che converte il discorso del partecipante in una trascrizione testuale, un riconoscimento automatico del discorso altamente preciso è essenziale per ottenere caratteristiche valide;
• Esplorazione di nuovi modi per combinare punteggi umani e automatici: al fine di trarre pieno vantaggio dalle rispettive forze dei punteggi dei valutatori umani e dei motori di valutazione automatica, sono necessari più modi per combinare queste prove;
• Considerazione delle anomalie nelle risposte, sia tecniche che comportamentali: filtri ad alte prestazioni in grado di segnalare tali risposte ed escluderle dalla valutazione automatica sono necessari per aiutare a garantire la validità e l’affidabilità dei punteggi di valutazione risultanti;
• Valutazione del discorso spontaneo o conversazionale che si verifica più spesso nella vita quotidiana: sebbene la valutazione automatica di tale discorso interattivo sia un obiettivo importante, questi elementi presentano numerose sfide di valutazione, tra cui la valutazione complessiva e il punteggio;
• Esplorazione delle tecnologie di apprendimento profondo per la valutazione automatica della pronuncia: questo paradigma relativamente recente nell’apprendimento automatico ha prodotto aumenti sostanziali delle prestazioni in molti compiti di intelligenza artificiale (ad esempio, riconoscimento automatico del discorso, riconoscimento delle immagini) negli ultimi anni e, quindi, è probabile che la valutazione automatica possa anche trarre vantaggio dall’utilizzo di questa tecnologia. Tuttavia, poiché la maggior parte di questi sistemi può essere considerata un approccio “black-box”, l’attenzione all’interpretazione del punteggio risultante sarà importante per mantenere un certo livello di trasparenza.

Per soddisfare una popolazione di apprendenti della lingua inglese in crescita e in evoluzione, i sistemi di valutazione della pronuncia di prossima generazione devono ampliare l’automazione e l’ambito di ciò che sono in grado di misurare, consentendo la coerenza e la scalabilità. Ciò non significa che l’elemento umano verrà rimosso, soprattutto per le valutazioni ad alto rischio. I valutatori umani saranno probabilmente ancora essenziali per catturare certi aspetti del discorso che saranno difficili da valutare con precisione dai sistemi di valutazione automatica per un po’ di tempo, tra cui gli aspetti dettagliati del contenuto parlato e del discorso. L’utilizzo di sistemi di valutazione automatica della pronuncia in isolamento per valutazioni consequenziali comporta anche il rischio di non identificare risposte problematiche dei partecipanti – ad esempio, risposte fuori tema o plagiate – e, di conseguenza, può portare a una ridotta validità e affidabilità. L’utilizzo di valutatori umani e sistemi di valutazione automatica in combinazione può essere il modo migliore per valutare il discorso nelle valutazioni ad alto rischio per il prossimo futuro, soprattutto se si valuta il discorso spontaneo o conversazionale.

Scritto da: Keelan Evanini, Direttore della Ricerca sul Discorso, ETS & Klaus Zechner, Managing Senior Research Scientist, Discorso, ETS

ETS lavora con istituzioni educative, aziende e governi per condurre ricerche e sviluppare programmi di valutazione che forniscono informazioni significative che possono essere utilizzate per valutare persone e programmi. ETS sviluppa, amministra e valuta più di 50 milioni di test all’anno in oltre 180 paesi e più di 9.000 sedi in tutto il mondo. Progettiamo le nostre valutazioni con insight di livello industriale, ricerca rigorosa e un impegno incondizionato per la qualità in modo che possiamo aiutare le comunità educative e lavorative a prendere decisioni informate. Per saperne di più, visita ETS.