Nitin Madnani, Senior Research Scientist presso ETS – Intervista

Nitin Madnani è un Senior Research Scientist presso il gruppo di ricerca di Natural Language Processing (NLP) dell’Educational Testing Service (ETS). L’ETS è stato fondato nel 1947 e rappresenta la più grande organizzazione non-profit privata di testing e valutazione educativa a livello mondiale.

Potresti iniziare spiegando qual è la missione dell’ETS?

La missione dell’ETS è quella di promuovere la qualità e l’equità nell’istruzione per tutti gli studenti di tutto il mondo. Questa missione è alla base dei nostri prodotti, servizi, ricerche e sforzi di sviluppo, con l’obiettivo di promuovere l’apprendimento, sostenere l’istruzione, lo sviluppo professionale e misurare le conoscenze e le abilità di tutti.

Crediamo che chiunque, ovunque, possa fare la differenza nella propria vita attraverso l’apprendimento e il lavoro di ricerca, valutazione e politica dell’ETS può svolgere un ruolo importante nel rendere possibile questo apprendimento.

Cosa c’è di così appassionante nell’NLP?

Tutte le lingue umane sono così belle e complesse. Consentono di esprimere una gamma di emozioni nel parlato e anche nella scrittura e si evolvono con il tempo. D’altra parte, un computer è così deterministico e clinico nell’elaborazione dei suoi input. L’NLP è un’area dell’intelligenza artificiale che cerca di far comprendere a questo dispositivo non-umano le belle complessità della lingua umana combinando tecniche di informatica, linguistica e statistica. Come potresti non trovare questo affascinante?

Gli scienziati dell’ETS NLP e del discorso hanno recentemente sviluppato RSMTool. Potresti condividere con noi cosa fa RSMTool?

Come abbiamo visto negli ultimi anni, tutti i modelli di apprendimento automatico possono esibire un comportamento distorto indipendentemente dal campo in cui vengono applicati, l’istruzione non fa eccezione. I sistemi di valutazione automatica utilizzati per assegnare punteggi o voti agli studenti per discorsi o saggi in test o in classe spesso utilizzano modelli di apprendimento automatico. Pertanto, è assolutamente possibile che tali sistemi si comportino in modo distorto. Un simile pregiudizio può avere gravi conseguenze, soprattutto se i punteggi di tali sistemi vengono utilizzati per prendere decisioni importanti.

RSMTool è uno strumento open-source che il mio collega Anastassia Loukina (precedentemente presentato su Unite.AI) e io abbiamo sviluppato presso l’ETS per aiutare a garantire che eventuali pregiudizi sistematici e dannosi nei sistemi di valutazione automatica vengano identificati il più presto possibile, sperabilmente anche prima che i sistemi vengano distribuiti nel mondo reale. RSMTool è progettato per fornire una valutazione completa dei motori di punteggio AI, inclusi non solo metriche standard di accuratezza della previsione, ma anche misure di equità del modello e metriche basate sulla teoria del test, aiutando gli sviluppatori di tali motori a identificare possibili pregiudizi o altri problemi nei loro sistemi.

Da dove deriva il nome RSMTool?

Nel campo della valutazione educativa, qualcuno che assegna un punteggio a (o “valuta”) un saggio è spesso chiamato “valutatore”. Ci sono valutatori umani e valutatori automatici. RSMTool – abbreviazione di Rater Scoring Modeling Tool – è progettato per aiutare a costruire (e valutare) i modelli di punteggio utilizzati dai valutatori automatici.

Come può questo strumento aiutare gli sviluppatori a identificare possibili pregiudizi o altri problemi nei loro motori di punteggio AI?

Negli ultimi cinque decenni, gli scienziati della misurazione educativa – compresi molti dei nostri colleghi presso l’ETS – hanno condotto ricerche preziose su cosa rende la valutazione automatica (e umana) equa. Nel corso di questa ricerca, hanno sviluppato molte analisi statistiche e psicometriche per calcolare indicatori di pregiudizio sistematico. Tuttavia, poiché le comunità di NLP e psicometria raramente interagiscono, c’è poca opportunità di scambio di idee. Il risultato è che i ricercatori e gli sviluppatori di NLP che costruiscono sistemi di valutazione automatica – in particolare i ricercatori individuali e quelli in piccole aziende – non hanno un facile accesso alle analisi psicometriche che dovrebbero utilizzare per verificare i loro sistemi per pregiudizi. RSMTool tenta di risolvere questo problema fornendo un’ampia e diversificata serie di analisi psicometriche in un unico pacchetto Python facile da usare che può essere facilmente incorporato da qualsiasi ricercatore di NLP nella sua pipeline di ricerca o operativa.