Nitin Madnani, vanhempi tutkimustieteilijä ETS: ssä – Haastattelusarja

Nitin Madnani on vanhempi tutkimustieteilijä luonnollisen kielen prosessoinnin (NLP) tutkimusryhmässä Educational Testing Servicessä (ETS). ETS perustettiin vuonna 1947, ja se on maailman suurin yksityinen voittoa tavoittelematon koulutuksen arviointi- ja testausorganisaatio.

Voitko aloittaa selittämällä, mikä on ETS: n tehtävä?

ETS: n tehtävä on edistää laadukasta ja oikeudenmukaisuutta koulutuksessa kaikille oppijoille maailmanlaajuisesti. Tämä tehtävä on perustana tuotteille, palveluille, tutkimukselle ja kehitystyölle, joiden tavoitteena on edistää oppimista, tukea koulutusta, ammattikehitystä ja mitata tietoja ja taitoja kaikille.

Uskomme, että kuka tahansa, missä tahansa, voi tehdä eroa elämäänsä oppimisen kautta, ja ETS: n tutkimus, arviointi, mittaus ja politiikka voivat pelata tärkeää roolia oppimisen mahdollistamisessa.

Mikä NLP: ssä saa sinut niin intohimoiseksi?

Kaikki ihmiskielet ovat niin kauniisti monimutkaisia ja sekavia. Ne mahdollistavat meidän ilmaista tunteita puheessamme ja jopa kirjoituksissamme, ja ne kehittyvät ajan myötä. Toisaalta, tietokone on niin määrätty ja kliininen syötteidensä prosessoinnissa. Luonnollisen kielen prosessointi (NLP) on tekoälyaluetta, joka yrittää saada tämän ei-inhimillisen laitteen ymmärtämään ihmiskielen kauneuden monimutkaisuutta yhdistämällä tietokonetieteen, kielitieteen ja tilastotieteen menetelmiä. Miten et voisi olla tästä lumoutunut?

ETS: n NLP- ja puheentutkijat ovat kehittäneet äskettäin RSMToolin. Voitko kertoa, mitä RSMTool tekee?

Kuten olemme nähneet viime vuosina, kaikki koneoppimismallit voivat potentiaalisesti osoittaa harhaa riippumatta siitä, mihin alaan ne sovelletaan, koulutus mukaan lukien. Automaattiset arviointijärjestelmät, jotka käytetään oppilaiden puheen tai esseiden arviointiin, käyttävät usein koneoppimismalleja. On siis mahdollista, että tällaiset järjestelmät käyttäytyvät harhaan.

RSMTool on avoimen lähdekoodin työkalu, jonka minun kollegani Anastassia Loukina (joka on aiemmin haastateltu Unite.AI: ssä) ja minä olemme kehittäneet ETS: ssä auttamaan varmistamaan, että kaikki järjestelmälliset, haitalliset harhat automaattisissa arviointijärjestelmissä voidaan tunnistaa mahdollisimman aikaisessa vaiheessa, toivon mukaan jo ennen kuin järjestelmät otetaan käyttöön. RSMTool on suunniteltu tarjoamaan kattavan arvion AI-pistemallien suorituskyvystä, mukaan lukien standardimittaukset ennusteen tarkkuudesta, mallin oikeudenmukaisuudesta ja mittateorian perusteella, jotta kehittäjät voivat tunnistaa mahdolliset harhat tai muut ongelmat järjestelmissään.

Mistä RSMToolin nimi tulee?

Koulutuksen arviointikentässä henkilö, joka antaa arvosanan (tai “arvioi”) esseelle, kutsutaan usein “arvioijaksi”. On sekä ihmisenettäjiä että automaattisia arvioijia. RSMTool – lyhenne sanoista Rater Scoring Modeling Tool – on suunniteltu auttamaan automaattisten arvioijoiden pisteytysmallien kehittämisessä ja arvioinnissa.

Miten tämä työkalu voi auttaa kehittäjiä tunnistamaan mahdolliset harhat tai muut ongelmat AI-pistemallissa?

Viimeisten viidenkymmenen vuoden aikana koulutuksen mittausalan tutkijat – mukaan lukien monia ETS: n kollegoita – ovat suorittaneet arvokkaita tutkimuksia siitä, mitkä tekijät tekevät automaattisesta arvioinnista oikeudenmukaisen. He ovat kehittäneet monia tilastollisia ja psykometrisiä analyysejä, joilla voidaan laskea systemaattisen harhan osoittimia. Kuitenkin, koska psykometriset ja NLP-yhteisöt harvoin vuorovaikuttavat, on vähän mahdollisuuksia ideoiden vaihtoon. Seurauksena on, että NLP-tutkijat ja kehittäjät, jotka rakentavat itse automaattisia arviointijärjestelmiä – erityisesti yksittäiset tutkijat ja pienet yritykset – eivät ole helppoa pääsyä psykometrisiin analyyseihin, joita heidän tulisi käyttää järjestelmiensä harhan tarkastamiseen. RSMTool yrittää ratkaista tämän ongelman tarjoamalla laajan ja monipuolisen joukon psykometrisiä analyysejä yksissä, helppokäyttöisissä Python-pakkauksissa, jotka voidaan helposti sisällyttää mihin tahansa NLP-tutkimukseen tai toimintalinjaan.

… (jatkuu)