Anastassia Loukina, vanhempi tutkimustieteilijä (NLP/Speech) ETS: ssä – Haastattelusarja

Anastassia Loukina on tutkimustieteilijä Educational Testing Services (ETS): ssä, jossa hän työskentelee äänen automaattisessa arvioinnissa.

Hänen tutkimuskiinnostuksensa kattaa laajan aihealueen. Hän on työskennellyt muun muassa modernin kreikan murteista, puheen rytmiikasta ja automaattisesta prosodianalyysistä.

Hänen nykyinen työnsä keskittyy työkalujen ja menetelmien yhdistämiseen puheen teknologioista ja koneoppimisesta, jotta voidaan luoda automaattisia arviointimalleja, joilla arvioidaan ei-äidinkielen puhujien puhetta.

Millä tavoin sinut vietiin kiinnostamaan kielistä?

Minä kasvoin puhuen venäjää Pietarissa, Venäjällä, ja muistan, kuinka olin kiehtonut, kun minut esiteltiin englannin kielelle: joillekin sanoille oli olemassa kaava, joka mahdollisti venäjän sanan “muuttamisen” englannin sanaksi. Ja sitten törmäsin sanaan, jossa “omassa” kaavassani oli virhe, ja yritin kehittää paremman, yleisemmän säännön. Tuolloin en tietysti tiennyt mitään kielityypologiasta tai eroista kognatiivien ja lainasanojen välillä, mutta tämä herätti uteliaisuuteni ja haluni oppia enemmän kieliä. Tämä intohimo löytää kaavoja siinä, miten ihmiset puhuvat, ja testata niitä aineistossa, on se, mikä vei minut fonetiikkaan, koneoppimiseen ja työhön, jota teen nyt.

Ennen nykyistä työtäsi luonnollisen kielen prosessoinnissa (NLP) olit kääntäjä englannin ja venäjän sekä modernin kreikan ja venäjän välillä. Uskotko, että työskentely kääntäjänä on antanut sinulle lisää näkemystä NLP: n yksityiskohtiin ja ongelmien ratkaisemiseen?

Minun ensisijainen identiteettini on aina ollut tutkijan. On totta, että aloitin akateemisen urani modernin kreikan tutkijana, tai tarkemmin sanottuna, modernin kreikan fonetiikan tutkijana. Väitöskirjatyössäni tutkin fonetiikkaa eri modernin kreikan murteiden välillä ja sitä, miten näiden murteiden väliset erot voivat johtua kielellisestä kosketuksesta alueella puhuttujen muiden kielten kanssa. Vaikka en enää työskentele modernin kreikan parissa, kielenmuutokset, jotka tapahtuvat, kun kaksi kieltä tulee kosketuksiin toistensa kanssa, ovat edelleen työni ytimessä: nyt kuitenkin keskityn siihen, mitä tapahtuu, kun yksilö oppii uuden kielen ja miten teknologia voi auttaa tässä tehokkaimmin.

Kun puhutaan englannin kielestä, on olemassa lukuisia aksentteja. Miten suunnittelet NLP: n, joka ymmärtää kaikki eri murteet? Onko se yksinkertaista syöttää syväoppimisalgoritmiin lisää suurta dataa kustakin aksentista?

On olemassa useita lähestymistapoja, joita on käytetty aiemmin tämän ongelman ratkaisemiseen. Lisäksi yhden suuren mallin rakentamisesta, joka kattaa kaikki aksentit, voit ensin tunnistaa aksentin ja käyttää sille sopivaa mallia, tai voit yrittää useita malleja samanaikaisesti ja valita sen, joka toimii parhaiten. Lopulta hyvän suorituskyvyn saavuttamiseksi laajalla aksentivalikoimalla tarvitset koulutus- ja arviointidataa, joka edustaa monia aksentteja, joita järjestelmä voi kohtaamiseen.

ETS: ssä suoritamme kattavia arviointeja varmistamaan, että automaattisten järjestelmien tuottamat arvosanat heijastavat todellisia taitoja, joita haluamme mitata, eivätkä ne ole vaikuttuneita oppijan demografisista ominaispiirteistä, kuten sukupuolesta, rodusta tai maasta.

Lapset ja / tai kielten opiskelijat usein kohtaavat vaikeuksia täydellisen ääntämisen kanssa. Miten voit ratkaista ääntämisen ongelman?

Ei ole olemassa mitään sellaista kuin täydellinen ääntäminen: puhumisen tapa on kiinteästi kytköksissä identiteettiimme, ja kehittäjienä ja tutkijoina tavoitteemme on varmistaa, että järjestelmämme ovat reiluja kaikille käyttäjille.

Molemmat kielten opiskelijat ja lapset esittävät erityisiä haasteita puheen perusteella. Esimerkiksi lasten äänet ovat akustisesti erilaisia, ja lapset puhuvat myös eri tavoin kuin aikuiset, ja lasten välillä on paljon vaihtelua. Tämän vuoksi automaattisen puheentunnistuksen kehittäminen lapsille on yleensä erillinen tehtävä, joka vaatii suuren määrän lasten puhetta.

Vastaavasti vaikka on olemassa monia yhtäläisyyksiä kielten opiskelijoiden välillä samasta taustasta, opiskelijat voivat vaihdella laajasti fonetiikkaa, kielioppi- ja sanastopatternien käytössä, mikä tekee puheentunnistuksesta erityisen haasteellisen tehtävän. Kun rakennamme järjestelmiä englannin kielen taitojen arviointiin, käytämme dataa kielten opiskelijoilta, joilla on laaja valikoima taitoja ja äidinkieliä.

Maaliskuussa 2018 julkaistuasi artikkelin ’Käyttäminen esimerkki-vastauksia koulutus- ja arviointi- automaattista puheen arviointi-järjestelmiä’. Mitkä ovat tärkeimmät läpimurrot perusteet, jotka tulisi ymmärtää tästä artikkelista?

Tässä artikkelissa tarkastelimme, miten koulutus- ja testausaineiston laatu vaikuttaa automaattisten arviointijärjestelmien suorituskykyyn.

Automaattiset arviointijärjestelmät, kuten useat muutkin automaattiset järjestelmät, koulutetaan aineistolla, joka on merkitty ihmisten toimesta. Tässä tapauksessa nämä ovat ihmisten antamat arvosanat. Ihmiset eivät aina ole yhtä mieltä arvosanoista, jotka he antavat. On olemassa useita eri strategioita, joita käytetään arviointitilanteissa varmistamaan, että lopullinen arvosana, joka ilmoitetaan testaajalle, on erittäin luotettava, vaikka onkin vaihtelua ihmisten välillä yksittäisen kysymyksen tasolla. Kuitenkin, koska automaattiset arviointimoottorit koulutetaan yleensä käyttäen vastauskohtaisia arvosanoja, näiden arvosanojen epäjohdonmukaisuus johtuu useista syistä, ja se voi vaikuttaa järjestelmän suorituskykyyn.

Saimme pääsyn laajaan aineistoon, jossa oli eritasoinen sopimus ihmisten välillä, ja vertasimme järjestelmän suorituskykyä eri olosuhteissa. Mitä havaitsemme, on, että kouluttaminen järjestelmää täydellisellä aineistolla ei paranna sen suorituskykyä verrattuna järjestelmään, joka on koulutettu aineistolla, jossa on enemmän melua. Täydelliset tunnisteet antavat etulyöntiaseman vain silloin, kun koulutusjoukon kokoa on hyvin vähän. Toisaalta, ihmisten tunnisteiden laatu vaikuttaa järjestelmän arviointiin: arviointiarviot voivat olla jopa 30% korkeammat, jos arvioidaan puhdistetuilla tunnisteilla.

Viesti on, että jos sinulla on paljon dataa ja resursseja puhdistaa kultaiset tunnisteet, se voi olla järkevämpää puhdistaa arviointijoukon tunnisteet sen sijaan, että puhdistat koulutusjoukon tunnisteet. Ja tämä havainto koskee ei vain automaattista arviointia vaan monia muita aloja.

Voitko kertoa jotain työstäsi ETS: ssä?

Työskentelen puheen arviointi-järjestelmän parissa, joka prosessoi puhetta koulutuksellisessa kontekstissa. Yksi tällainen järjestelmä on SpeechRater®, joka käyttää edistynyttä puheentunnistusta ja analyysiteknologiaa arvioidakseen ja antaakseen yksityiskohtaisen palautteen englannin kielen puhetaidoista. SpeechRater on hyvin kokenut sovellus, joka on ollut olemassa yli 10 vuotta. Rakennan arviointimalleja eri sovelluksiin ja työskentelen muiden ETS: n työntekijöiden kanssa varmistaakseen, että arvosanamme ovat luotettavia, reiluja ja päteviä kaikille testaajille. Työskentelemme myös muiden ETS: n ryhmien kanssa järjestelmän suorituskyvyn jatkuvan seuraamisen parantamiseksi.

Lisäksi operatiivisten järjestelmien ylläpitämisen ja parantamisen, kehitämme uusia järjestelmiä. Yksi projekteista, johon olen erityisen innostunut, on RelayReader™: sovellus, joka on suunniteltu auttamaan kehittymässä olevia lukijoita saavuttamaan sujuvuutta ja itsevarmuutta. Kun luet RelayReaderin kanssa, käyttäjä vuorotellen kuuntelee ja lukee ääneen kirjan. Hänen lukunsa lähetetään palvelimillemme antamaan palautetta. Puheen prosessoinnin kannalta tämän sovelluksen päähaaste on, miten mitata oppimista ja antaa toimintakykyistä ja luotettavaa palautetta häikäilemättä, ilman että se häiritsee lukijan sitoutumista kirjaan.

Mikä on suosikkiosiosi työskentelystä ETS: ssä?

Se, mikä alun perin veti minut ETS: ään, on se, että se on voittoa tavoittelematon organisaatio, jonka tehtävänä on edistää koulutuksen laatua kaikkialla maailmassa. Vaikka on hyvä, kun tutkimus johtaa tuotteeseen, arvostan mahdollisuutta työskennellä hankkeissa, jotka ovat perustavanlaatuisia, mutta auttavat tuotekehityksessä tulevaisuudessa. Arvostan myös sitä, että ETS ottaa tosissaan asiat, kuten tietosuojan ja reiluuden, ja kaikki järjestelmämme käyvät läpi erittäin tiukat arviointi ennen kuin ne otetaan käyttöön.

Mutta se, mikä tekee ETS: stä erinomaisen työpaikan, on sen ihmiset. Meillä on upea yhteisö tutkijoita, insinöörejä ja kehittäjiä monista eri taustoista, mikä mahdollistaa monia mielenkiintoisia yhteistyöhön.

Uskotko, että tekoäly voi koskaan läpäistä Turingin testin?

1950-luvun jälkeen on ollut paljon tulkintoja siitä, miten Turingin testi tulisi tehdä käytännössä. On luultavasti yleinen sopimus siitä, että Turingin testi ei ole läpäisty filosofisessa mielessä, eli ei ole olemassa tekoälyjärjestelmää, joka ajattelee kuin ihminen. Kuitenkin tämä on myös hyvin marginaalinen aihe. Useimmat ihmiset eivät rakenna järjestelmiään läpäistäkseen Turingin testiä – haluamme, että ne saavuttavat tiettyjä tavoitteita.

Joillekin tehtäville, kuten puheentunnistukselle tai luonnollisen kielen ymmärtämiselle, ihmisen suorituskyky voidaan oikeutetusti pitää kultaisena standardina. On kuitenkin myös monia muita tehtäviä, joissa odotamme, että automaattinen järjestelmä toimii paljon paremmin kuin ihmiset tai joissa automaattinen järjestelmä ja asiantuntija tarvitsevat työskennellä yhdessä saavuttaakseen parhaimman tuloksen. Esimerkiksi koulutuksellisessa kontekstissa emme halua, että tekoälyjärjestelmä korvaa opettajan: haluamme, että se auttaa opettajia, olipa kyse tunnistamisesta oppimisen poluista, avustamisesta arvioinnissa tai etsimisestä parhaista opetusmateriaaleista.

Onko jotain muuta, mitä haluaisit jakaa ETS: stä tai NLP: stä?

Monet ihmiset tuntevat ETS: n sen arviointeista ja automaattisista arviointijärjestelmistä. Mutta me teemme paljon muutakin. Meillä on monia kykyjä äänibiometriasta puhuttuihin sovelluksiin, ja etsimme jatkuvasti uusia tapoja integroida teknologiaa oppimiseen. Nyt, kun monet opiskelijat opiskelevat kotona, olemme avanneet joitain tutkimuskykyjämme yleisölle.

Kiitos haastattelusta ja viimeisimmistä edistysaskelista NLP: ssä ja puheentunnistuksessa. Kaikki, jotka haluavat oppia enemmän, voivat vierailla Educational Testing Services -sivustolla.