Anastassia Loukina, vanhempi tutkimustieteilijä (NLP/Speech) ETS:ssä – Haastattelusarja

Anastassia Loukina on tutkimustieteilijä Educational Testing Servicesissa (ETS), jossa hän työskentelee äänen automaattisessa arvioinnissa.

Hänen tutkimusmielenkiinnonsa kattaa laajan aihepiirin. Hän on työskennellyt muun muassa modernin kreikan murteista, puheen rytmiikasta ja automaattisesta prosodianalyysistä.

Hänen nykyinen työnsä keskittyy yhdistämään puheen teknologian ja koneoppimisen menetelmiä puheen havaitsemisesta ja tuottamisesta saataviin oivalluksiin, jotta voidaan luoda automaattisia arviointimalleja, joilla arvioidaan ei-äidinkielen puhujien puhetta.

Ilmeisesti sinulla on intohimo kieliin, mitä sinut tämän intohimon kanssa tutustutti?

Minä kasuin puhuen venäjää Pietarissa, Venäjällä, ja muistan, kuinka olin Lumoutunut, kun minut esiteltiin englannin kielelle: joillekin sanoille oli olemassa malli, joka mahdollisti venäläisen sanan “muuttamisen” englanninkieliseksi sanaksi. Ja sitten törmäsin sanaan, jossa “omani” malli epäonnistui, ja yritin kehittää paremman, yleisemmän säännön. Tuolloin en tietysti tiennyt mitään kielellisestä tyypologiasta tai kognatiivien ja lainasanojen erosta, mutta tämä sytytti uteliaisuuteni ja haluni oppia muita kieliä. Tämä intohimo mallien tunnistamiseen siinä, miten ihmiset puhuvat, ja niiden testaamiseen aineistolla, on johtanut minua fonetiikkaan, koneoppimiseen ja työhön, jota teen nyt.

Ennen nykyistä työtäsi luonnollisen kielen prosessoinnissa (NLP) olit kääntäjä englannin-venäjän ja modernin kreikan-venäjän kielillä. Uskotko, että työskentelysi kääntäjänä on antanut sinulle lisää oivalluksia joistakin niuansseista ja ongelmista, jotka liittyvät NLP:hen?

Minun ensisijainen identiteettini on aina ollut tutkijan identiteetti. On totta, että aloitin akateemisen urani modernin kreikan tutkijana, tai tarkemmin sanottuna, modernin kreikan fonetiikan tutkijana. Väitöskirjatyössäni tutkin fonetiikkaa eroja useiden modernin kreikan murreten välillä ja sitä, miten nämä erot voivat liittyä alueen historiaan. Väitän, että jotkut näistä eroista voivat syntyä kielen kosketuksen seurauksena muiden alueella puhuttujen kielten kanssa. Vaikka en enää työskentele modernin kreikan parissa, kielenmuutokset, jotka tapahtuvat, kun kaksi kieltä tulee kosketuksiin toistensa kanssa, ovat edelleen työni ydintä: tämä koskee vain sitä, mitä tapahtuu, kun yksilö opiskelee uutta kieltä ja miten teknologia voi auttaa tätä tehokkaimmin.

Kun puhutaan englannin kielestä, on olemassa lukemattomia aksentteja. Miten suunnittelet NLP:n, joka pystyy ymmärtämään kaikki eri murteet? Onko tämä yksinkertainen asia, jossa syötetään syvän oppimisen algoritmiin lisää suurta aineistoa kustakin aksentista?

On olemassa useita lähestymistapoja, joita on aiemmin käytetty tämän ongelman ratkaisemiseen. Lisäksi yhden suuren mallin rakentamisesta, joka kattaa kaikki aksentit, voit ensin tunnistaa aksentin ja käyttää siihen sopivaa mallia, tai voit yrittää useita malleja yhtä aikaa ja valita se, joka toimii parhaiten. Lopulta, jotta voit saavuttaa hyvän suorituskyvyn laajalla aksenttivalikoimalla, tarvitset koulutus- ja arviointiaineistoa, joka edustaa monia aksentteja, joita järjestelmä voi kohtaamiseen.

ETS:ssä suoritamme kattavat arviointitutkimukset varmistamaan, että automaattisten järjestelmien tuottamat arvosanat heijastavat todellisia taitoja, joita haluamme mitata, eivätkä ne ole vaikuttuneita oppijan demografisista ominaisuuksista, kuten sukupuolesta, rodusta tai maasta.

Lapset ja/tai kielten opiskelijat usein kohtaavat vaikeuksia täydellisen ääntämisen kanssa. Miten ylität ääntämisen ongelman?

Täydellistä ääntämistä ei ole olemassa: puhumisen tapa on kiinteästi kytköksissä identiteettiimme, ja kehittäjienä ja tutkijoina tavoitteemme on varmistaa, että järjestelmämme on reilu kaikille käyttäjille.

Molemmat, kielten opiskelijat ja lapset, tarjoavat erityisiä haasteita puheen perusteella toimiville järjestelmille. Esimerkiksi lasten äänet eroavat akustisesti aikuisten äänistä, ja lapset puhuvat eri tavoin kuin aikuiset, ja lasten välillä on paljon vaihtelua. Tämän seurauksena lasten puheentunnistusjärjestelmien kehittäminen on yleensä erillinen tehtävä, joka vaatii suuren määrän lasten puhetta.

Samoin, vaikka on olemassa paljon yhtäläisyyksiä saman taustan kielten opiskelijoiden välillä, opiskelijat voivat vaihdella laajasti fonetiikan, kieliopin ja sanastollisten mallien käytössä, mikä tekee puheentunnistuksesta erityisen haasteellisen tehtävän. Kun rakennamme järjestelmiämme englannin kielen taitojen arviointiin, käytämme aineistoa kielten opiskelijoilta, joilla on laaja valikoima taitoja ja äidinkieliä.

Helmikuussa 2018 julkaistuasi ‘Esimerkkivastauksien käyttäminen automaattisten puhetoimintajärjestelmien koulutukseen ja arviointiin‘. Mitkä ovat tämän tutkimuksen tärkeimmät läpimurrot ja periaatteet, joita tulisi ymmärtää?

Tässä tutkimuksessa tarkastelimme, miten koulutus- ja testiaineiston laatu vaikuttaa automaattisten arviointijärjestelmien suorituskykyyn.

Automaattiset arviointijärjestelmät, kuten useimmat automaattiset järjestelmät, koulutetaan aineistolla, joka on merkitty ihmisille. Tässä tapauksessa nämä ovat ihmisarvioijoiden antamat arvosanat. Ihmisarvioijat eivät aina ole yhtä mieltä arvosanoista, joita he antavat. On olemassa useita eri strategioita, joita käytetään arviointitilanteissa varmistamaan, että lopullinen arvosana, joka ilmoitetaan testaajalle, on erittäin luotettava, vaikka on olemassa vaihtelua ihmisten välisissä arvioissa yksittäisen kysymyksen tasolla. Kuitenkin, koska automaattiset arviointimoottorit koulutetaan yleensä käyttäen vastauskohtaisia arvosanoja, näiden arvosanojen epäjohdonmukaisuudet johtuvat monista syistä, ja ne voivat vaikuttaa negatiivisesti järjestelmän suorituskykyyn.

Meillä oli mahdollisuus käyttää laajaa aineistoa, jossa oli erilaisia ihmisten välisiä sopimuksia, ja verrata järjestelmän suorituskykyä eri olosuhteissa. Mitä löysimme, oli, että kouluttaminen järjestelmää täydellisellä aineistolla ei paranna sen suorituskykyä verrattuna järjestelmään, joka on koulutettu aineistolla, jossa on melkoiseen asti meluisia merkintöjä. Täydelliset merkinnät antavat sinulle etulyöntiaseman vain silloin, kun koulutusaineistosi kokonaiskoko on hyvin pieni. Toisaalta, ihmisten merkintöjen laatu vaikutti järjestelmän arviointiin suurelta osin: arviot voivat olla jopa 30% korkeampia, jos arvioidaan puhdasmerkittyjen aineistojen perusteella.

Tärkein viesti on, että jos sinulla on paljon aineistoa ja resursseja puhdistaa kultaiset merkinnät, se voi olla järkevämpää puhdistaa arviointiaineiston merkinnät koulutusaineiston sijaan. Ja tämä havainto koskee ei vain automaattista arviointia vaan monia muita aloja.

Voitko kuvailla jotain työtäsi ETS:ssä?

Työskentelen puhetoimintajärjestelmän kehittämisessä, joka käsittelee puhetta koulutuksellisessa kontekstissa. Yksi tällainen järjestelmä on SpeechRater®, joka käyttää edistynyttä puheentunnistus- ja analyysitekniikkaa arvioidakseen ja antaakseen yksityiskohtaisen palautteen englannin kielen puhetaidoista. SpeechRater on erittäin kokenut sovellus, joka on ollut olemassa yli 10 vuotta. Rakennan arviointimalleja eri sovelluksille ja työskentelen muiden ETS:n työntekijöiden kanssa varmistaaksemme, että arvosanamme ovat luotettavia, reiluja ja päteviä kaikille testaajille. Työskentelemme myös muiden ETS-ryhmien kanssa järjestelmien suorituskyvyn jatkuvan seurannan toteuttamiseksi.

Lisäksi operatiivisten järjestelmien ylläpitämisestä ja parantamisesta, kehitämme uusia järjestelmiä. Yksi projekteista, johon olen erityisen innostunut, on RelayReader™: sovellus, joka on suunniteltu auttamaan kehittymässä olevia lukijoita saavuttamaan sujuvuutta ja itsevarmuutta. Kun luet RelayReaderin kanssa, käyttäjä vuorotellen kuuntelee ja lukee ääneen kirjaa. Heidän lukunsa lähetetään palvelimillemme antamaan palautetta. Puheen prosessoinnin kannalta tämän sovelluksen päähaaste on miten mitata oppimista ja antaa toimiva ja luotettava palautetta häikäilemättä, ilman että se häiritsee lukijan sitoutumista kirjaan.

Mikä on suosikkiosiosi työskentelystä ETS:ssä?

Se, mikä alun perin veti minut ETS:ään, on se, että se on voittoa tavoittelematon organisaatio, jonka tehtävänä on edistää koulutuksen laatua kaikkialla maailmassa. Vaikka on totta, että tutkimus johtaa usein tuotteeseen, arvostan mahdollisuutta työskennellä perustutkimuksessa, joka auttaa tuotekehityksessä tulevaisuudessa. Arvostan myös sitä, että ETS ottaa tosissaan tietosuojaa ja reiluutta koskevat kysymykset, ja kaikki järjestelmämme käyvät läpi erittäin tiukat arviointitutkimukset ennen niiden operatiivista käyttöönottoa.

Mutta se, mikä tekee ETS:stä erinomaisen työpaikan, on sen ihmiset. Meillä on upea yhteisö tutkijoita, insinöörejä ja kehittäjiä monista eri taustoista, mikä mahdollistaa monia mielenkiintoisia yhteistyöhön.

Uskotko, että tekoäly voi koskaan läpäistä Turingin testin?

1950-luvun jälkeen on ollut paljon tulkintoja siitä, miten Turingin testi tulisi tehdä käytännössä. On luultavasti yleinen sopimus siinä, ettei Turingin testiä ole läpäisty filosofisessa mielessä, eli ei ole olemassa tekoälyjärjestelmää, joka ajattelee kuin ihminen. Kuitenkin tämä on myös muuttunut hyvin niukaksi aiheeksi. Useimmat ihmiset eivät rakenna järjestelmiään läpäistäkseen Turingin testiä – haluamme, että ne saavuttavat tiettyjä tavoitteita.

Joidenkin tehtävien osalta, kuten puheentunnistuksessa tai luonnollisen kielen ymmärtämisessä, ihmisen suorituskyky voidaan oikeutetusti pitää kultaisena standardina. On kuitenkin myös monia muita tehtäviä, joissa odotamme, että automaattinen järjestelmä toimii paljon paremmin kuin ihmiset tai joissa automaattinen järjestelmä ja ihmisen asiantuntija tarvitsevat työskennellä yhdessä saavuttaakseen parhaimman tuloksen. Esimerkiksi koulutuksellisessa kontekstissa emme halua, että tekoälyjärjestelmä korvaa opettajan: haluamme, että se auttaa opettajia, olipa kyse sitten oppimisen polkujen tunnistamisesta, arvioinnista tai parhaiden opetusmateriaalien löytämisestä.

Onko jotain muuta, mitä haluaisit jakaa ETS:stä tai NLP:stä?

Monet ihmiset tuntevat ETS:n arviointeista ja automaattisista arviointijärjestelmistä. Mutta me teemme paljon muutakin. Meillä on monia kykyjä äänitunnistuksesta puhekeskustelusovelluksiin, ja etsimme jatkuvasti uusia tapoja integroida teknologiaa oppimiseen. Nyt, kun monet opiskelijat opiskelevat kotona, olemme avanneet joitain tutkimuskykyjämme yleisölle.

Kiitos haastattelusta ja tarjoamastasi näkymästä viimeisimmistä edistysaskelista NLP:ssä ja puheentunnistuksessa. Kuka tahansa, joka haluaa oppia lisää, voi vierailla Educational Testing Services:ssa.