Anastassia Loukina, senior forskningsvitenskapelig (NLP/tale) ved ETS – Intervju-serie

Anastassia Loukina er en forskningsvitenskapelig ved Educational Testing Services (ETS), der hun arbeider med automatisert scoring av tale.

Hennes forskningsinteresser omfatter et bredt spekter av emner. Hun har arbeidet med blant annet moderne greske dialekter, tale-rytme og automatisert prosodi-analyse.

Hennes nåværende arbeid fokuserer på å kombinere verktøy og metoder fra tale-teknologier og maskinlæring med innsikt fra studier om tale-persepsjon/produksjon for å bygge automatiske scoring-modeller for å evaluere ikke-native tale.

Det er tydelig at du har en lidenskap for språk, hva introduserte deg til denne lidenskapen?

Jeg vokste opp med å snakke russisk i St. Petersburg, Russland, og jeg husker å ha vært fascinert da jeg først ble introdusert til det engelske språket: for noen ord var det en mønster som gjorde det mulig å “konvertere” et russisk ord til et engelsk ord. Og så kom jeg over et ord der “mitt” mønster feilet og prøvde å komme opp med en bedre, mer generell regel. På den tiden visste jeg selvsagt ingenting om lingvistisk typologi eller forskjellen mellom kognater og lånord, men dette førte til min nysgjerrighet og ønske om å lære flere språk. Denne lidenskapen for å identifisere mønster i hvordan mennesker snakker og teste dem på data er det som har ledet meg til fonetikk, maskinlæring og arbeidet jeg gjør nå.

Før ditt nåværende arbeid med Natural Language Processing (NLP) var du oversetter mellom engelsk-russisk og moderne gresk-russisk. Tror du at ditt arbeid som oversetter har gitt deg ekstra innsikt i noen av nyansene og problemene forbundet med NLP?

Min primære identitet har alltid vært som forsker. Det er sant at jeg startet min akademiske karriere som en forsker av moderne gresk, eller mer spesifikt, moderne gresk fonetikk. For min doktorgrad undersøkte jeg fonetiske forskjeller mellom flere moderne greske dialekter og hvordan forskjellene mellom disse dialektene kunne kobles til historien til området. Jeg argumenterte for at noen av forskjellene mellom dialektene kunne ha oppstått som et resultat av språkkontakt mellom hver dialekt og andre språk som snakkes i området. Selv om jeg ikke lenger arbeider med moderne gresk, er endringene som skjer når to språk kommer i kontakt med hverandre fortsatt i hjertet av mitt arbeid: bare denne gangen fokuserer jeg på hva som skjer når en person lærer et nytt språk og hvordan teknologi kan hjelpe med å gjøre dette mest effektivt.

Når det gjelder det engelske språket, finnes det en mengde aksenter. Hvordan designer du en NLP med evnen til å forstå alle de forskjellige dialektene? Er det en enkel sak å mata den dype læringsalgoritmen med ekstra store data fra hver type aksent?

Det finnes flere tilnærminger som har blitt brukt tidligere for å håndtere dette. I tillegg til å bygge en stor modell som dekker alle aksenter, kan du først identifisere aksenten og deretter bruke en tilpasset modell for denne aksenten, eller du kan prøve flere modeller samtidig og velge den som fungerer best. Til slutt, for å oppnå god ytelse på en bred rekke aksenter, trenger du trening- og evalueringdata som representerer de mange aksentene som systemet kan møte.

Ved ETS gjennomfører vi omfattende evalueringer for å sikre at scorene som produseres av våre automatiske systemer reflekterer forskjellene i de faktiske ferdighetene vi ønsker å måle og ikke påvirkes av demografiske karakteristika som lærenes kjønn, rase eller opphavsland.

Barn og/eller språklærere har ofte vanskeligheter med perfekt uttale. Hvordan overvinner du problemet med uttale?

Det finnes ingen slik ting som perfekt uttale: måten vi snakker er nært knyttet til vår identitet, og som utviklere og forskere er vårt mål å sikre at våre systemer er rettferdige for alle brukere.

Både barn og språklærere presenterer spesielle utfordringer for tale-baserte systemer. For eksempel har barnestemmer ikke bare en annen akustisk kvalitet, men barn snakker også annerledes enn voksne, og det finnes mye variasjon mellom barn. Som et resultat er det vanligvis en separat oppgave å utvikle en automatisert tale-gjenkjenning for barn, som krever en stor mengde barns taledata.

Liknende, selv om det finnes mange likheter mellom språklærere fra samme bakgrunn, kan lærere variere mye i sin bruk av fonetiske, grammatikalske og leksikalske mønster, noe som gjør tale-gjenkjenning til en særlig utfordrende oppgave. Når vi bygger våre systemer for å score engelsk språklig kompetanse, bruker vi data fra språklærere med en bred rekke ferdigheter og morsmål.

I januar 2018, publiserte du ‘Using exemplar responses for training and evaluating automated speech scoring systems‘. Hva er noen av de viktigste gjennombruddene og grunnleggende prinsippene som bør forstås fra denne artikkelen?

I denne artikkelen undersøkte vi hvordan kvaliteten på trening- og testdata påvirker ytelsen til automatiske scoring-systemer.

Automatiske scoring-systemer, som de fleste andre automatiske systemer, er trent på data som har blitt merket av mennesker. I dette tilfelle er disse scorene som er tildelt av menneskelige vurderere. Menneskelige vurderere er ikke alltid enige i scorene de tildeler. Det finnes flere ulike strategier som har blitt brukt i vurdering for å sikre at den endelige scoren som rapporteres til test-takeren forblir høyt pålitelig til tross for variasjon i menneskelig enighet på individnivå. Imidlertid, siden automatiske scoring-motorer vanligvis er trent ved hjelp av respons-nivå-score, kan eventuelle inkonsistenser i slike scorene på grunn av variasjon i menneskelig enighet påvirke systemet negativt.

Vi hadde tilgang til en stor mengde data med ulik enighet mellom menneskelige vurderere og kunne sammenligne system-ytelse under ulike forhold. Det vi fant var at å trene systemet på perfekte data ikke faktisk forbedrer ytelsen over et system som er trent på data med mer støyende merkinger. Perfekte merkinger gir deg kun en fordel når størrelsen på treningssettet er svært lav. På den andre siden hadde kvaliteten på menneskelige merkinger en stor effekt på system-vurdering: dine ytelsesestimer kan være opptil 30% høyere hvis du vurderer på rene merkinger.

Tilbakemeldingsmeldingen er at hvis du har mye data og ressurser til å rense dine gull-standard-merkinger, kan det være smartere å rense merkingene i evalueringssettet enn i treningssettet. Og denne funnene gjelder ikke bare for automatiske scoring-systemer, men også for mange andre områder.

Kunne du beskrive noen av ditt arbeid ved ETS?

Jeg arbeider med et tale-scoring-motor-system som prosesserer tale-språk i en utdanningskontekst. Et slikt system er SpeechRater®, som bruker avansert tale-gjenkjenning og analyse-teknologi for å vurdere og gi detaljert tilbakemelding om engelsk språklig kompetanse. SpeechRater er en svært moden applikasjon som har vært i bruk i over 10 år. Jeg bygger scoring-modeller for ulike applikasjoner og arbeider med andre kolleger på tvers av ETS for å sikre at våre scorene er pålitelige, rettferdige og gyldige for alle test-takere. Vi arbeider også med andre grupper på ETS for å kontinuerlig overvåke system-ytelse.

I tillegg til å vedlikeholde og forbedre våre operative systemer, prototyperer vi nye systemer. Et av prosjektene jeg er svært entusiastisk over er RelayReader™: en applikasjon designet for å hjelpe utviklingslesere å få flyt og tillit. Når du leser med RelayReader, tar du tur med å lytte til og lese høyt en bok. Din lesing sendes deretter til våre servere for å gi tilbakemelding. I forhold til tale-behandling er hovedutfordringen med denne applikasjonen å måle læring og gi handlebare og pålitelige tilbakemeldinger uoppmerksomt, uten å forstyrre lesers engasjement med boken.

Hva er din favoritt-del av å arbeide med ETS?

Det som opprinnelig tiltalte meg til ETS er at det er en non-profit-organisasjon med en misjon om å fremme kvaliteten på utdanning for alle mennesker over hele verden. Selv om det er fantastisk når forskning fører til et produkt, setter jeg pris på å ha muligheten til å arbeide med prosjekter som er mer grunnleggende i naturen, men som vil hjelpe med produktutvikling i fremtiden. Jeg setter også pris på å ha muligheten til å arbeide på prosjekter som er mer grunnleggende i naturen, men som vil hjelpe med produktutvikling i fremtiden. Jeg setter også pris på at ETS tar spørsmål som data-privatitet og rettferdighet svært alvorlig og at alle våre systemer gjennomgår en meget streng vurdering før de deployeres operativt.

Tror du at en AI noen gang vil kunne bestå Turing-testen?

Siden 1950-årene har det vært mange tolkninger av hvordan Turing-testen skal utføres i praksis. Det er sannsynligvis en generell enighet om at Turing-testen ikke har blitt bestått i en filosofisk forstand, det vil si at det ikke finnes noen AI-system som tenker som et menneske. Imidlertid har dette også blitt et svært nisjetema. De fleste mennesker bygger ikke sine systemer for å bestå Turing-testen – vi ønsker at de skal oppnå spesifikke mål.

For noen av disse oppgavene, for eksempel tale-gjenkjenning eller naturlig språk-forståelse, kan menneskelig ytelse rettferdig anses som gull-standard. Men det finnes også mange andre oppgaver hvor vi forventer at et automatisert system skal gjøre mye bedre enn mennesker eller hvor et automatisert system og en menneskelig ekspert må arbeide sammen for å oppnå det beste resultatet. For eksempel, i en utdanningskontekst ønsker vi ikke at et AI-system skal erstatte en lærer: vi ønsker at det skal hjelpe lærere, enten det er gjennom å identifisere mønster i studenters læringsbaner, hjelpe med vurdering eller finne de beste undervisningsmaterialene.

Er det noe annet du ønsker å dele om ETS eller NLP?

Mange mennesker kjenner ETS for sine vurderinger og automatiske scoring-systemer. Men vi gjør mye mer enn det. Vi har mange kapasiteter, fra tale-biometri til tale-dialoog-applikasjoner, og vi søker alltid etter nye måter å integrere teknologi i læring. Nå som mange studenter lærer hjemmefra, har vi åpnet flere av våre forskningskapasiteter for allmennheten.

Takk for intervjuet og for å gi denne innsikten i de siste fremgangene i NLP og tale-gjenkjenning. Alle som ønsker å lære mer kan besøke Educational Testing Services.