Anastassia Loukina, Senior Research Scientist (NLP/Speech) på ETS – Intervjuserie

Anastassia Loukina är en forskare på Educational Testing Services (ETS), där hon arbetar med automatisk bedömning av tal.

Hennes forskningsintressen omfattar ett brett spektrum av ämnen. Hon har bland annat arbetat med modern grekiska dialekter, talsrytm och automatisk prosodianalys.

Hennes nuvarande arbete fokuserar på att kombinera verktyg och metoder från talteknologi och maskinlärning med insikter från studier om talsperception och produktion för att bygga automatiserade bedömningsmodeller för att utvärdera icke-naturligt tal.

Det är uppenbart att du har en kärlek till språk, vad introducerade dig till denna passion?

Jag växte upp med att tala ryska i Sankt Petersburg, Ryssland, och jag minns att jag blev fascinerad när jag först introducerades till det engelska språket: för vissa ord fanns det ett mönster som gjorde det möjligt att “konvertera” ett ryskt ord till ett engelskt ord. Och sedan skulle jag stöta på ett ord där “mitt” mönster misslyckades och försöka komma på ett bättre, mer allmänt regel. Vid den tiden visste jag naturligtvis ingenting om lingvistisk typologi eller skillnaden mellan kognater och lånord, men detta bränsle min nyfikenhet och önskan att lära mig fler språk. Denna passion för att identifiera mönster i hur människor talar och testa dem på data är vad som ledde mig till fonetik, maskinlärning och det arbete jag gör nu.

Före ditt nuvarande arbete inom Natural Language Processing (NLP) var du översättare mellan engelska-ryska och modern grekiska-ryska. Tror du att ditt arbete som översättare har gett dig ytterligare insikter i några av de nyanser och problem som är förknippade med NLP?

Min primära identitet har alltid varit den som forskare. Det är sant att jag började min akademiska karriär som en scholar av modern grekiska, eller mer specifikt, modern grekisk fonetik. För min doktorsavhandling undersökte jag fonetiska skillnader mellan flera moderna grekiska dialekter och hur skillnaderna mellan dessa dialekter kunde kopplas till områdets historia. Jag hävdade att vissa av skillnaderna mellan dialekterna kunde ha uppstått som ett resultat av språkkontakt mellan varje dialekt och andra språk som talades i området. Även om jag inte längre arbetar med modern grekiska, är de förändringar som sker när två språk kommer i kontakt med varandra fortfarande i centrum för mitt arbete: nu fokuserar jag på vad som händer när en individ lär sig ett nytt språk och hur teknologi kan hjälpa till att göra detta på ett så effektivt sätt som möjligt.

När det gäller det engelska språket finns det en mängd olika accenter. Hur designar du en NLP som kan förstå alla olika dialekter? Är det en enkel fråga om att mata in mer storskalig data från varje typ av accent till det djupa lärande-algoritmen?

Det finns flera tillvägagångssätt som har använts i det förflutna för att hantera detta. Utöver att bygga en stor modell som täcker alla accenter, kan du först identifiera accenter och sedan använda en anpassad modell för detta accent, eller så kan du försöka med flera modeller samtidigt och välja den som fungerar bäst. Till slut, för att uppnå en bra prestation på en stor mängd accenter, behöver du tränings- och utvärderingsdata som representerar de många accenter som systemet kan stöta på.

Vid ETS genomför vi omfattande utvärderingar för att säkerställa att de poäng som produceras av våra automatiserade system återspeglar skillnader i de faktiska färdigheter vi vill mäta och inte påverkas av elevens demografiska egenskaper, såsom deras kön, ras eller ursprungsland.

Barn och/eller språkinlärare har ofta svårt att uppnå perfekt uttal. Hur övervinner du uttalsproblemet?

Det finns ingen sådan sak som perfekt uttal: sättet vi talar är nära kopplat till vår identitet, och som utvecklare och forskare är vårt mål att säkerställa att våra system är rättvist för alla användare.

Både språkinlärare och barn presenterar särskilda utmaningar för talbaserade system. Till exempel har barns röster inte bara en mycket annorlunda akustisk kvalitet, utan barn talar också annorlunda än vuxna, och det finns en stor variation mellan barn. Som ett resultat är det vanligtvis ett separat arbete att utveckla ett automatiserat taligenkänningssystem för barn, som kräver en stor mängd barns taldata.

Likaså, även om det finns många likheter mellan språkinlärare från samma bakgrund, kan inlärare variera mycket i sin användning av fonetiska, grammatiska och lexikala mönster, vilket gör taligenkänning till en särskilt utmanande uppgift. När vi bygger våra system för att bedöma engelska språkfärdigheter, använder vi data från språkinlärare med en stor variation av färdigheter och modersmål.

I januari 2018 publicerade du ‘Användning av exempel-svar för utbildning och utvärdering av automatiserade talskörningssystem‘. Vilka är några av de viktigaste genombrotten och grundläggande principer som bör förstås från denna artikel?

I denna artikel undersökte vi hur kvaliteten på tränings- och testdata påverkar prestationen hos automatiserade bedömnings-system.

Automatiserade bedömnings-system, som de flesta andra automatiserade system, tränas på data som har märkts av människor. I detta fall är det poäng som tilldelats av mänskliga bedömare. Mänskliga bedömare är inte alltid överens om de poäng de tilldelar. Det finns flera olika strategier som används i bedömning för att säkerställa att den slutliga poängen som rapporteras till testtagaren förblir mycket tillförlitlig trots variationen i mänsklig överensstämmelse på nivån för den enskilda frågan. Men eftersom automatiserade bedömningsmotorer vanligtvis tränas med hjälp av svarsnivåpoäng, kan eventuella inkonsekvenser i sådana poäng på grund av de olika orsaker som nämns ovan negativt påverka systemet.

Vi hade möjlighet att få tillgång till en stor mängd data med olika överensstämmelse mellan mänskliga bedömare och att jämföra systemprestation under olika förhållanden. Vad vi fann var att träning av systemet på perfekta data inte faktiskt förbättrar dess prestation över ett system som tränats på data med mer bullriga etiketter. Perfekta etiketter ger dig bara en fördel när din totala storlek på träningsuppsättningen är mycket låg. Å andra sidan hade kvaliteten på mänskliga etiketter en stor effekt på systemutvärdering: dina prestationsestimer kan vara upp till 30% högre om du utvärderar på rena etiketter.

Den viktigaste slutsatsen är att om du har en stor mängd data och resurser för att rensa dina guldstandard-etiketter, kan det vara smartare att rensa etiketterna i utvärderingsuppsättningen snarare än etiketterna i träningsuppsättningen. Och denna upptäckt gäller inte bara för automatiserad bedömning, utan för många andra områden också.

Kan du beskriva något av ditt arbete på ETS?

Jag arbetar på ett talskörningssystem som bearbetar talat språk i en utbildningskontext. Ett sådant system är SpeechRater®, som använder avancerad talsigenkänning och analys-teknologi för att bedöma och ge detaljerad feedback om engelska språkfärdigheter. SpeechRater är ett mycket moget tillämpningsprogram som har funnits i över 10 år. Jag bygger bedömningsmodeller för olika tillämpningar och arbetar med andra kollegor på ETS för att säkerställa att våra poäng är tillförlitliga, rättvist och giltiga för alla testtagare. Vi arbetar också med andra grupper på ETS för att kontinuerligt övervaka systemprestation.

Utöver att underhålla och förbättra våra operativa system, prototypar vi nya system. Ett av de projekt jag är mycket entusiastisk över är RelayReader™: ett tillämpningsprogram som är utformat för att hjälpa utvecklande läsare att få flyt och förtroende. När man läser med RelayReader, tar en användare turas om att lyssna på och läsa högt en bok. Deras läsning skickas sedan till våra servrar för att ge feedback. När det gäller talsbearbetning är den största utmaningen för detta tillämpningsprogram hur man mäter inlärning och ger åtgärdbara och tillförlitliga feedback utan att störa läsarens engagemang i boken.

Vad är din favoritdel av att arbeta med ETS?

Det som initialt drog mig till ETS var att det är en ideell organisation med en mission att förbättra utbildningskvaliteten för alla människor runt om i världen. Medan det naturligtvis är bra när forskning leder till en produkt, uppskattar jag att ha möjlighet att arbeta på projekt som är mer grundläggande till sin natur, men som kommer att hjälpa till med produktutveckling i framtiden. Jag uppskattar också att ETS tar frågor som dataskydd och rättvisa på allvar och att alla våra system genomgår en mycket sträng utvärdering innan de distribueras operativt.

Men det som verkligen gör ETS till en bra arbetsplats är människorna. Vi har en fantastisk gemenskap av forskare, ingenjörer och utvecklare från många olika bakgrunder, vilket möjliggör många intressanta samarbeten.

Tror du att en AI någonsin kommer att kunna klara Turingtestet?

Sedan 1950-talet har det funnits många tolkningar av hur Turingtestet ska genomföras i praktiken. Det finns troligen en allmän överensstämmelse om att Turingtestet inte har klarats i filosofisk mening, det vill säga att det inte finns något AI-system som tänker som en människa. Men detta har också blivit ett mycket nischat ämne. De flesta människor bygger inte sina system för att klara Turingtestet – vi vill att de ska uppnå specifika mål.

För vissa av dessa uppgifter, till exempel talsigenkänning eller naturlig språkförståelse, kan mänsklig prestation rätteligen anses vara guldstandarden. Men det finns också många andra uppgifter där vi förväntar oss att ett automatiserat system ska göra mycket bättre än människor eller där ett automatiserat system och en mänsklig expert behöver arbeta tillsammans för att uppnå det bästa resultatet. Till exempel i en utbildningskontext vill vi inte att ett AI-system ska ersätta en lärare: vi vill att det ska hjälpa lärare, antingen genom att identifiera mönster i studenternas inlärningsbanor, hjälpa till med betygsättning eller hitta de bästa undervisningsmaterialen.

Finns det något annat du vill dela om ETS eller NLP?

Många människor känner till ETS för dess bedömningar och automatiserade bedömnings-system. Men vi gör mycket mer än så. Vi har många kapaciteter, från röstbiometri till talade dialogtillämpningar, och vi letar alltid efter nya sätt att integrera teknologi i inlärningen. Nu när många studenter lär sig hemma, har vi öppnat flera av våra forskningskapaciteter till allmänheten.

Tack för intervjun och för att erbjuda denna insikt i de senaste framstegen inom NLP och talsigenkänning. Den som vill lära sig mer kan besöka Educational Testing Services.