Anastassia Loukina, Senior Research Scientist (NLP/Speech) bij ETS – Interview Serie

Anastassia Loukina is een onderzoeker bij Educational Testing Services (ETS), waar ze werkt aan geautomatiseerde beoordeling van spraak.

Haar onderzoeksinteresses omvatten een breed scala aan onderwerpen. Ze heeft gewerkt aan onder andere moderne Griekse dialecten, spraakritme en geautomatiseerde prosodieanalyse.

Haar huidige werk richt zich op het combineren van tools en methoden uit spraaktechnologie en machine learning met inzichten uit studies over spraakperceptie en -productie om geautomatiseerde beoordelingsmodellen te ontwikkelen voor het evalueren van niet-moedertaalsprekers.

U heeft duidelijk een liefde voor talen, wat heeft u aan deze passie geïntroduceerd?

Ik groeide op met Russisch in Sint-Petersburg, Rusland en herinner me dat ik gefascineerd was toen ik voor het eerst kennismaakte met de Engelse taal: voor sommige woorden was er een patroon dat het mogelijk maakte om een Russisch woord om te zetten in een Engels woord. En toen kwam ik een woord tegen waar “mijn” patroon faalde en probeerde ik een beter, algemener patroon te vinden. Toen wist ik natuurlijk niets over linguïstische typologie of het verschil tussen cognaten en leenwoorden, maar dit wekte mijn nieuwsgierigheid en verlangen om meer talen te leren. Deze passie voor het identificeren van patronen in hoe mensen spreken en het testen ervan op gegevens is wat me naar fonetiek, machine learning en het werk dat ik nu doe heeft geleid.

Voordat u aan uw huidige werk in Natural Language Processing (NLP) begon, was u vertaler tussen Engels-Russisch en Modern Grieks-Russisch. Gelooft u dat uw werk als vertaler u extra inzichten heeft gegeven in enkele van de nuances en problemen die verband houden met NLP?

Mijn primaire identiteit is altijd die van onderzoeker geweest. Het is waar dat ik mijn academische carrière begon als onderzoeker van het moderne Grieks, of meer specifiek, de fonetiek van het moderne Grieks. Voor mijn proefschrift onderzocht ik de fonetische verschillen tussen verschillende moderne Griekse dialecten en hoe de verschillen tussen deze dialecten kunnen worden gelinkt aan de geschiedenis van het gebied. Ik betoogde dat sommige van de verschillen tussen de dialecten kunnen zijn ontstaan als gevolg van taalcontact tussen elke dialect en andere talen die in het gebied worden gesproken. Hoewel ik niet langer werk aan het moderne Grieks, zijn de veranderingen die optreden wanneer twee talen met elkaar in contact komen nog steeds het hart van mijn werk: alleen richt ik me nu op wat er gebeurt wanneer een individu een nieuwe taal leert en hoe technologie kan helpen om dit zo efficiënt mogelijk te doen.

Wanneer het gaat om de Engelse taal, zijn er talloze accenten. Hoe ontwerpt u een NLP die alle verschillende dialecten kan begrijpen? Is het een eenvoudige kwestie van het voeden van de deep learning-algoritme met extra big data van elk type accent?

Er zijn verschillende benaderingen die in het verleden zijn gebruikt om dit aan te pakken. Naast het bouwen van één groot model dat alle accenten omvat, kunt u eerst het accent identificeren en vervolgens een aangepast model voor dat accent gebruiken, of u kunt meerdere modellen tegelijk proberen en het model kiezen dat het beste werkt. Uiteindelijk moet u om een goede prestatie te bereiken op een breed scala aan accenten, trainings- en evaluatiegegevens hebben die representatief zijn voor de vele accenten die een systeem kan tegenkomen.

Bij ETS voeren we uitgebreide evaluaties uit om ervoor te zorgen dat de scores die door onze geautomatiseerde systemen worden gegenereerd, de verschillen weerspiegelen in de vaardigheden die we willen meten en niet worden beïnvloed door de demografische kenmerken van de leerling, zoals geslacht, ras of land van herkomst.

Kinderen en/of taalleerders hebben vaak moeite met perfecte uitspraak. Hoe overwint u het uitspraakprobleem?

Er is geen zoiets als perfecte uitspraak: de manier waarop we spreken is nauw verbonden met onze identiteit en als ontwikkelaars en onderzoekers is ons doel om ervoor te zorgen dat onze systemen eerlijk zijn voor alle gebruikers.

Zowel taalleerders als kinderen vormen bijzondere uitdagingen voor spraakgebaseerde systemen. Bijvoorbeeld, kinderstemmen hebben niet alleen een heel andere akoestische kwaliteit, maar kinderen spreken ook anders dan volwassenen en er is veel variatie tussen kinderen. Als gevolg daarvan is het ontwikkelen van een geautomatiseerd spraakherkenningsysteem voor kinderen meestal een aparte taak die een grote hoeveelheid kinderspraakgegevens vereist.

Soortgelijk, hoewel er veel overeenkomsten zijn tussen taalleerders van dezelfde achtergrond, kunnen leerders sterk variëren in hun gebruik van fonetische, grammaticale en lexicale patronen, waardoor spraakherkenning een bijzonder moeilijke taak is. Wanneer we onze systemen voor het beoordelen van de beheersing van de Engelse taal bouwen, gebruiken we gegevens van taalleerders met een breed scala aan vaardigheidsniveaus en moedertalen.

In januari 2018 publiceerde u ‘Gebruik van voorbeeldantwoorden voor het trainen en evalueren van geautomatiseerde spraakbeoordelingssystemen’. Wat zijn enkele van de belangrijkste doorbraken en basisbeginselen die uit dit artikel moeten worden begrepen?

In dit artikel hebben we gekeken naar hoe de kwaliteit van de trainings- en testgegevens de prestaties van geautomatiseerde beoordelingssystemen beïnvloedt.

Geautomatiseerde beoordelingssystemen, net als veel andere geautomatiseerde systemen, worden getraind op gegevens die door mensen zijn gelabeld. In dit geval gaat het om scores die door menselijke beoordelaars zijn toegewezen. Menselijke beoordelaars zijn niet altijd het eens over de scores die ze toewijzen. Er zijn verschillende strategieën die in de beoordeling worden gebruikt om ervoor te zorgen dat de uiteindelijke score die aan de testkandidaat wordt gerapporteerd, zeer betrouwbaar blijft ondanks de variatie in menselijke overeenstemming op het niveau van de individuele vraag. Echter, aangezien geautomatiseerde beoordelingsmotoren meestal worden getraind met behulp van antwoordniveau-scores, kunnen inconsistenties in dergelijke scores als gevolg van de variatie van redenen die hierboven zijn uiteengezet, de prestaties van het systeem negatief beïnvloeden.

We hadden toegang tot een grote hoeveelheid gegevens met verschillende overeenstemming tussen menselijke beoordelaars en konden de prestaties van het systeem onder verschillende omstandigheden vergelijken. Wat we vonden, is dat het trainen van het systeem op perfecte gegevens de prestaties niet noodzakelijkerwijs verbetert ten opzichte van een systeem dat is getraind op gegevens met meer lawaaierige labels. Perfecte labels geven u alleen een voordeel wanneer de totale grootte van de trainingsset zeer laag is. Aan de andere kant had de kwaliteit van de menselijke labels een enorme invloed op de evaluatie van het systeem: uw prestatieschattingen kunnen tot 30% hoger zijn als u deze op schone labels evalueert.

De belangrijkste boodschap is dat, als u veel gegevens en middelen heeft om uw gouden standaardlabels schoon te maken, het misschien slimmer is om de labels in de evaluatieset schoon te maken in plaats van de labels in de trainingsset. En deze bevinding is niet alleen van toepassing op geautomatiseerde beoordeling, maar ook op veel andere gebieden.

Kunt u enkele van uw werkzaamheden bij ETS beschrijven?

Ik werk aan een spraakbeoordelingssysteem dat gesproken taal in een educatieve context verwerkt. Een van deze systemen is SpeechRater®, dat geavanceerde spraakherkenning- en analyse technologie gebruikt om de beheersing van de Engelse taal te beoordelen en gedetailleerde feedback te geven. SpeechRater is een zeer volwassen toepassing die al meer dan 10 jaar bestaat. Ik bouw beoordelingsmodellen voor verschillende toepassingen en werk samen met andere collega’s bij ETS om ervoor te zorgen dat onze scores betrouwbaar, eerlijk en geldig zijn voor alle testkandidaten. We werken ook samen met andere groepen bij ETS om de prestaties van het systeem voortdurend te monitoren.

Naast het onderhoud en de verbetering van onze operationele systemen, maken we prototypes van nieuwe systemen. Een van de projecten waar ik erg enthousiast over ben, is RelayReader™: een toepassing die is ontworpen om beginnende lezers te helpen bij het ontwikkelen van vaardigheden en vertrouwen. Wanneer u met RelayReader leest, neemt u beurtelings deel aan het luisteren naar en het voorlezen van een boek. Uw leesgedrag wordt vervolgens naar onze servers gestuurd om feedback te geven. Wat betreft spraakverwerking is de belangrijkste uitdaging van deze toepassing hoe we leren meten en betrouwbare, bruikbare feedback kunnen geven zonder de betrokkenheid van de lezer bij het boek te verstoren.

Wat is uw favoriete deel van het werken bij ETS?

Wat me aanvankelijk aantrok tot ETS, is dat het een non-profitorganisatie is met een missie om de kwaliteit van onderwijs voor alle mensen over de hele wereld te verbeteren. Hoewel het natuurlijk geweldig is wanneer onderzoek leidt tot een product, waardeer ik het hebben van de kans om te werken aan projecten die meer fundamenteel van aard zijn, maar die in de toekomst zullen helpen bij productontwikkeling. Ik waardeer ook het feit dat ETS kwesties zoals gegevensbescherming en eerlijkheid zeer serieus neemt en dat al onze systemen een zeer strenge beoordeling ondergaan voordat ze operationeel worden ingezet.

Maar wat ETS echt een geweldige plek maakt om te werken, zijn de mensen. We hebben een geweldige gemeenschap van wetenschappers, ingenieurs en ontwikkelaars uit veel verschillende achtergronden, wat leidt tot veel interessante samenwerkingen.

Gelooft u dat een AI ooit in staat zal zijn om de Turing-test te doorstaan?

Sinds de jaren 50 zijn er veel interpretaties van hoe de Turing-test in de praktijk moet worden uitgevoerd. Er is waarschijnlijk een algemene overeenstemming dat de Turing-test nog niet is doorstaan in filosofische zin dat er geen AI-systeem is dat op menselijke wijze denkt. Echter, dit is ook een zeer niche-onderwerp geworden. De meeste mensen bouwen hun systemen niet om de Turing-test te doorstaan – we willen dat ze specifieke doelen bereiken.

Voor sommige van deze taken, zoals spraakherkenning of natuurlijke taalbegrip, kan de prestatie van de mens terecht als de gouden standaard worden beschouwd. Maar er zijn ook veel andere taken waarbij we verwachten dat een geautomatiseerd systeem veel beter zal presteren dan mensen, of waar een geautomatiseerd systeem en een menselijke expert moeten samenwerken om het beste resultaat te bereiken. Bijvoorbeeld, in een educatieve context willen we geen AI-systeem dat een leraar vervangt: we willen dat het leraren helpt, of het nu gaat om het identificeren van patronen in leerlingprestaties, het helpen bij het beoordelen of het vinden van de beste lesmaterialen.

Is er nog iets anders dat u over ETS of NLP wilt delen?

Veel mensen kennen ETS vanwege de beoordelingen en geautomatiseerde beoordelingssystemen. Maar we doen veel meer dan dat. We hebben veel capaciteiten, van spraakbiometrie tot gespreksapplicaties, en we zijn altijd op zoek naar nieuwe manieren om technologie in het onderwijs te integreren. Nu veel studenten vanuit huis leren, hebben we enkele van onze onderzoeks capaciteiten voor het grote publiek geopend.

Bedankt voor het interview en voor het bieden van deze inzichten in de laatste ontwikkelingen op het gebied van NLP en spraakherkenning. Iedereen die meer wilt leren, kan Educational Testing Services bezoeken.