Anastassia Loukina, Senior Research Scientist (NLP/Speech) hos ETS – Interviewserie

Anastassia Loukina er en forskningsvidenskabsmand ved Educational Testing Services (ETS), hvor hun arbejder med automatisk scoring af tale.

Hendes forskningsinteresser omfatter et bredt spektrum af emner. Hun har arbejdet med bl.a. moderne græske dialekter, tale-rytme og automatisk prosodi-analyse.

Hendes nuværende arbejde fokuserer på at kombinere værktøjer og metoder fra tale-teknologier og maskinlæring med indsigt fra studier af tale-perception/produktion for at bygge automatiske scoring-modeller til vurdering af ikke-moder-sprog.

I har tydeligvis en kærlighed til sprog, hvad introducerede dig til denne passion?

Jeg voksede op med at tale russisk i St. Petersborg, Rusland, og jeg husker, at jeg var fascineret, da jeg først blev introduceret til det engelske sprog: for nogle ord var der en mønster, der gjorde det muligt at “omdanne” et russisk ord til et engelsk ord. Og så ville jeg støde på et ord, hvor “mit” mønster fejlede, og prøve at komme med en bedre, mere generel regel. På det tidspunkt vidste jeg selvfølgelig ingenting om lingvistisk typologi eller forskellen mellem kognater og låneord, men dette fødde min nysgerrighed og ønske om at lære mere sprog. Denne passion for at identificere mønstre i, hvordan mennesker taler, og teste dem på data er det, der har ført mig til fonetik, maskinlæring og det arbejde, jeg laver i dag.

Før dit nuværende arbejde med Natural Language Processing (NLP) var du oversætter mellem engelsk-russisk og moderne græsk-russisk. Tror du, at dit arbejde som oversætter har givet dig yderligere indsigt i nogle af nuancerne og problemerne forbundet med NLP?

Min primære identitet har altid været som forsker. Det er sandt, at jeg startede min akademiske karriere som en forsker i moderne græsk, eller mere specifikt, moderne græsk fonetik. Til min doktorafhandling undersøgte jeg fonetiske forskelle mellem flere moderne græske dialekter og hvordan forskellene mellem disse dialekter kunne kobles til områdets historie. Jeg argumenterede for, at nogle af forskellene mellem dialekterne kunne være opstået som følge af sprog-kontakt mellem hver dialekt og andre sprog, der tales i området. Selvom jeg ikke længere arbejder med moderne græsk, er ændringerne, der sker, når to sprog kommer i kontakt med hinanden, stadig i centrum af mit arbejde: blot dette gang fokuserer jeg på, hvad der sker, når en person lærer et nyt sprog, og hvordan teknologi kan hjælpe med at gøre dette mest effektivt.

Når det kommer til det engelske sprog, er der en mangfoldighed af accenter. Hvordan designer du en NLP med evnen til at forstå alle de forskellige dialekter? Er det blot en simpel sag at føde dyb-læring-algoritmen yderligere big data fra hver type accent?

Der er flere tilgange, der er blevet brugt i fortiden til at tackle dette. Ud over at bygge en stor model, der dækker alle accenter, kunne du først identificere accenten og derefter bruge en brugerdefineret model til denne accent, eller du kan prøve multiple modeller på én gang og vælge den, der fungerer bedst. Til sidst for at opnå en god præstation på en bred vifte af accenter har du brug for trænings- og evalueringdata, der er repræsentative for de mange accenter, et system kan møde.

Hos ETS gennemfører vi omfattende evalueringer for at sikre, at de score, der produceres af vores automatiske systemer, afspejler forskelle i de faktiske færdigheder, vi ønsker at måle, og ikke er påvirket af lærenes demografiske karakteristika, såsom deres køn, race eller land af oprindelse.

Børn og/eller sprog-lærere har ofte svært ved at opnå perfekt udtale. Hvordan overvinder du udtale-problemet?

Der er ikke noget sådant som perfekt udtale: måden, vi taler på, er tæt forbundet med vores identitet, og som udviklere og forskere er vores mål at sikre, at vores systemer er retfærdige for alle brugere.

Både sprog-lærere og børn stiller særlige udfordringer for tale-baserede systemer. For eksempel har børnestemmer ikke kun en meget anderledes akustisk kvalitet, men børn taler også anderledes end voksne, og der er en stor variation mellem børn. Som følge heraf er udvikling af automatiske tale-genkendelsessystemer for børn normalt en separat opgave, der kræver en stor mængde børne-tale-data.

Lignende har der mange ligheder mellem sprog-lærere fra samme baggrund, men lærere kan variere bredt i deres brug af fonetiske, grammatikalske og leksikalske mønstre, hvilket gør tale-genkendelse til en særlig udfordrende opgave. Når vi bygger vores systemer til scoring af engelsk sprog-færdighed, bruger vi data fra sprog-lærere med en bred vifte af færdighedsniveauer og modersmål.

I januar 2018 publicerede du ‘Brug af eksempler-svar til træning og evaluering af automatiske tale-scoring-systemer‘. Hvad er nogle af de vigtigste gennembrud og grundlæggende principper, der skal forstås fra denne artikel?

I denne artikel undersøgte vi, hvordan kvaliteten af trænings- og test-data påvirker præstationen af automatiske scoring-systemer.

Automatiske scoring-systemer, ligesom mange andre automatiske systemer, trænes på data, der er mærket af mennesker. I dette tilfælde er det score, der er tildelt af menneskelige bedømmere. Menneskelige bedømmere er ikke altid enige i de score, de tildeler. Der er flere forskellige strategier, der er blevet brugt i vurdering til at sikre, at den endelige score, der rapporteres til test-personen, forbliver højst pålidelig, på trods af variation i menneskelig enighed på niveauet af den enkelte spørgsmål. Men da automatiske scoring-motorer normalt trænes ved hjælp af respons-niveau-score, kan eventuelle inkonsistenser i sådanne score på grund af variation i menneskelig enighed negativt påvirke systemet.

Vi havde adgang til en stor mængde data med forskellige grader af enighed mellem menneskelige bedømmere og kunne sammenligne system-præstation under forskellige betingelser. Det, vi fandt, var, at træning af systemet på perfekt data ikke faktisk forbedrer dets præstation over for et system, der er trænet på data med mere støjende mærker. Perfekte mærker giver kun en fordel, når din samlede størrelse af trænings-sættet er meget lav. På den anden side havde kvaliteten af menneskelige mærker en enorm effekt på system-evaluering: dine præstations-estimater kan være op til 30% højere, hvis du evaluerer på rene mærker.

Tilbagegangs-besked er, at hvis du har en stor mængde data og ressourcer til at rense dine guldmærker, kan det være klogere at rense mærkerne i evaluering-sættet i stedet for mærkerne i trænings-sættet. Og denne opdagelse gælder ikke kun for automatiske scoring, men også for mange andre områder.

Kunne du beskrive nogle af dine arbejder hos ETS?

Jeg arbejder på et tale-scoring-motor-system, der behandler talt sprog i en uddannelsesmæssig kontekst. Et sådant system er SpeechRater®, der bruger avanceret tale-genkendelse og analyse-teknologi til at vurderer og give detaljeret feedback om engelsk sprog-færdighed. SpeechRater er et meget modent program, der har været i brug i mere end 10 år. Jeg bygger scoring-modeller for forskellige anvendelser og arbejder med andre kollegaer på tværs af ETS for at sikre, at vores score er pålidelige, retfærdige og gyldige for alle test-personer. Vi arbejder også med andre grupper på ETS for at kontinuerligt overvåge system-præstation.

Ud over at vedligeholde og forbedre vores operationelle systemer, prototyper vi nye systemer. Et af de projekter, jeg er meget begejstret for, er RelayReader™: en applikation designet til at hjælpe udviklende læsere med at opnå flydende og tillid. Når du læser med RelayReader, tager brugeren skiftevis del i at lytte til og læse højt en bog. Deres læsning sendes derefter til vores servere for at give feedback. I forhold til tale-behandling er den primære udfordring for denne applikation, hvordan man kan måle læring og give handlebare og pålidelige feedback ubesværet, uden at forstyrre læserens engagement med bogen.

Hvad er dit yndlings-aspekt af at arbejde med ETS?

Det, der oprindeligt tiltrak mig til ETS, er, at det er en non-profit-organisation med en mission om at fremme kvaliteten af uddannelse for alle mennesker over hele verden. Selvom det selvfølgelig er godt, når forskning fører til et produkt, værdsætter jeg muligheden for at arbejde på projekter, der er mere grundlæggende i naturen, men som vil hjælpe med produkt-udvikling i fremtiden. Jeg værdsætter også det faktum, at ETS tager spørgsmål som data-privatliv og retfærdighed meget alvorligt, og at alle vores systemer undergår meget strenge vurderinger, før de deployes operationelt.

Men det, der virkelig gør ETS til et godt sted at arbejde, er menneskene. Vi har en fantastisk fællesskab af videnskabsmænd, ingeniører og udviklere fra mange forskellige baggrunde, hvilket muliggør mange interessante samarbejder.

Tror du, at en AI nogensinde vil kunne bestå Turing-testen?

Siden 1950’erne har der været mange fortolkninger af, hvordan Turing-testen skal udføres i praksis. Der er sandsynligvis en generel enighed om, at Turing-testen ikke er blevet bestået i en filosofisk forstand, så der ikke er noget AI-system, der tænker som et menneske. Men dette er også blevet et meget niche-emne. De fleste mennesker bygger ikke deres systemer til at bestå Turing-testen – vi ønsker, at de skal opnå specifikke mål.

For nogle af disse opgaver, for eksempel tale-genkendelse eller naturlig sprog-forståelse, kan menneskelige præstationer med rette betragtes som standarden. Men der er også mange andre opgaver, hvor vi vil forvente, at et automatiseret system kan udføre meget bedre end mennesker, eller hvor et automatiseret system og en menneskelig ekspert skal arbejde sammen for at opnå det bedste resultat. For eksempel i en uddannelsesmæssig kontekst ønsker vi ikke, at et AI-system skal erstatte en lærer: vi ønsker, at det skal hjælpe lærerne, enten det er ved at identificere mønstre i elev-lærings- baner, hjælpe med bedømmelse eller finde de bedste undervisnings-materialer.

Er der noget andet, du gerne vil dele om ETS eller NLP?

Mange mennesker kender ETS for deres vurderinger og automatiske scoring-systemer. Men vi gør meget mere end det. Vi har mange kapaciteter, fra tale-biometri til tale-dialog-applikationer, og vi søger altid efter nye måder at integrere teknologi i læring på. Nu, hvor mange studerende lærer fra hjemmet, har vi åbnet adgang til flere af vores forsknings-kapaciteter for offentligheden.

Tak for interviewet og for at give denne indsigt i de seneste fremskridt i NLP og tale-genkendelse. Enhver, der ønsker at lære mere, kan besøge Educational Testing Services.