Fremtiden for talevurdering – tankeledere

Verden over stiger antallet af engelsksprogede elever. Uddannelsesinstitutioner og arbejdsgivere har brug for at kunne vurdere engelsk kompetence hos sprogbrugere – især deres taleevne, da tale er en af de vigtigste sprogfærdigheder. Udfordringen for både vurderingsudviklere og slutbrugere er at finde en måde at gøre det på, der er nøjagtig, hurtig og økonomisk bæredygtig. Som en del af denne udfordring medfører vurdering af disse vurderinger sin egen sæt af faktorer, især når vi overvejer de forskellige områder (tale, skrivning osv.), som man bliver testet i. Med den stigende efterspørgsel efter engelske færdigheder på verdensplan forventes at øge, hvordan skal fremtiden for talevurdering se ud for at imødekomme disse behov?

Svaret på dette spørgsmål findes delvist i talevurderingens udvikling hidtil. Vurdering af konstruerede mundtlige svar er historisk blevet udført af menneskelige vurderere. Denne proces er dog dyrekøbt og tidskrævende og har yderligere udfordringer, herunder skalerbarhed og menneskelige vurdereres mangler (f.eks. vurdererens subjektivitet eller bias). Som diskuteret i vores bog Automated Speaking Assessment: Using Language Technologies to Score Spontaneous Speech, for at imødekomme disse udfordringer, bruger en stigende del af vurderinger nu automatiseret talevurderingsteknologi som den eneste kilde til vurdering eller i kombination med menneskelige vurderere. Før automatiserede vurderingssystemer deployes, skal deres ydeevne dog grundigt vurderes, især i forhold til scorens pålidelighed, validitet (måler systemet, hvad det skal?) og fairhed (dvs. systemet skal ikke introducere bias i forhold til undergrupper som køn eller modersmål).

Siden 2006 har ETS’s egen talevurderingsmotor, SpeechRater®, været operativ i TOEFL® Practice Online (TPO)-vurderingen (brugt af potentielle testkandidater til at forberede sig på TOEFL iBT®-vurderingen), og siden 2019 har SpeechRater også været brugt sammen med menneskelige vurderere til at score taleafsnittet i TOEFL iBT®-vurderingen. Motoren vurderer et bredt spektrum af talekompetence for spontan ikke-modersmål, herunder udtale og flydende tale, ordforråd og grammatik, og højere niveau talefærdigheder i forhold til sammenhæng og idéudvikling. Disse funktioner beregnes ved hjælp af naturlig sprogbehandling (NLP) og talebehandlingsalgoritmer. En statistisk model anvendes derefter på disse funktioner for at tildele en slutscore til en testkandidats svar.

Da denne model er trænet på tidligere observeret data vurderet af menneskelige vurderere, gennemgås den også af indholdseksperter for at maksimere dens validitet. Hvis et svar er fundet ikke-vurderbart på grund af lydkvalitet eller andre problemer, kan motoren markere det til yderligere gennemgang for at undgå at generere en potentielt upålidelig eller ugyldig score. Menneskelige vurderere er altid involveret i vurderingen af mundtlige svar i højrisikovurderinger af TOEFL iBT-tale.

Da menneskelige vurderere og SpeechRater i øjeblikket bruges sammen til at score testkandidaters svar i højrisikovurderinger, spiller begge en rol i, hvordan fremtiden for vurdering af engelsk sprogkompetence kan se ud. Menneskelige vurderere har evnen til at forstå indholdet og diskursorganisationen af et mundtligt svar på en dyb måde. I modsætning hertil kan automatiserede talevurderingssystemer mere præcist måle visse detaljerede aspekter af tale, såsom flydende tale eller udtale, vise perfekt konsistens over tid, kan reducere den samlede vurderingstid og omkostning, og kan lettere skaleres til at understøtte store testvolumener. Når menneskelige vurderere og automatiserede talevurderingssystemer kombineres, kan det resulterende system drage fordel af styrkerne ved hver vurderingsmetode.

For at kontinuerligt udvikle automatiserede talevurderingssystemer, skal forskning og udvikling fokusere på følgende aspekter, blandt andre:

• Opbygning af automatiske talegenkendelsessystemer med højere nøjagtighed: Da de fleste funktioner i et talevurderingssystem afhænger direkte eller indirekte af denne komponent, der konverterer testkandidatens tale til en teksttranskription, er meget nøjagtig automatiske talegenkendelse essentiel for at opnå gyldige funktioner;
• Udforskning af nye måder at kombinere menneskelige og automatiserede vurderinger: For at udnytte styrkerne ved menneskelige vurdereres vurderinger og automatiserede motors vurderinger, skal flere måder at kombinere denne dokumentation udforskes;
• Regnskab for abnormaliteter i svar, både tekniske og adfærdsmæssige: Højtydende filtre, der kan markere sådanne svar og udelukke dem fra automatiseret vurdering, er nødvendige for at sikre validiteten og pålideligheden af de resulterende vurderingsscores;
• Vurdering af spontan eller konversationel tale, der oftest optræder i dagliglivet: Mens automatiseret vurdering af sådan interaktiv tale er et vigtigt mål, stiller disse elementer flere vurderingsudfordringer, herunder samlet vurdering og scoring;
• Udforskning af dyb læringsteknologier til automatiseret talevurdering: Denne relativt nye paradigm inden for maskinlæring har produceret betydelige ydeevneforbedringer på mange kunstig intelligensopgaver i de seneste år (f.eks. automatiske talegenkendelse, billedgenkendelse), og derfor er det sandsynligt, at automatiseret vurdering også kan drage fordel af at bruge denne teknologi. Imidlertid skal der, da de fleste af disse systemer kan betragtes som “sorte kasser”-tilgange, opmærksomhed på den resulterende scores fortolkning være vigtig for at opretholde en vis grad af gennemsigtighed.

For at imødekomme en voksende og foranderlig engelsksproget elevbefolkning, skal næste generations talevurderingssystemer udvide automationen og omfanget af, hvad de kan måle, og sikre konsistens og skalerbarhed. Det betyder ikke, at det menneskelige element vil blive fjernet, især ikke i højrisikovurderinger. Menneskelige vurderere vil sandsynligvis forblive essentielle for at fange visse aspekter af tale, der vil blive svært at evaluere nøjagtigt ved hjælp af automatiserede vurderingssystemer i en længere periode, herunder de detaljerede aspekter af mundtligt indhold og diskurs. At bruge automatiserede talevurderingssystemer i isolation til konsekvensfulde vurderinger medfører også risikoen for ikke at identificere problematiske svar fra testkandidater – f.eks. svar, der er uden for emne eller plagierede, og som følge heraf kan føre til reduceret validitet og pålidelighed. At bruge både menneskelige vurderere og automatiserede vurderingssystemer i kombination kan være den bedste måde at score tale i højrisikovurderinger i den nærmeste fremtid, især hvis spontan eller konversationel tale vurderes.

Skrivet af: Keelan Evanini, direktør for taleforskning, ETS & Klaus Zechner, seniorforsker, tale, ETS

ETS arbejder med uddannelsesinstitutioner, virksomheder og regeringer for at udvikle og gennemføre vurderingsprogrammer, der giver meningsfuld information, som de kan stole på for at evaluere mennesker og programmer. ETS udvikler, administrerer og scorer mere end 50 millioner tests årligt i mere end 180 lande på mere end 9.000 lokaliteter verden over. Vi designer vores vurderinger med brancheførerindsigter, rigorøs forskning og en uforbeholden forpligtelse til kvalitet, så vi kan hjælpe uddannelses- og arbejdspladsfællesskaber med at træffe informerede beslutninger. For at lære mere besøg ETS.