Fremtiden for talevurdering – Tankeledere

Verden over øker antallet engelskspråklige elever. Utdannelsesinstitusjoner og arbeidsgivere må kunne vurdere engelsk språkferdighet hos språkelevene – spesielt taleevnen, da tale er en av de viktigste språkferdighetene. Utfordringen, både for utviklere av vurderingstester og sluttbrukere, er å finne en måte å gjøre dette på som er nøyaktig, rask og økonomisk forsvarlig. Som en del av denne utfordringen kommer det med sine egne faktorer å score disse testene, særlig når vi ser på de ulike områdene (tale, skriving osv.) som testes. Med økende etterspørsel etter engelsk språkferdighet verden over, hva må fremtiden for talevurdering se ut for å møte disse behovene?

Svaret på dette spørsmålet finnes delvis i talevurderingens utvikling hittil. Vurdering av konstruerte muntlige svar er historisk sett gjort av menneskelige vurderere. Denne prosessen er imidlertid ofte dyrekjøpt og treg, og har også andre utfordringer, inkludert skalerbarhet og mangler hos menneskelige vurderere (f.eks. vurdererens subjektivitet eller fordommer). Som diskutert i vår bok Automated Speaking Assessment: Using Language Technologies to Score Spontaneous Speech, for å møte disse utfordringene, bruker en økende mengde tester nå automatisert talevurderingsteknologi som eneste vurderingskilde eller i kombinasjon med menneskelige vurderere. Før automatiske vurderingssystemer settes i drift, må imidlertid deres ytelse vurderes grundig, særlig i forhold til scorens pålitelighet, gyldighet (måler systemet det det skal?) og rettferdighet (dvs. systemet skal ikke innføre fordommer relatert til undergrupper som kjønn eller morsmål).

Siden 2006 har ETS’ eget talevurderingssystem, SpeechRater®, vært i drift i TOEFL® Practice Online (TPO)-testen (brukt av studenter som forbereder seg til TOEFL iBT®-testen), og siden 2019 har SpeechRater også blitt brukt, sammen med menneskelige vurderere, for å score tale-delen av TOEFL iBT®-testen. Systemet vurderer et bredt spekter av taleferdigheter for spontant, ikke-nativt tale, inkludert uttale og flyt, ordforråd og grammatikk, samt høyere nivåer av taleferdigheter relatert til kohesjon og ideutvikling. Disse egenskapene beregnes ved hjelp av naturlig språkbehandling (NLP) og talebehandlingsalgoritmer. En statistisk modell anvendes deretter på disse egenskapene for å tildele en sluttpoeng til en testkandidats svar.

Mens denne modellen er trent på tidligere observerte data som er scoret av menneskelige vurderere, gjennomgås den også av innholdseksperten for å maksimere dens gyldighet. Hvis et svar er funnet å være ikke-vurderbart på grunn av lydkvalitet eller andre problemer, kan systemet flagge det for videre gjennomgang for å unngå å generere en potensielt upålitelig eller ugyldig poeng. Menneskelige vurderere er alltid involvert i scoringen av muntlige svar i høyrisikovurderinger av TOEFL iBT-talen.

Ettersom menneskelige vurderere og SpeechRater for tiden brukes sammen for å score testkandidaters svar i høyrisikovurderinger, spiller begge en rolle i hva fremtiden for vurdering av engelsk språkferdighet kan bli. Menneskelige vurderere har evnen til å forstå innholdet og diskursorganiseringen av et muntlig svar på en dyptgående måte. I motsetning kan automatiserte talevurderingssystemer måle visse detaljerte aspekter av tale mer nøyaktig, som flyt eller uttale, vise fullstendig konsistens over tid, kan redusere den totale scoringstiden og kostnadene, og er mer lett skalerbart for å støtte store testvolumer. Når menneskelige vurderere og automatiserte talevurderingssystemer kombineres, kan det resulterende systemet dra nytte av styrkene til hver vurderingsmetode.

For å kunne videreutvikle automatiserte talevurderingssystemer, må forskning og utvikling fokusere på følgende aspekter, blant andre:

• Bygging av automatiske talegjenkjenningssystemer med høyere nøyaktighet: Ettersom de fleste egenskaper i et talevurderingssystem avhenger direkte eller indirekte av denne komponenten i systemet som konverterer testkandidatens tale til en teksttranskript, er svært nøyaktig automatiske talegjenkjenning essensiell for å få gyldige egenskaper;
• Utvidelse av nye måter å kombinere menneskelige og automatiske poeng: For å kunne dra full nytte av styrkene til både menneskelige vurdereres poeng og automatiske systemers poeng, må flere måter å kombinere disse bevisene utforskes;
• Imøtekommenhet av unormaliteter i svar, både tekniske og atferdsmessige: Høytytende filtre som kan flagge slike svar og ekskludere dem fra automatiske vurderinger, er nødvendige for å sikre gyldigheten og påliteligheten av de resulterende vurderingsscorene;
• Vurdering av spontant eller konversasjonelt tale som skjer mest i daglig liv: Mens automatiske vurderinger av slike interaktive tale er et viktig mål, presenterer disse elementene flere vurderingsutfordringer, inkludert generell vurdering og scoring;
• Utvidelse av dyptlæringsteknologier for automatisert talevurdering: Denne relativt nye paradigmen innen maskinlæring har produsert betydelige ytelsesforbedringer på mange kunstig intelligensoppgaver de siste årene (f.eks. automatiske talegjenkjenning, bildeigenkjenning), og det er derfor sannsynlig at automatiske vurderinger også kan dra nytte av å bruke denne teknologien. Imidlertid, da de fleste av disse systemene kan betraktes som “black-box”-tilnærminger, vil oppmerksomhet på scorens tolkbarhet være viktig for å opprettholde en viss grad av transparens.

For å imøtekomme en voksende og endrende engelskspråklig elevmasse, må neste generasjons talevurderingssystemer utvide automatiseringen og rekkevidden av hva de kan måle, og sikre konsistens og skalerbarhet. Dette betyr ikke at det menneskelige elementet vil fjernes, spesielt for høyrisikovurderinger. Menneskelige vurderere vil sannsynligvis forbli essensielle for å fange visse aspekter av tale som vil forbli vanskelige å vurdere nøyaktig med automatiske vurderingssystemer i en periode fremover, inkludert detaljerte aspekter av taleinnhold og diskurs. Bruk av automatiske talevurderingssystemer i isolasjon for konsekvensfulle vurderinger løper også risikoen for ikke å identifisere problematiske svar fra testkandidater – for eksempel svar som er utenfor tema eller plagierer, og som en konsekvens kan føre til redusert gyldighet og pålitelighet. Bruk av både menneskelige vurderere og automatiske vurderingssystemer i kombinasjon kan være den beste måten å score tale i høyrisikovurderinger for en overskuelig fremtid, særlig hvis spontant eller konversasjonelt tale vurderes.

Skrivet av: Keelan Evanini, direktør for taleforskning, ETS & Klaus Zechner, seniorforsker, tale, ETS

ETS samarbeider med utdannelsesinstitusjoner, bedrifter og myndigheter for å gjennomføre forskning og utvikle vurderingsprogrammer som gir meningsfulle informasjon de kan stole på for å vurdere mennesker og programmer. ETS utvikler, administrerer og scorer over 50 millioner tester årlig i over 180 land på over 9 000 steder verden over. Vi designer våre vurderinger med industrens ledende innsikt, streng forskning og en uforbeholden forpliktelse til kvalitet, så vi kan hjelpe utdannings- og arbeidssamfunnene med å ta informerte beslutninger. For å lære mer, besøk ETS.