Framtiden för talbedömning – tankeledare

Över hela världen fortsätter antalet engelska språkstudenter att öka. Utbildningsinstitutioner och arbetsgivare behöver kunna bedöma engelska språkfärdigheter hos språkstudenter – särskilt deras förmåga att tala, eftersom talat språk förblir en av de viktigaste språkfärdigheterna. Utmaningen, både för utvecklare av bedömningar och slutanvändare, är att hitta ett sätt att göra detta som är tillförlitligt, snabbt och ekonomiskt genomförbart. Som en del av denna utmaning kommer bedömning av dessa bedömningar med sin egen uppsättning faktorer, särskilt när vi överväger de olika områden (tal, skrivning etc.) som testas. Med tanke på att efterfrågan på engelska språkfärdigheter över hela världen förväntas öka, vad skulle framtiden för talbedömning behöva se ut för att tillgodose dessa behov?

SVaret på den frågan, till viss del, finns i utvecklingen av talbedömning hittills. Betygssättning av konstruerade talade svar har historiskt sett gjorts med hjälp av mänskliga bedömare. Denna process tenderar dock att vara dyr och långsam och har ytterligare utmaningar, inklusive skalbarhet och olika brister hos mänskliga bedömare (t.ex. bedömarsubjektivitet eller partiskhet). Som diskuteras i vår bok Automated Speaking Assessment: Using Language Technologies to Score Spontaneous Speech, för att tackla dessa utmaningar använder allt fler bedömningar automatiserad talbedömningsteknologi som den enda källan till betygsättning eller i kombination med mänskliga bedömare. Innan automatiserade betygsättningsmotorer distribueras måste deras prestanda dock utvärderas noggrant, särskilt i förhållande till betygsättningens tillförlitlighet, giltighet (mäter systemet vad det är tänkt att mäta?) och rättvisthet (dvs. systemet ska inte införa partiskhet relaterad till populationens undergrupper som kön eller modersmål).

Sedan 2006 har ETS eget talbedömningssystem, SpeechRater®, varit operativt i TOEFL® Practice Online (TPO)-bedömningen (används av blivande testdeltagare för att förbereda sig för TOEFL iBT®-bedömningen), och sedan 2019 har SpeechRater också använts, tillsammans med mänskliga bedömare, för att betygsätta talsektionen i TOEFL iBT®-bedömningen. Motorn utvärderar ett brett spektrum av talade färdigheter för spontant icke-naturligt tal, inklusive uttal och flyt, ordförråd och grammatik, och högre nivåers talade färdigheter relaterade till sammanhang och idéutveckling. Dessa funktioner beräknas med hjälp av naturlig språkbehandling (NLP) och talbehandlingsalgoritmer. En statistisk modell tillämpas sedan på dessa funktioner för att tilldela ett slutgiltigt betyg till en testdeltagares svar.

Medan denna modell tränas på tidigare observerade data som betygsatts av mänskliga bedömare, granskas den också av innehållsexperter för att maximera dess giltighet. Om ett svar bedöms vara icke-betygsättbart på grund av ljudkvalitet eller andra problem, kan motorn flagga det för ytterligare granskning för att undvika att generera ett potentiellt otillförlitligt eller ogiltigt betyg. Mänskliga bedömare är alltid involverade i betygsättningen av talade svar i högriskbedömningar av TOEFL iBT-tal.

Som mänskliga bedömare och SpeechRater för närvarande används tillsammans för att betygsätta testdeltagarnas svar i högriskbedömningar av tal, spelar båda en roll i vad framtiden för bedömning av engelska språkfärdigheter kan vara. Mänskliga bedömare har förmågan att förstå innehållet och diskursorganisationen i ett talat svar på ett djupt sätt. I kontrast kan automatiserade talbedömningssystem mer exakt mäta vissa detaljerade aspekter av tal, som flyt eller uttal, visa perfekt konsekvens över tid, kan minska den totala betygsättningstiden och kostnaden och är lättare att skala för att stödja stora testvolymer. När mänskliga bedömare och automatiserade talbedömningssystem kombineras kan det resulterande systemet dra nytta av styrkorna hos varje betygsättningsmetod.

För att kontinuerligt utveckla automatiserade talbedömningssystem behöver forskning och utveckling fokusera på följande aspekter, bland annat:

• Att bygga automatiska taligenkänningssystem med högre noggrannhet: Eftersom de flesta funktioner i ett talbedömningssystem direkt eller indirekt beror på denna komponent i systemet som omvandlar testdeltagarens tal till en texttranskription, är hög noggrannhet i automatisk taligenkänning avgörande för att få giltiga funktioner;
• Att utforska nya sätt att kombinera mänskliga och automatiserade betyg: För att fullt ut dra nytta av styrkorna hos mänskliga bedömares betyg och automatiserade motorers betyg, behöver fler sätt att kombinera denna bevisning utforskas;
• Att hantera avvikelser i svar, både tekniska och beteendemässiga: Högpresterande filter som kan flagga sådana svar och utesluta dem från automatiserad betygsättning är nödvändiga för att säkerställa giltigheten och tillförlitligheten hos de resulterande bedömningsbetygen;
• Att bedöma spontant eller konversationellt tal som oftast förekommer i vardagslivet: Medan automatiserad betygsättning av sådant interaktivt tal är ett viktigt mål, presenterar dessa artiklar flera betygsättningsutmaningar, inklusive övergripande utvärdering och betygsättning;
• Att utforska djupinlärningstekniker för automatiserad talbedömning: Denna relativt nyliga paradigm inom maskinlärning har producerat betydande prestandaförbättringar i många konstgjorda intelligensuppgifter under de senaste åren (t.ex. automatisk taligenkänning, bildigenkänning), och det är därför troligt att automatiserad betygsättning också kan dra nytta av att använda denna teknik. Men eftersom de flesta av dessa system kan betraktas som “svarta lådor”-metoder, kommer uppmärksamhet på tolkbarheten hos det resulterande betyget att vara viktigt för att upprätthålla en viss grad av transparens.

För att tillgodose en växande och föränderlig engelsktalande befolkning, måste nästa generations talbedömningssystem expandera automatiseringen och utöka det som de kan mäta, möjliggöra konsekvens och skalbarhet. Det betyder inte att den mänskliga faktorn kommer att tas bort, särskilt för högriskbedömningar. Mänskliga bedömare kommer troligen att förbli avgörande för att fånga vissa aspekter av tal som kommer att förbli svåra att utvärdera exakt med automatiserade betygsättningsystem under en längre tid, inklusive de detaljerade aspekterna av talat innehåll och diskurs. Att använda automatiserade talbedömningssystem i isolering för konsekvensbedömningar riskerar också att inte identifiera problematiska svar från testdeltagare – till exempel svar som är avvikande eller plagierade, och som en följd kan leda till minskad giltighet och tillförlitlighet. Att använda både mänskliga bedömare och automatiserade betygsättningsystem i kombination kan vara det bästa sättet att betygsätta tal i högriskbedömningar under överskådlig tid, särskilt om spontant eller konversationellt tal utvärderas.

Skrivet av: Keelan Evanini, chef för talresearch, ETS & Klaus Zechner, chef för seniora forskare, tal, ETS

ETS arbetar med utbildningsinstitutioner, företag och regeringar för att genomföra forskning och utveckla bedömningsprogram som tillhandahåller meningsfull information som de kan lita på för att utvärdera människor och program. ETS utvecklar, administrerar och betygsätter mer än 50 miljoner tester varje år i mer än 180 länder på mer än 9 000 platser över hela världen. Vi utformar våra bedömningar med branschledande insikt, rigorös forskning och ett oförsonligt åtagande för kvalitet så att vi kan hjälpa utbildnings- och arbetsplatsgemenskaper att fatta informerade beslut. För att lära mer, besök ETS.