Budoucnost hodnocení řeči – Thought Leaders

Po celém světě stále roste počet lidí, kteří se učí anglicky. Vzdělávací instituce a zaměstnavatelé potřebují být schopni posoudit znalost angličtiny u těchto lidí – zejména jejich schopnost mluvit, protože mluvená řeč zůstává jednou z nejdůležitějších jazykových dovedností. Výzvou pro tvůrce testů i uživatele je najít způsob, jak to udělat tak, aby to bylo přesné, rychlé a finančně dostupné. V rámci této výzvy je hodnocení těchto testů doprovázeno řadou faktorů, zejména když se jedná o různé oblasti (řeč, psaní apod.), které jsou testovány. S rostoucí poptávkou po anglických dovednostech po celém světě je nutné, aby budoucnost hodnocení řeči vypadala tak, aby mohla tyto potřeby splnit.

Odpověď na tuto otázku je částečně nalezena v historickém vývoji hodnocení řeči. Hodnocení konstruovaných mluvených odpovědí se historicky provádělo pomocí lidských hodnotitelů. Tento proces je však nákladný a zdlouhavý a má další nevýhody, včetně problémů se škálovatelností a různých nedostatků lidských hodnotitelů (například subjektivita nebo předpojatost). Jak je diskutováno v naší knize Automated Speaking Assessment: Using Language Technologies to Score Spontaneous Speech, aby se tyto výzvy řešily, stále více testů využívá technologii automatického hodnocení řeči jako jediný zdroj hodnocení nebo v kombinaci s lidskými hodnotiteli. Před nasazením automatického hodnocení je však nutné pečlivě vyhodnotit jejich výkon, zejména ve vztahu k spolehlivosti, platnosti (zda systém měří to, co má?) a spravedlivosti (tj. systém by neměl zavádět předpojatost související s podskupinami populace, jako je pohlaví nebo mateřský jazyk).

Od roku 2006 je vlastní engine pro hodnocení řeči ETS, SpeechRater®, operačně využíván v testu TOEFL® Practice Online (TPO) (který používají budoucí testující k přípravě na test TOEFL iBT®) a od roku 2019 je SpeechRater také využíván spolu s lidskými hodnotiteli pro hodnocení mluvené části testu TOEFL iBT®. Engine vyhodnocuje širokou škálu mluvených dovedností pro spontánní nesrodilou řeč, včetně výslovnosti a plynulosti, rozsahu slovní zásoby a gramatiky, a vyšších mluvených dovedností souvisejících s koherencí a postupem myšlenek. Tyto funkce jsou počítány pomocí algoritmů zpracování přirozeného jazyka (NLP) a zpracování řeči. Statistický model je poté aplikován na tyto funkce, aby bylo možné přiřadit konečné hodnocení odpovědi testujícího.

Zatímco tento model je trénován na předtím pozorovaných datech hodnocených lidskými hodnotiteli, je také přezkoumáván odborníky na obsah, aby se maximalizovala jeho platnost. Pokud je odpověď shledána jako nehodnotitelná z důvodu kvality audiozáznamu nebo jiných problémů, engine může označit ji pro další přezkum, aby se zabránilo vygenerování potenciálně nespolehlivého nebo neplatného hodnocení. Lidský hodnotitel je vždy zapojen do hodnocení mluvených odpovědí v testu TOEFL iBT s vysokými závažnostmi.

Jelikož jsou lidský hodnotitel a SpeechRater目前 společně používány pro hodnocení odpovědí testujících v testech s vysokými závažnostmi, oba hrají roli v tom, co by mohla být budoucnost hodnocení anglické jazykové způsobilosti. Lidský hodnotitel má schopnost hluboce porozumět obsahu a diskurzivní organizaci mluvené odpovědi. Naopak, automatické systémy pro hodnocení řeči mohou přesněji měřit určité detailní aspekty řeči, jako je plynulost nebo výslovnost, vykazují dokonalou konzistenci v čase, mohou snížit celkovou dobu hodnocení a náklady a jsou snáze škálovatelné pro podporu velkých objemů testování. Když jsou lidský hodnotitel a automatické systémy pro hodnocení řeči kombinovány, výsledný systém může těžit z výhod každého přístupu k hodnocení.

Aby se automatické systémy pro hodnocení řeči mohly dále vyvíjet, je nutné, aby výzkum a vývoj se zaměřily na následující aspekty, mezi jinými:

• Vytvoření automatických systémů pro rozpoznávání řeči s vyšší přesností: Jelikož většina funkcí systému pro hodnocení řeči závisí přímo nebo nepřímo na této součásti systému, která převádí řeč testujícího na textovou transkripci, je velmi přesné automatické rozpoznávání řeči nezbytné pro získání platných funkcí;
• Prozkoumání nových způsobů kombinace lidských a automatických hodnocení: Aby se využily výhody lidských hodnocení a automatických hodnocení, je nutné prozkoumat další způsoby kombinace těchto důkazů;
• Zohlednění abnormalit v odpovědích, technických i behaviorálních: Vysokovýkonné filtry, které mohou označit takové odpovědi a vyloučit je z automatického hodnocení, jsou nezbytné pro zajištění platnosti a spolehlivosti výsledných hodnocení;
• Hodnocení spontánní nebo konverzační řeči, která se vyskytuje nejčastěji v každodenním životě: Zatímco automatické hodnocení takové interaktivní řeči je důležitým cílem, tyto položky představují řadu výzev pro hodnocení, včetně celkového hodnocení a hodnocení;
• Prozkoumání hlubokých učících se technologií pro automatické hodnocení řeči: Tento relativně nedávný paradigmatický přístup v rámci strojového učení vedl k podstatnému zlepšení výkonu v mnoha úkolech umělé inteligence (AI) v posledních letech (například automatické rozpoznávání řeči, rozpoznávání obrazů), a je tedy pravděpodobné, že automatické hodnocení může také těžit z využití této technologie. Nicméně, jelikož většina těchto systémů může být považována za „černou skříňku“, bude důležité dbát na interpretovatelnost výsledného hodnocení, aby se zachovala určitá úroveň transparentnosti.

Aby se přizpůsobily rostoucí a měnící se populaci lidí, kteří se učí anglicky, budoucí systémy pro hodnocení řeči musí rozšířit automatizaci a rozsah toho, co jsou schopny měřit, aby zajistily konzistenci a škálovatelnost. To však neznamená, že lidský prvek bude odstraněn, zejména pro testy s vysokými závažnostmi. Lidský hodnotitel bude pravděpodobně i nadále nezbytný pro zachycení určitých aspektů řeči, které budou pro automatické systémy obtížně hodnotitelné, včetně detailních aspektů mluveného obsahu a diskurzu. Používání automatických systémů pro hodnocení řeči izolovaně pro rozhodující testy také riskuje, že nebude identifikovat problematické odpovědi testujících – například odpovědi, které jsou mimo téma nebo plagiáty, a jako důsledek, mohou vést ke snížení platnosti a spolehlivosti. Používání lidských hodnotitelů a automatických systémů pro hodnocení řeči v kombinaci může být nejlepším způsobem, jak hodnotit řeč v testech s vysokými závažnostmi, alespoň pro předvídatelnou budoucnost, zejména pokud se hodnotí spontánní nebo konverzační řeč.

Napsáno: Keelan Evanini, Director of Speech Research, ETS & Klaus Zechner, Managing Senior Research Scientist, Speech, ETS

ETS spolupracuje s vzdělávacími institucemi, podniky a vládami na výzkumu a vývoji programů hodnocení, které poskytují smysluplné informace, na které se lze spolehnout pro hodnocení lidí a programů. ETS vyvíjí, administruje a hodnotí více než 50 milionů testů ročně ve více než 180 zemích na více než 9 000 místech po celém světě. Naši testy jsou navrženy s hlubokým vhledem do odvětví, přísným výzkumem a neústupným závazkem vůči kvalitě, abychom mohli pomoci vzdělávacím a pracovním komunitám učinit informovaná rozhodnutí. Další informace naleznete na ETS.