Anastassia Loukina, Senior Research Scientist (NLP/Speech) at ETS – Interview Series

Anastassia Loukina je výzkumná pracovnice ve společnosti Educational Testing Services (ETS), kde se zabývá automatickým hodnocení řeči.

Její výzkumné zájmy zahrnují širokou škálu témat. Pracovala mimo jiné na moderních řeckých dialektech, rytmu řeči a automatické analýze prozodie.

Její současné práce se zaměřuje na kombinování nástrojů a metod z oblasti řečových technologií a strojového učení s poznatky ze studií o vnímání a produkci řeči za účelem vytvoření automatizovaných modelů pro hodnocení nehlasové řeči.

Zjevně máte lásku k jazykům, co vás přivedlo k této vášni?

Vyrůstala jsem v Petrohradu v Rusku a mluvila rusky a pamatuji si, jak jsem byla fascinována, když jsem se poprvé setkala s anglickým jazykem: pro některá slova existoval vzor, který umožňoval “převést” ruské slovo na anglické slovo. A pak jsem narazila na slovo, kde “můj” vzor selhal a snažila se vytvořit lepší, obecnější pravidlo. V té době samozřejmě nic nevěděla o lingvistické typologii nebo rozdílu mezi kognáty a půjčovými slovy, ale to rozdmýchalo mou zvědavost a touhu se učit další jazyky. Tato vášeň pro identifikaci vzorů v tom, jak lidé mluví, a testování jich na datech je to, co mě vedlo k fonetice, strojovému učení a práci, kterou dělám nyní.

Před svou současnou prací v oblasti Natural Language Processing (NLP) jste byla překladatelem mezi angličtinou a ruštinou a moderní řečtinou a ruštinou. Domníváte se, že vaše práce jako překladatele vám dala další vhled do některých nuancí a problémů spojených s NLP?

Má primární identita byla vždy ta výzkumná. Je pravda, že jsem svou akademickou kariéru начала jako badatelka moderní řečtiny, nebo přesněji, moderní řecké fonetiky. Ve své disertační práci jsem zkoumala fonetické rozdíly mezi několika moderními řeckými dialekty a jak se tyto rozdíly mohly vyvinout jako důsledek jazykového kontaktu mezi každým dialektem a jinými jazyky mluvenými v oblasti. Argumentovala jsem, že některé z těchto rozdílů mohly vzniknout jako důsledek jazykového kontaktu mezi každým dialektem a jinými jazyky. Ačkoli již nepracuji na moderní řečtině, změny, ke kterým dochází, když se dva jazyky setkávají, jsou stále srdcem mé práce: pouze tentokrát se zaměřuji na to, co se děje, když jedinec učí nový jazyk a jak technologie může pomoci tomuto procesu nejefektivněji.

Jde-li o anglický jazyk, existuje mnoho různých přízvuků. Jak navrhujete NLP s možností porozumět všem různým dialektům? Je to jednoduchá záležitost krmení hlubokého učícího algoritmu dalšími velkými daty z každého typu přízvuku?

Existuje několik přístupů, které byly v minulosti použity k řešení tohoto problému. Kromě vytvoření jednoho velkého modelu, který pokrývá všechny přízvuky, můžete nejdříve identifikovat přízvuk a poté použít přizpůsobený model pro tento přízvuk, nebo můžete zkusit několik modelů najednou a vybrat ten, který funguje nejlépe. Nakonec, aby bylo dosaženo dobrého výkonu na širokém rozsahu přízvuků, je zapotřebí tréninkových a evaluačních dat reprezentativních pro mnoho přízvuků, se kterými se systém může setkat.

V ETS provádíme komplexní hodnocení, aby se zajistilo, že skóre vygenerované našimi automatizovanými systémy odrážejí rozdíly ve skutečných dovednostech, které chceme měřit, a nejsou ovlivněny demografickými charakteristikami učitele, jako je jeho pohlaví, rasa nebo země původu.

Děti a/nebo jazykoví učenci často mají potíže s dokonalou výslovností. Jak překonáváte problém s výslovností?

Neexistuje žádná taková věc, jako dokonalá výslovnost: způsob, jakým mluvíme, je úzce spojen s naší identitou a jako vývojáři a výzkumníci je naším cílem zajistit, aby naše systémy byly spravedlivé pro všechny uživatele.

Jazykoví učenci i děti představují zvláštní výzvy pro systémy založené na řeči. Například dětské hlasy mají nejen velmi odlišnou akustickou kvalitu, ale děti také mluví jinak než dospělí a existuje mnoho variability mezi dětmi. Vývoj automatizovaného rozpoznávání řeči pro děti je obvykle samostatným úkolem, který vyžaduje大量 dat o dětské řeči.

Podobně, i když existuje mnoho podobností mezi jazykovými učiteli z téhož prostředí, učiteli se mohou velmi lišit ve svém použití fonetických, gramatických a lexikálních vzorů, což činí rozpoznávání řeči zvlášť náročným úkolem. Při budování našich systémů pro hodnocení anglické jazykové způsobilosti používáme data z jazykových učenců s širokým rozsahem jazykových dovedností a mateřských jazyků.

V lednu 2018 jste publikovali článek Použití vzorových odpovědí pro trénink a hodnocení automatizovaných systémů pro hodnocení řeči. Jaká jsou některá z hlavních průlomů a základy, které by měly být pochopeny z tohoto článku?

V tomto článku jsme se zabývali tím, jak kvalita tréninkových a testovacích dat ovlivňuje výkon automatizovaných systémů pro hodnocení řeči.

Automatizované systémy pro hodnocení, stejně jako mnoho jiných automatizovaných systémů, jsou trénovány na datech, která byla označena lidmi. V tomto případě se jedná o skóre přidělené lidskými hodnotiteli. Lidské hodnotitele se ne vždy shodnou ve skóre, které přidělují. Existuje několik různých strategií, které se používají v hodnocení, aby se zajistilo, že konečné skóre, které je hlášeno testovateli, zůstane velmi spolehlivé, navzdory variabilitě lidského souhlasu na úrovni jednotlivé otázky. Nicméně, protože automatizované systémy pro hodnocení jsou obvykle trénovány pomocí odpovědí na úrovni otázek, mohou nekonzistence v těchto odpovědích kvůli různým důvodům negativně ovlivnit systém.

Měli jsme možnost získat přístup k大量 dat s různou shodou mezi lidskými hodnotiteli a porovnat výkon systému za různých podmínek. Co jsme zjistili, je, že trénink systému na perfektních datech vlastně nezlepšuje jeho výkon oproti systému trénovanému na datech s více šumivými štítky. Perfektní štítky vám dávají výhodu pouze tehdy, když je váš tréninkový soubor velmi malý. Na druhé straně kvalita lidských štítků měla obrovský vliv na hodnocení systému: vaše odhady výkonu mohou být až o 30 % vyšší, pokud jste je vyhodnotili na čistých štítcích.

Hlavní poselství je, že pokud máte大量 dat a zdrojů pro čištění zlatých standardních štítků, může být chytřejší čistit štítky v evaluační sadě než štítky v tréninkové sadě. A toto zjištění se vztahuje nejen na automatizované hodnocení, ale i na mnoho dalších oblastí.

Můžete popsat nějakou svou práci v ETS?

Pracuji na systému pro hodnocení řeči, který zpracovává mluvený jazyk ve vzdělávacím kontextu. Jedním z takových systémů je SpeechRater®, který používá pokročilou technologií rozpoznávání a analýzy řeči pro hodnocení a poskytování podrobné zpětné vazby o anglické jazykové způsobilosti. SpeechRater je velmi zavedená aplikace, která existuje již více než 10 let. Buduji modely pro hodnocení pro různé aplikace a pracuji s ostatními kolegy v ETS, aby se zajistilo, že naše skóre jsou spolehlivá, spravedlivá a platná pro všechny testovací osoby. Pracujeme také s ostatními skupinami v ETS, aby se kontinuálně monitoroval výkon systému.

Kromě údržby a zlepšování našich provozních systémů prototypujeme nové systémy. Jedním z projektů, na kterém jsem velmi nadšená, je RelayReader™: aplikace navržená pro pomoc rozvíjejícím se čtenářům získat plynulost a sebevědomí. Když čte s RelayReaderem, uživatel střídá poslech a čtení nahlas knihy. Jeho čtení je poté odesláno na naše servery, aby se poskytla zpětná vazba. Z hlediska zpracování řeči je hlavním výzvou této aplikace, jak měřit učení a poskytovat akční a spolehlivou zpětnou vazbu nenápadně, bez rušení čtenářova zapojení do knihy.

Co je vaše nejoblíbenější část práce s ETS?

To, co mě původně přitáhlo k ETS, je to, že je to nezisková organizace s cílem zlepšit kvalitu vzdělávání pro všechny lidi na světě. Zatímco je samozřejmě skvělé, když výzkum vede k produktu, ocením možnost pracovat na projektech, které jsou více fundamentální povahy, ale budou pomoci s vývojem produktů v budoucnu. Oceňuji také fakt, že ETS bere otázky, jako je ochrana dat a spravedlnost, velmi vážně a všechny naše systémy podléhají velmi přísnému hodnocení, než jsou nasazeny operačně.

Ale to, co skutečně činí ETS skvělým místem pro práci, jsou lidé. Máme úžasnou komunitu vědců, inženýrů a vývojářů z mnoha různých prostředí, což umožňuje mnoho zajímavých spoluprací.

Domníváte se, že umělá inteligence někdy bude moci projít Turingovým testem?

Od 50. let 20. století existuje mnoho interpretací, jak by se měl Turingův test provádět v praxi. Existuje pravděpodobně obecná shoda v tom, že Turingův test nebyl prošel ve filozofickém smyslu, že neexistuje žádný systém umělé inteligence, který by myslel jako člověk. Nicméně, toto se také stalo velmi úzkým tématem. Většina lidí nevyvíjí své systémy, aby prošly Turingovým testem – chceme, aby dosáhly konkrétních cílů.

Pro některé z těchto úkolů, například rozpoznávání řeči nebo porozumění přirozenému jazyku, může být lidský výkon správně považován za zlatý standard. Existují však také mnoho dalších úkolů, kde bychom očekávali, že automatizovaný systém bude fungovat mnohem lépe než lidé, nebo kde automatizovaný systém a lidský odborník potřebují spolupracovat, aby dosáhli nejlepšího výsledku. Například ve vzdělávacím kontextu nechceme, aby systém umělé inteligence nahradil učitele: chceme, aby pomáhal učitelům, ať už se jedná o identifikaci vzorů v učebních trajektoriích studentů, pomoc s hodnocením nebo nalezení nejlepších výukových materiálů.

Je něco jiného, co byste rádi sdíleli o ETS nebo NLP?

Mnoho lidí zná ETS pro jeho hodnocení a automatizované systémy pro hodnocení. Ale děláme mnohem více než to. Máme mnoho schopností, od biometrie hlasu po aplikace pro mluvený dialog, a vždy hledáme nové způsoby, jak integrovat technologii do učení. Nyní, když se mnoho studentů učí z domova, otevřeli jsme některé z našich výzkumných schopností pro veřejnost.

Děkuji za rozhovor a za poskytnutí tohoto vhledu do nejnovějších pokroků v NLP a rozpoznávání řeči. Každý, kdo chce se dozvědět více, může navštívit Educational Testing Services.