Anastassia Loukina, višja raziskovalka (NLP/govor) pri ETS – serija intervjujev

Anastassia Loukina je raziskovalka pri Izobraževalne storitve testiranja (ETS), kjer se ukvarja z avtomatiziranim točkovanjem govora.

Njeni raziskovalni interesi obsegajo širok spekter tem. Med drugim se je ukvarjala s sodobnimi grškimi narečji, govornim ritmom in avtomatizirano analizo prozodije.

Njeno trenutno delo se osredotoča na združevanje orodij in metod iz govornih tehnologij in strojnega učenja z vpogledi iz študij o zaznavanju/produkciji govora, da bi zgradila avtomatizirane modele točkovanja za vrednotenje tujerodnega govora.

Očitno imate radi jezike, kaj vas je pripeljalo do te strasti?

Odraščal sem ob ruskem govorjenju v Sankt Peterburgu v Rusiji in spomnim se, da sem bil očaran, ko sem se prvič seznanil z angleškim jezikom: za nekatere besede je obstajal vzorec, ki je omogočil »pretvorbo« ruske besede v angleško besedo. In potem bi naletel na besedo, pri kateri je "moj" vzorec spodletel, in poskušal izmisliti boljše, bolj splošno pravilo. Takrat seveda nisem vedel ničesar o jezikovni tipologiji ali razliki med sorodnimi in izposojenimi besedami, vendar je to spodbudilo mojo radovednost in željo po učenju več jezikov. Ta strast do prepoznavanja vzorcev v tem, kako ljudje govorijo, in njihovega testiranja na podatkih me je pripeljala do fonetike, strojnega učenja in dela, ki ga zdaj opravljam.

Pred trenutnim delom na področju obdelave naravnega jezika (NLP) ste bili prevajalec med angleščino-ruščino in sodobno grščino-ruščino. Ali menite, da vam je delo prevajalca dalo dodaten vpogled v nekatere nianse in težave, povezane z NLP?

Moja primarna identiteta je bila vedno identiteta raziskovalca. Res je, da sem svojo akademsko kariero začel kot poznavalec nove grščine, natančneje novogrške fonetike. Za svoje doktorsko delo sem raziskoval fonetične razlike med več novogrškimi narečji in kako bi lahko razlike med temi narečji povezali z zgodovino območja. Trdil sem, da so nekatere razlike med narečji lahko nastale kot posledica jezikovnega stika med vsakim narečjem in drugimi jeziki, ki se govorijo na tem območju. Čeprav se ne ukvarjam več s sodobno grščino, so spremembe, ki se zgodijo, ko dva jezika prideta v stik drug z drugim, še vedno v središču mojega dela: le da se tokrat osredotočam na to, kaj se zgodi, ko se posameznik uči novega jezika, in kako tehnologija lahko pomaga narediti to najbolj učinkovito.

Ko gre za angleški jezik, obstaja nešteto naglasov. Kako oblikujete NLP z zmožnostjo razumevanja vseh različnih narečij? Ali je preprosto vnesti algoritem globokega učenja dodatne velike podatke iz vsake vrste naglasa?

V preteklosti je bilo za reševanje tega uporabljenih več pristopov. Poleg izdelave enega velikega modela, ki pokriva vse poudarke, lahko najprej identificirate naglas in nato uporabite model po meri za ta naglas ali pa preizkusite več modelov hkrati in izberete tistega, ki najbolje deluje. Konec koncev, da bi dosegli dobro delovanje na širokem naboru poudarkov, potrebujete podatke o usposabljanju in ocenjevanju, ki so reprezentativni za številne poudarke, s katerimi se sistem lahko sreča.

Pri ETS izvajamo obsežno vrednotenje, da zagotovimo, da rezultati, ki jih ustvarijo naši avtomatizirani sistemi, odražajo razlike v dejanskih spretnostih, ki jih želimo izmeriti, in nanje ne vplivajo demografske značilnosti učenca, kot je njihov spol, rasa ali država izvora.

Otroci in/ali učenci jezikov imajo pogosto težave s popolno izgovorjavo. Kako premagujete težave z izgovorjavo?

Popolna izgovorjava ne obstaja: način govora je tesno povezan z našo identiteto in naš cilj kot razvijalcev in raziskovalcev je zagotoviti, da so naši sistemi pošteni do vseh uporabnikov.

Tako učenci jezikov kot otroci predstavljajo posebne izzive za sisteme, ki temeljijo na govoru. Na primer, otroški glasovi nimajo le zelo različne akustične kakovosti, ampak otroci tudi govorijo drugače od odraslih in med otroki je veliko razlik. Zato je razvoj avtomatiziranega prepoznavanja govora za otroke običajno ločena naloga, ki zahteva veliko količino govornih podatkov otrok.

Podobno, čeprav obstaja veliko podobnosti med učenci jezika iz istega ozadja, se učenci lahko zelo razlikujejo pri uporabi fonetičnih, slovničnih in leksikalnih vzorcev, zaradi česar je prepoznavanje govora še posebej zahtevna naloga. Pri gradnji naših sistemov za ocenjevanje znanja angleškega jezika uporabljamo podatke učencev jezikov s širokim spektrom znanja in maternega jezika.

Januarja 2018 ste objavili 'Uporaba vzorčnih odgovorov za usposabljanje in ocenjevanje avtomatiziranih sistemov za ocenjevanje govora'. Kateri so nekateri glavni prebojni temelji, ki jih je treba razumeti iz tega dokumenta?

V tem članku smo preučili, kako kakovost podatkov o usposabljanju in testiranju vpliva na delovanje avtomatiziranih sistemov točkovanja.

Avtomatizirani sistemi točkovanja so tako kot mnogi drugi avtomatizirani sistemi usposobljeni na podatkih, ki so bili označeni za ljudi. V tem primeru so to ocene, ki jih dodelijo človeški ocenjevalci. Človeški ocenjevalci se ne strinjajo vedno glede točk, ki jih dodelijo. Obstaja več različnih strategij, ki se uporabljajo pri ocenjevanju, da se zagotovi, da končni rezultat, sporočen testirancu, ostane zelo zanesljiv kljub različnim človeškim strinjanjem na ravni posameznega vprašanja. Ker pa se avtomatizirani sistemi za točkovanje običajno usposabljajo z rezultati na ravni odziva, lahko kakršne koli nedoslednosti v takšnih rezultatih zaradi različnih razlogov, opisanih zgoraj, negativno vplivajo na sistem.

Lahko smo imeli dostop do velike količine podatkov z različnim soglasjem med človeškimi ocenjevalci in primerjali delovanje sistema v različnih pogojih. Ugotovili smo, da usposabljanje sistema za popolne podatke dejansko ne izboljša njegove zmogljivosti v primerjavi s sistemom, ki je usposobljen za podatke z bolj hrupnimi oznakami. Popolne oznake vam dajejo prednost le, če je vaša skupna velikost kompleta za usposabljanje zelo majhna. Po drugi strani pa je kakovost človeških oznak močno vplivala na vrednotenje sistema: vaše ocene uspešnosti so lahko do 30 % višje, če ste ocenjevali na čistih etiketah.

Sporočilo za s seboj je, da če imate veliko podatkov in virov za čiščenje nalepk zlatega standarda, bi bilo morda pametneje očistiti oznake v ocenjevalnem nizu namesto nalepk v učnem nizu. In ta ugotovitev ne velja samo za samodejno točkovanje, ampak tudi za številna druga področja.

Ali lahko opišete nekaj svojega dela pri ETS?

Delam na sistemu za ocenjevanje govora, ki obdeluje govorjeni jezik v izobraževalnem kontekstu. Eden takšnih sistemov je SpeechRater®, ki uporablja napredno tehnologijo za prepoznavanje in analizo govora za ocenjevanje in zagotavljanje podrobnih povratnih informacij o znanju govora angleškega jezika. SpeechRater je zelo zrela aplikacija, ki obstaja že več kot 10 let. Gradim modele točkovanja za različne aplikacije in sodelujem z drugimi kolegi v ETS, da zagotovim, da so naši rezultati zanesljivi, pravični in veljavni za vse udeležence testov. Sodelujemo tudi z drugimi skupinami v ETS za stalno spremljanje delovanja sistema.

Poleg vzdrževanja in izboljševanja naših operativnih sistemov izdelujemo prototipe novih sistemov. Eden od projektov, nad katerim sem zelo navdušen, je RelayReader™: aplikacija, zasnovana za pomoč bralcem v razvoju, da pridobijo tekoče in samozavestno znanje. Pri branju z RelayReaderjem uporabnik izmenično posluša in glasno bere knjigo. Njihovo branje se nato pošlje našim strežnikom za zagotavljanje povratnih informacij. Kar zadeva obdelavo govora, je glavni izziv te aplikacije, kako izmeriti učenje in nevsiljivo zagotoviti uporabne in zanesljive povratne informacije, ne da bi ovirali bralčevo sodelovanje s knjigo.

Kaj je vaš najljubši del dela z ETS?

Kar me je na začetku pritegnilo k ETS je, da je neprofitna organizacija z misijo izboljšati kakovost izobraževanja za vse ljudi po vsem svetu. Čeprav je seveda super, ko raziskave vodijo do izdelka, cenim, da imam priložnost delati na projektih, ki so bolj temeljne narave, vendar bodo pomagali pri razvoju izdelka v prihodnosti. Cenim tudi dejstvo, da ETS zelo resno jemlje vprašanja, kot sta zasebnost in poštenost podatkov, in da so vsi naši sistemi podvrženi zelo strogi oceni, preden se začnejo uporabljati.

Toda tisto, zaradi česar je ETS resnično odličen kraj za delo, so njegovi ljudje. Imamo neverjetno skupnost znanstvenikov, inženirjev in razvijalcev iz različnih okolij, ki omogoča veliko zanimivih sodelovanj.

Ali verjamete, da bo AI kdaj uspel prestati Turingov test?

Od petdesetih let 1950. stoletja je bilo veliko razlag o tem, kako naj se Turingov test izvede v praksi. Verjetno obstaja splošno soglasje, da Turingov test v filozofskem smislu ni bil opravljen, da ni sistema AI, ki bi razmišljal kot človek. Je pa tudi to postala zelo nišna tema. Večina ljudi ne zgradi svojih sistemov, da bi opravili Turingov test – želimo, da dosežejo določene cilje.

Za nekatere od teh nalog, na primer prepoznavanje govora ali razumevanje naravnega jezika, lahko človeška zmogljivost upravičeno velja za zlati standard. Obstaja pa tudi veliko drugih nalog, pri katerih bi pričakovali, da bo avtomatiziran sistem opravil veliko bolje kot ljudje, ali kjer morata avtomatiziran sistem in človeški strokovnjak sodelovati, da dosežeta najboljši rezultat. Na primer, v izobraževalnem kontekstu ne želimo, da bi sistem umetne inteligence nadomestil učitelja: želimo, da pomaga učiteljem, pa naj gre za prepoznavanje vzorcev v učnih poteh učencev, pomoč pri ocenjevanju ali iskanju najboljših učnih gradiv.

Ali želite še kaj povedati o ETS ali NLP?

Veliko ljudi pozna ETS zaradi ocenjevanja in avtomatiziranih sistemov točkovanja. Vendar delamo veliko več kot to. Imamo veliko zmogljivosti, od glasovne biometrije do aplikacij za govorni dialog in vedno iščemo nove načine za integracijo tehnologije v učenje. Zdaj, ko se veliko študentov uči od doma, smo več naših raziskovalnih zmogljivosti odprli širši javnosti.

Hvala za intervju in za ta vpogled v najnovejši napredek v NLP in prepoznavanju govora. Kdor želi izvedeti več, lahko obišče Izobraževalne storitve testiranja.