Анастасія Лукіна, старший науковий співробітник (NLP/Speech) в ETS – Серія інтерв’ю

Анастасія Лукіна – науковий співробітник в Educational Testing Services (ETS), де вона працює над автоматичним оцінюванням мови.

Її наукові інтереси охоплюють широкий спектр тем. Вона працювала, серед іншого, над сучасними грецькими діалектами, ритмом мови та автоматичним аналізом просодії.

Її поточна робота зосереджена на поєднанні інструментів та методів мовної технології та машинного навчання з знаннями про сприйняття та виробництво мови для створення автоматичних моделей оцінювання мови для оцінки мови не-рідних мовців.

Ви явно маєте любов до мов, що спонукало вас до цього захоплення?

Я виросла, говорячи російською в Санкт-Петербурзі, Росія, і пам’ятаю, як мене зацікавило, коли я вперше познайомилася з англійською мовою: для деяких слів існувала певна закономірність, яка дозволяла “перетворити” російське слово на англійське. І потім я натрапляла на слово, де “моя” закономірність не спрацьовувала, і я намагалася створити кращу, більш загальну закономірність. На той час, звичайно, я нічого не знала про лінгвістичну типологію чи різницю між когнатами та запозиченими словами, але це розбурхало мою цікавість і бажання вивчити більше мов. Ця пристрасть до виявлення закономірностей у тому, як люди говорять, і перевірки їх на даних – це те, що привело мене до фонетики, машинного навчання та роботи, яку я зараз роблю.

До вашої поточної роботи в галузі обробки природної мови (NLP) ви були перекладачем між англійською, російською та сучасною грецькою. Чи вважаєте ви, що ваша робота перекладачем дала вам додаткові знання про деякі нюанси та проблеми, пов’язані з NLP?

Моя основна ідентичність завжди була науковцем. Правда, що я почала свою академічну кар’єру як дослідниця сучасної грецької мови, або, більш конкретно, фонетики сучасної грецької мови. Для своєї докторської роботи я досліджувала фонетичні відмінності між декількома сучасними грецькими діалектами та тим, як ці відмінності могли бути пов’язані з історією регіону. Я стверджувала, що деякі відмінності між діалектами могли виникнути внаслідок мовного контакту між кожним діалектом та іншими мовами, що говорилися в цьому регіоні. Хоча я більше не працюю над сучасною грецькою, зміни, які відбуваються, коли дві мови вступають у контакт, все ще є в центрі моєї роботи: тільки цього разу я зосереджуюся на тому, що відбувається, коли людина вивчає нову мову, і як технології можуть допомогти зробити це найбільш ефективно.

Якщо говорити про англійську мову, то існує безліч акцентів. Як ви проектуєте NLP з можливістю розуміти всі різні діалекти? Чи це проста справа – годувати глибинний алгоритм великими даними з кожного типу акценту?

Існує кілька підходів, які були використані в минулому для вирішення цієї проблеми. Окрім створення однієї великої моделі, яка охоплює всі акценти, ви можете спочатку визначити акцент, а потім використовувати спеціальну модель для цього акценту, або ви можете спробувати кілька моделей одночасно і вибрати ту, яка працює найкраще. В кінцевому підсумі, щоб досягти хорошої продуктивності на широкому діапазоні акцентів, вам потрібно навчальні та оціночні дані, які представляють багато акцентів, з якими система може зустрітися.

В ETS ми проводимо комплексні оцінки, щоб переконатися, що оцінки, вироблені нашими автоматичними системами, відображають реальні відмінності у навичках, які ми хочемо оцінити, і не залежать від демографічних характеристик учнів, таких як їх стать, раса чи країна походження.

Діти та/або мовні учні часто мають труднощі з ідеальною вимовою. Як ви подолаєте проблему вимови?

Ідеальної вимови не існує: спосіб, яким ми говоримо, тісно пов’язаний з нашою ідентичністю, і як розробники та дослідники наша мета – переконатися, що наші системи є справедливими для всіх користувачів.

І діти, і мовні учні представляють особливі виклики для систем, заснованих на мові. Наприклад, дитячий голос має зовсім іншу акустичну якість, а діти говорять інакше, ніж дорослі, і існує багато варіативності між дітьми. Як результат, розробка автоматичної системи розпізнавання мови для дітей зазвичай є окремим завданням, яке вимагає великої кількості дитячої мовної інформації.

Аналогічно, хоча існує багато подібностей між мовними учнями з одного й того ж походження, учні можуть сильно відрізнятися у використанні фонетичних, граматичних та лексичних моделей, що робить розпізнавання мови особливо складним завданням. При створенні наших систем для оцінювання англійської мови ми використовуємо дані мовних учнів з різними рівнями володіння та рідними мовами.

У січні 2018 року ви опублікували роботу “Використання зразкових відповідей для навчання та оцінювання автоматичних систем оцінювання мови“. Які основні прориви та фундаментальні знання слід розуміти з цієї роботи?

У цій роботі ми розглянули, як якість навчальних та оціночних даних впливає на продуктивність автоматичних систем оцінювання.

Автоматичні системи оцінювання, як і багато інших автоматичних систем, тренуються на даних, які були позначені людьми. У цьому випадку це оцінки, призначені людськими оцінювачами. Людські оцінювачі не завжди погоджуються в оцінках, які вони призначують. Існує кілька різних стратегій, які використовуються в оцінюванні для забезпечення того, щоб остаточна оцінка, повідомлена тестируваному, залишалася високою, незважаючи на варіативність людської згоди на рівні окремого питання. Однак, оскільки автоматичні системи оцінювання зазвичай тренуються за допомогою оцінок на рівні відповіді, будь-які несумісності в таких оцінках через різні причини, описані вище, можуть негативно вплинути на систему.

Ми мали можливість отримати доступ до великої кількості даних з різними рівнями згоди між людьми та порівняти продуктивність системи за різних умов. Що ми виявили, так це те, що навчання системи на ідеальних даних не покращує її продуктивність порівняно з системою, тренованою на даних з більш шумними мітками. Ідеальні мітки дають вам перевагу лише тоді, коли розмір вашої навчальної вибірки дуже малий. З іншого боку, якість людських міток мала величезний вплив на оцінку системи: ваші оцінки продуктивності можуть бути на 30% вищими, якщо ви оцінюєте їх на чистих мітках.

Висновок полягає в тому, що якщо у вас багато даних та ресурсів для очищення ваших золотих стандартних міток, то можливо буде розумніше очистити мітки в оціночній вибірці, а не в навчальній вибірці. І це відкриття застосовується не лише до автоматичного оцінювання, а й до багатьох інших галузей.

Чи можете ви описати деяку свою роботу в ETS?

Я працюю над системою оцінювання мови, яка обробляє мову в освітньому контексті. Одна з таких систем – SpeechRater®, яка використовує передові технології розпізнавання мови та аналізу для оцінювання та надання детальної зворотної зв’язку щодо англійської мови. SpeechRater – це дуже зріла програма, яка існує вже понад 10 років. Я створюю моделі оцінювання для різних застосунків та працюю з іншими колегами в ETS, щоб переконатися, що наші оцінки є надійними, справедливими та дійсними для всіх тестируваних. Ми також працюємо з іншими групами в ETS, щоб постійно моніторити продуктивність системи.

Крім підтримки та поліпшення наших робочих систем, ми створюємо прототипи нових систем. Одним з проектів, над яким я дуже рада працювати, є RelayReader™: застосунок, призначений для допомоги учням у розвитку їхньої мовної компетентності та впевненості. Коли ви читаєте з RelayReader, користувач по черзі слухає та читає текст. Його читання потім надсилається на наші сервери для отримання зворотної зв’язки. Що стосується обробки мови, то основним викликом цієї програми є те, як виміряти навчання та надавати дієву та надійну зворотню зв’язку непомітно, без втручання у взаємодію користувача з текстом.

Яке ваше улюблене місце роботи в ETS?

То, що спочатку привабило мене до ETS, полягає в тому, що це некомерційна організація з місією покращення якості освіти для всіх людей у світі. Хоча, звичайно, чудово, коли дослідження приводять до появи продукту, я ціную можливість працювати над проектами, які є більш фундаментальними за своєю природою, але допоможуть у розробці продукту в майбутньому. Я також ціную той факт, що ETS серйозно ставиться до питань, таких як захист даних та справедливість, і що всі наші системи проходять дуже сувору оцінку перед тим, як бути розгорнутими.

Але те, що справді робить ETS чудовим місцем для роботи, – це люди. У нас є чудова спільнота вчених, інженерів та розробників з багатьох різних країн, що дозволяє здійснювати багато цікавих співробітництв.

Чи вважаєте ви, що штучний інтелект коли-небудь зможе пройти тест Тюрінга?

Від 1950-х років існує багато різних інтерпретацій того, як тест Тюрінга повинен бути проведений на практиці. Імовірно, існує загальна згода в тому, що тест Тюрінга не був пройдений у філософському сенсі, тобто не існує жодної системи штучного інтелекту, яка думає як людина. Однак це також стало дуже вузькою темою. Більшість людей не будують свої системи для проходження тесту Тюрінга – ми хочемо, щоб вони досягали конкретних цілей.

Для деяких завдань, наприклад, розпізнавання мови або розуміння природної мови, продуктивність людини може бути справедливо розглянута як золотий стандарт. Однак існують також багато інших завдань, де ми очікуємо, що автоматична система буде працювати значно краще, ніж люди, або де автоматична система та людина-експерт повинні працювати разом, щоб досягти найкращого результату. Наприклад, в освітньому контексті ми не хочемо, щоб система штучного інтелекту замінила вчителя: ми хочемо, щоб вона допомогла вчителям, наприклад, у визначенні закономірностей у навчанні учнів, допомозі у оцінці або пошуку найкращих навчальних матеріалів.

Чи є щось ще, що ви хотіли б поділитися про ETS чи NLP?

Багато людей знають ETS за його оцінки та автоматичні системи оцінювання. Однак ми робимо значно більше. У нас є багато можливостей, від біометрії голосу до застосунків діалогової мови, і ми завжди шукаємо нові способи інтегрувати технології в навчання. Тепер, коли багато учнів вивчають вдома, ми відкрили деякі з наших дослідницьких можливостей для загальної громадськості.

Дякуємо за інтерв’ю та за надання цього погляду на останні досягнення в галузі NLP та розпізнавання мови. Хто бажає дізнатися більше, може відвідати Educational Testing Services.