Анастасия Лукина, старший научный сотрудник (NLP/Сpeech) в ETS – Интервью

Анастасия Лукина – научный сотрудник в Educational Testing Services (ETS), где она работает над автоматической оценкой речи.

Ее исследовательские интересы охватывают широкий спектр тем. Она работала, в частности, над современными греческими диалектами, ритмом речи и автоматическим анализом просодии.

В настоящее время ее работа сосредоточена на объединении инструментов и методов из речевых технологий и машинного обучения с идеями из исследований по восприятию и производству речи для создания автоматических моделей оценки для оценки речи не носителей языка.

Вы явно любите языки, что привело вас к этому увлечению?

Я выросла, говоря по-русски в Санкт-Петербурге, Россия, и помню, как меня увлекало, когда я впервые познакомилась с английским языком: для некоторых слов существовала закономерность, которая позволяла “перевести” русское слово в английское. А затем я сталкивалась с словом, где “моя” закономерность не работала, и я пыталась придумать лучшую, более общую закономерность. В то время, конечно, я ничего не знала о лингвистической типологии или различии между когнатами и заимствованными словами, но это разожгло мое любопытство и желание узнать больше языков. Эта страсть к выявлению закономерностей в том, как люди говорят, и проверке их на данных – это то, что привело меня к фонетике, машинному обучению и работе, которую я делаю сейчас.

До своей текущей работы в области обработки естественного языка (NLP) вы были переводчиком между английским-русским и современным греческим-русским. Думаете ли вы, что ваша работа переводчиком дала вам дополнительные знания о некоторых нюансах и проблемах, связанных с NLP?

Моя основная идентичность всегда была идентичностью исследователя. Верно, что я начала свою академическую карьеру как ученый современного греческого языка, или более конкретно, фонетики современного греческого языка. Для своей докторской диссертации я исследовала фонетические различия между несколькими современными греческими диалектами и то, как эти различия между диалектами могли быть связаны с историей области. Я утверждала, что некоторые из этих различий между диалектами могли возникнуть в результате языкового контакта между каждым диалектом и другими языками, на которых говорили в этой области. Хотя я больше не работаю над современным греческим языком, изменения, которые происходят, когда два языка вступают в контакт, по-прежнему являются центральной темой моей работы: только теперь я фокусируюсь на том, что происходит, когда человек учит новый язык, и как технологии могут помочь сделать это наиболее эффективно.

Когда речь идет об английском языке, существует множество акцентов. Как вы проектируете NLP с возможностью понимать все эти разные диалекты? Это простой вопрос о том, чтобы подать глубокому алгоритму обучения дополнительные большие данные из каждого типа акцента?

Были использованы несколько подходов в прошлом, чтобы решить эту проблему. В дополнение к созданию одной большой модели, которая охватывает все акценты, вы можете сначала определить акцент, а затем использовать настраиваемую модель для этого акцента, или вы можете попробовать несколько моделей одновременно и выбрать ту, которая работает лучше всего. В конечном итоге, чтобы добиться хорошей производительности на широком диапазоне акцентов, вам нужны данные для обучения и оценки, представляющие многие акценты, с которыми может столкнуться система.

В ETS мы проводим комплексные оценки, чтобы убедиться, что оценки, производимые нашими автоматическими системами, отражают различия в фактических навыках, которые мы хотим измерить, и не влияются на демографические характеристики учащегося, такие как его пол, раса или страна происхождения.

Дети и/или языковые ученики часто испытывают трудности с идеальной произношением. Как вы преодолеваете проблему произношения?

Не существует такого понятия, как идеальное произношение: то, как мы говорим, тесно связано с нашей идентичностью, и как разработчики и исследователи, наша цель – убедиться, что наши системы справедливы для всех пользователей.

И дети, и языковые ученики представляют особые проблемы для систем, основанных на речи. Например, детские голоса не только имеют очень разное акустическое качество, но дети также говорят по-другому, чем взрослые, и существует много вариативности между детьми. В результате разработка автоматического распознавания речи для детей обычно является отдельной задачей, которая требует большого количества данных детской речи.

Аналогично, хотя между языковыми учениками из одной и той же среды существует много сходств, ученики могут сильно различаться в использовании фонетических, грамматических и лексических закономерностей, что делает распознавание речи особенно сложной задачей. При построении наших систем для оценки английского языка мы используем данные от языковых учеников с широким диапазоном уровней владения и родных языков.

В январе 2018 года вы опубликовали статью ‘Использование образцовых ответов для обучения и оценки автоматических систем оценки речи‘. Какие основные прорывы и основы следует понять из этой статьи?

В этой статье мы рассмотрели, как качество данных для обучения и оценки влияет на производительность автоматических систем оценки.

Автоматические системы оценки, как и многие другие автоматические системы, обучаются на данных, помеченных для людей. В этом случае это оценки, присвоенные человеческими оценщиками. Человеческие оценщики не всегда соглашаются в оценках, которые они присваивают. Существуют различные стратегии, используемые в оценке, чтобы обеспечить, что окончательная оценка, сообщаемая тестируемому, остается высоко надежной, несмотря на вариативность человеческого согласия на уровне отдельного вопроса. Однако, поскольку автоматические системы оценки обычно обучаются с помощью оценок на уровне ответа, любые несоответствия в таких оценках из-за различных причин, упомянутых выше, могут негативно повлиять на систему.

У нас была возможность получить доступ к большому количеству данных с различным согласием между человеческими оценщиками и сравнить производительность системы в разных условиях. То, что мы обнаружили, заключается в том, что обучение системы на идеальных данных не улучшает ее производительность по сравнению с системой, обученной на данных с более шумными метками. Идеальные метки дают вам преимущество только тогда, когда размер вашего набора обучения очень мал. С другой стороны, качество человеческих меток оказало огромное влияние на оценку системы: ваши оценки производительности могут быть на 30% выше, если вы оцениваете их на чистых метках.

Основной вывод заключается в том, что если у вас есть много данных и ресурсов для очистки ваших золотых стандартных меток, может быть умнее очистить метки в наборе оценки, а не метки в наборе обучения. И это открытие применимо не только к автоматической оценке, но и к многим другим областям.

Можете ли вы описать некоторые из своей работы в ETS?

Я работаю над системой оценки речи, которая обрабатывает устную речь в образовательном контексте. Одна из таких систем – SpeechRater®, которая использует передовые технологии распознавания и анализа речи для оценки и предоставления подробной обратной связи об английском языке как о втором языке. SpeechRater – это очень зрелое приложение, которое существует более 10 лет. Я строю модели оценки для различных приложений и работаю с другими коллегами в ETS, чтобы обеспечить, что наши оценки надежны, справедливы и действительны для всех тестируемых. Мы также работаем с другими группами в ETS, чтобы постоянно контролировать производительность системы.

В дополнение к поддержанию и улучшению наших операционных систем мы создаем прототипы новых систем. Одним из проектов, который меня очень интересует, является RelayReader™: приложение, предназначенное для того, чтобы помочь развивающимся читателям получить уверенность и навыки. Когда пользователь читает с RelayReader, он по очереди слушает и читает вслух книгу. Его чтение затем отправляется на наши серверы для предоставления обратной связи. В плане обработки речи основной задачей этого приложения является то, как измерить обучение и предоставить действенную и надежную обратную связь незаметно, не мешая вовлечению читателя в книгу.

Что вам нравится больше всего в работе с ETS?

То, что изначально привлекло меня в ETS, – это то, что это некоммерческая организация с миссией улучшить качество образования для всех людей во всем мире. Хотя, конечно, хорошо, когда исследования приводят к продукту, я ценю возможность работать над проектами, которые более фундаментальны по своей природе, но помогут в разработке продукта в будущем. Я также ценю тот факт, что ETS серьезно относится к вопросам, таким как защита данных и справедливость, и все наши системы проходят очень строгую оценку перед операционным развертыванием.

Но то, что действительно делает ETS отличным местом для работы, – это люди. У нас есть удивительное сообщество ученых, инженеров и разработчиков из многих разных слоев общества, что позволяет проводить много интересных сотрудничеств.

Думаете ли вы, что ИИ когда-нибудь сможет пройти тест Тьюринга?

С 1950-х годов существует много интерпретаций того, как тест Тьюринга должен проводиться на практике. Скорее всего, существует общее согласие в том, что тест Тьюринга не был пройден в философском смысле, что нет системы ИИ, которая думает как человек. Однако это также стало очень нишевым предметом. Большинство людей не строят свои системы, чтобы пройти тест Тьюринга – мы хотим, чтобы они достигали конкретных целей.

Для некоторых из этих задач, например, распознавания речи или понимания естественного языка, производительность человека может быть справедливо рассмотрена как эталон. Но также существует много других задач, где мы ожидаем, что автоматическая система будет работать намного лучше, чем люди, или где автоматическая система и человеческий эксперт должны работать вместе, чтобы добиться лучшего результата. Например, в образовательном контексте мы не хотим, чтобы система ИИ заменила учителя: мы хотим, чтобы она помогала учителям, будь то выявление закономерностей в траекториях обучения студентов, помощь в оценке или нахождение лучших учебных материалов.

Есть ли что-то еще, что вы хотели бы поделиться об ETS или NLP?

Многие люди знают ETS за его оценки и автоматические системы оценки. Но мы делаем гораздо больше, чем это. У нас есть многие возможности, от биометрии голоса до приложений для диалогов, и мы всегда ищем новые способы интеграции технологий в обучение. Теперь, когда многие студенты учатся из дома, мы открыли несколько своих исследовательских возможностей для широкой общественности.

Спасибо за интервью и за предоставление этого представления о последних достижениях в области NLP и распознавания речи. Все, кто хочет узнать больше, могут посетить Educational Testing Services.