Нитин Маднани, старший исследовательский ученый в ETS – Интервью-серия

Нитин Маднани является старшим исследовательским ученым в группе исследований обработки естественного языка (NLP) в Образовательной тестовой службе (ETS). ETS была основана в 1947 году и является крупнейшей частной некоммерческой организацией, занимающейся образовательным тестированием и оценкой.

Можете ли вы начать с объяснения миссии ETS?

Миссия ETS – способствовать качеству и равенству в образовании для всех учащихся во всем мире. Эта миссия лежит в основе наших продуктов, услуг, исследований и разработок, направленных на содействие обучению, поддержку образования, профессиональному развитию и измерению знаний и навыков для всех.

Мы считаем, что любой человек, где бы он ни находился, может сделать разницу в своей жизни через обучение, и работа ETS в области исследований, оценки, измерения и политики может сыграть важную роль в том, чтобы сделать это обучение возможным.

Что именно в NLP вас так увлекает?

Все человеческие языки так красиво сложны и запутаны. Они позволяют нам выражать диапазон эмоций в нашей речи и даже в нашем письме, и они эволюционируют со временем. С другой стороны, компьютер так детерминирован и клинически обрабатывает свои входные данные. Обработка естественного языка (NLP) – это область искусственного интеллекта, которая пытается сделать это несравненно нечеловеческое устройство понимать красивые сложности человеческого языка, сочетая методы компьютерных наук, лингвистики и статистики. Как можно не найти это увлекательным?

Ученые NLP и речи ETS недавно разработали RSMTool. Можете ли вы рассказать нам, что делает RSMTool?

Как мы видели в последние годы, все модели машинного обучения потенциально могут проявлять предвзятое поведение, независимо от области, в которой они применяются, образование не является исключением. Автоматические системы оценки, используемые для присвоения оценок или оценок речи или эссе студентов в тестах или в классах, часто используют модели машинного обучения. Следовательно, вполне возможно, что такие системы будут проявлять предвзятость. Такая предвзятость может иметь серьезные последствия, особенно если оценки таких систем используются для принятия важных решений.

RSMTool – это инструмент с открытым исходным кодом, который моя коллега Анастасия Лукьина (ранее опубликованная на Unite.AI) и я разработали в ETS, чтобы помочь обеспечить, чтобы любые системные, вредные предвзятости в автоматических системах оценки были выявлены как можно раньше, надеюсь, даже до того, как эти системы будут развернуты в реальном мире. RSMTool предназначен для предоставления всесторонней оценки двигателей оценки ИИ, включая не только стандартные метрики точности прогнозирования, но и меры справедливости модели и метрики, основанные на теории тестирования, giúpая разработчикам таких двигателей выявить возможные предвзятости или другие проблемы в их системах.

Откуда берется название RSMTool?

В области образовательной оценки человек, который присваивает оценку (или “оценивает”) эссе, часто называется “оценщиком”. Существуют человеческие оценщики, а также автоматические оценщики. RSMTool – аббревиатура от Rater Scoring Modeling Tool, предназначенная для помощи в создании (и оценке) моделей оценки, используемых автоматическими оценщиками.

Как этот инструмент может помочь разработчикам выявить возможную предвзятость или другие проблемы в их двигателях оценки ИИ?

В последние пять десятилетия ученые-исследователи в области образовательной оценки – включая многих наших коллег в ETS – провели ценные исследования о том, что делает автоматическую (и человеческую) оценку справедливой. В рамках этого исследования они разработали многие статистические и психометрические анализы для вычисления показателей системной предвзятости. Однако, поскольку сообщества психометрии и NLP редко взаимодействуют, существует мало возможностей для обмена идеями. В результате исследователи и разработчики NLP, которые строят фактические автоматические системы оценки – особенно отдельные исследователи и те, кто работает в небольших компаниях – не имеют легкого доступа к психометрическим анализам, которые они должны использовать для проверки своих систем на предвзятость. RSMTool пытается решить эту проблему, предоставляя большой, разнообразный набор психометрических анализов в одном, легко используемом пакете Python, который может быть легко включен любым исследователем NLP в свой исследовательский или операционный поток.

Что являются наиболее распространенными типами предвзятости, которые могут повлиять на автоматические системы оценки?

Наиболее распространенный тип предвзятости, влияющей на автоматическую систему оценки, – это дифференциальная производительность подгрупп, т.е. когда автоматическая система производит разные результаты для разных подгрупп населения. Например, предвзятая система оценки могла бы производить систематически более низкие оценки для эссе, написанных, например, черными женщинами по сравнению с белыми мужчинами, даже если нет систематических различий в фактических навыках письма, продемонстрированных этими двумя подгруппами в их эссе, насколько это касается человека.

ETS выбрала сделать RSMTool открытым исходным кодом, можете ли вы объяснить рассуждения и важность за этим?

Да, RSMTool доступен на GitHub с лицензией Apache 2.0. Мы считаем, что важно, чтобы такой инструмент был открытым исходным кодом и не был проприетарным, чтобы сообщество могло (а) проверить исходный код уже доступных анализов, чтобы обеспечить их соответствие стандартам справедливости, и (б) внести новые анализы, поскольку стандарты эволюционируют и меняются. Мы также хотим сделать его легко использовать RSMTool в своей работе и помочь нам сделать его лучше. Сделав RSMTool открытым исходным кодом, мы демонстрируем приверженность ETS ответственной использованию ИИ в образовании.

Что вы узнали из разработки и поддержки RSMTool?

За последние пять лет, которые Анастасия и я разработали и поддерживали RSMTool – с помощью многих коллег ETS и внешних участников GitHub – мы узнали два основных урока. Первый заключается в том, что разные пользователи имеют разные потребности, и подход “один размер подходит всем” не сработает для междисциплинарного программного обеспечения, такого как RSMTool. Второй урок, который мы выучили, заключается в том, что, чтобы сделать более вероятным принятие открытого программного обеспечения, вы действительно должны пойти на лишнюю милю, чтобы сделать его как можно более прочным.

Что ETS надеется достичь, выпустив RSMTool?

Сектор образования увидел одно из наиболее значительных расширений ИИ за последние годы, и автоматическая оценка текста и речи стала все более распространенным применением NLP. ETS давно является лидером в области автоматической оценки и, с момента своего основания, была привержена созданию справедливых продуктов и оценок, предназначенных для служения учащимся во всем мире. Выпустив RSMTool, разработанный в тесном сотрудничестве между учеными NLP и психометриками, ETS хочет продолжить свою защиту ответственного использования ИИ в образовании очень конкретным образом; конкретно, мы хотим сделать ясным, что, когда исследователи ИИ думают о “производительности” автоматической системы оценки, они должны учитывать не только стандартные метрики точности прогнозирования (например, корреляцию Пирсона), но и метрики справедливости модели. Более широко, мы хотим, чтобы RSMTool служил примером того, как исследователи NLP и психометрики могут и должны работать вместе.

Есть ли что-то еще, что вы хотели бы поделиться о RSMTool?

Мы хотим побудить читателей помочь нам улучшить RSMTool! Им не нужно быть психометриком или экспертом NLP, чтобы внести свой вклад. У нас есть много открытых вопросов, связанных с документацией и программированием на Python, которые были бы идеальными для любого начинающего или среднего программиста Python. Мы также приглашаем вклад в SKLL (Scikit-Learn Laboratory), – другой открытый пакет ETS для эффективного выполнения пользовательских, пакетных экспериментов машинного обучения, – который используется основным программным обеспечением RSMTool.