Смогут ли системы обработки естественного языка (NLP) вскоре включать жестовые языки?

Обработка естественного языка (NLP) является одним из наиболее важных подполей искусственного интеллекта (ИИ). Она включает в себя возможность компьютеров анализировать и понимать человеческий язык, и часто используется в программном обеспечении для перевода, чат-ботах, голосовых помощниках и различных инструментах во многих отраслях. Однако она часто фокусируется на устных языках, что означает, что она не решает проблему более 200 жестовых языков, на которых общаются почти 70 миллионов человек по всему миру.

Эта ситуация может вскоре измениться благодаря новым исследованиям, которые решают эту проблему. Студентка магистратуры в Институте языковых технологий Кайо Ин является соавтором новой статьи, посвященной NLP для жестовых языков.

Включение жестовых языков в NLP

Статья под названием «Включение жестовых языков в обработку естественного языка» получила премию за лучшую тематическую статью на 59-й ежегодной встрече Ассоциации вычислительной лингвистики. Среди других соавторов статьи были Амит Мориоссеф из Университета Бар-Илана в Израиле; Джули Хохгесанг из Университета Галлодета; Йоав Голдберг из Университета Бар-Илана и Института искусственного интеллекта Аллена; и Малихе Алихани из Школы информатики и информационных технологий Университета Питтсбурга.

«Жестовые языки, хотя они являются значительной частью языков, используемых в мире, не включены», – сказала Ин. «Существует спрос и важность наличия технологий, которые могут работать с жестовыми языками».

По мнению авторов, сообщества, использующие жестовый язык, десятилетиями борются за возможность учиться и использовать эти языки, а также за их признание в качестве легитимных.

Подавление жестового языка

«Однако в преимущественно устном обществе глухие люди постоянно поощряются использовать устные языки посредством чтения по губам или текстовой коммуникации», – говорится в статье. «Исключение жестовых языков из современных языковых технологий еще больше подавляет использование жестовых языков в пользу устных».

Интерес Ин к жестовому языку впервые появился, когда она работала в приюте для бездомных в качестве студентки в École Polytechnique в Париже. Она признала трудности, с которыми сталкиваются глухие люди при установлении связей с другими, и начала изучать французский жестовый язык, сделав перевод жестового языка одним из направлений своей исследовательской работы.

Жестовые языки, которые в основном полагаются на жесты, мимику и движения головы и тела, позволяют передавать несколько слов одновременно, в отличие от устных языков. Жестовые языки также используют сокращения, которые действуют подобно местоимениям в устных языках. Инструменты обработки NLP чрезвычайно эффективны в обработке сложного языка, намного лучше, чем модели компьютерного зрения.

«Нам нужны исследователи в обеих областях, которые будут работать рука об руку», – сказала Ин. «Мы не можем полностью понять жестовый язык, если смотрим только на визуальные элементы».

По мнению Хохгесанг, глухой лингвист, который фокусируется на жестовых языках, они практически отсутствовали в литературе, лингвистических классах и исследованиях, с которыми она столкнулась во время получения степени. Когда речь идет о степени, язык включает только устную речь.

«На личном уровне это было болезненно. Это полностью игнорировало мой способ быть», – сказала Хохгесанг. «Когда я была студенткой, я не видела себя в данных, которые были описаны, и это сделало очень трудным для меня связаться. Тот факт, что это не улучшилось значительно до сих пор, является, к сожалению. Единственный способ, которым это может измениться, – если мы будем включены больше».

Ин говорит, что статья является большим шагом вперед в мотивации людей и объединении сообществ.

«Это действительно интересно видеть, как статья, которую я написала, мотивирует людей, и я надеюсь, что она может привести к изменениям в этих сообществах», – сказала Ин.