Чи зможе NLP скоро включати жестові мови?

Природно-мовна обробка (NLP) – одна з найважливіших підгалузей штучного інтелекту (AI). Вона полягає в тому, що комп’ютери можуть аналізувати та розуміти людську мову, і часто використовується в програмному забезпеченні для перекладу, чат-ботах, голосових помічниках та різних інструментах багатьох галузей. Однак часто вона зосереджена на усних мовах, тобто не розглядає понад 200 жестових мов, які використовують майже 70 мільйонів людей по всьому світу.

Це може скоро змінитися, оскільки нові дослідження розглядають цю проблему. Студентка магістратури в Інституті мовних технологій Кайо Їн є співавтором нової статті, яка досліджує NLP для жестових мов.

Включення жестових мов в NLP

Стаття під назвою “Включення жестових мов у природно-мовну обробку” отримала нагороду за найкращу тематичну статтю на 59-ій щорічній зустрічі Асоціації обчислювальної лінгвістики. Інші співавтори включали Аміта Моріоссефа з Університету Бар-Ілана в Ізраїлі; Джулі Хохгезанг з Університету Галлаудета; Йоава Голдберга з Університету Бар-Ілана та Інституту штучного інтелекту Аллена; і Маліху Аліхані з Школи обчислювальної техніки та інформації Університету Піттсбурга.

“Жестові мови, хоча вони і є суттєвою частиною мов, які використовуються у світі, не включені”, – сказала Їн. “Є потреба і важливість у тому, щоб технології могли обробляти жестові мови.”

За словами авторів, спільноти, які використовують жестові мови, протягом десятиліть боролися за те, щоб вивчити та використовувати ці мови та щоб вони були визнані легітимними.

Придушення жестової мови

“Однак у переважно усному суспільстві глухі люди постійно заохочуються використовувати усні мови за допомогою читання з губ або текстової комунікації”, – зазначається в статті. “Виключення жестових мов з сучасних мовних технологій ще більше пригнічує використання жестових мов на користь усних мов.”

Інтерес Їн до жестової мови вперше з’явився, коли вона робила волонтерську роботу в притулку для бездомних під час навчання в Еколь Політекнік у Парижі. Вона визнала труднощі, з якими зустрічаються глухі люди, намагаючись встановити зв’язок з іншими, тому Їн почала вивчати французьку жестову мову та зробила переклад жестової мови одним із напрямків свого підґрунтового дослідження.

Жестові мови, які в основному використовують жести рук, вирази обличчя та рухи голови та тіла, дозволяють передавати кілька слів одночасно, на відміну від усних мов. Жестові мови також використовують скорочення, які діють подібно до займенників у усних мовах. Інструменти обробки NLP дуже ефективні при обробці складної мови, значно краще, ніж моделі комп’ютерного зору.

“Нам потрібно, щоб дослідники в обох галузях працювали рука об руку”, – сказала Їн. “Ми не можемо повністю зрозуміти жестову мову, якщо дивимося лише на візуальні елементи.”

За словами Хохгезанг, глухої лінгвістки, яка зосереджується на жестових мовах, вони майже не були присутні в літературі, лінгвістичних класах та дослідженнях, з якими вона зустрічалася під час навчання. Коли йдеться про ступінь, мова включає лише мовлення.

“На особистому рівні це було болісно. Це повністю ігнорувало мій спосіб бути”, – сказала Хохгезанг. “Коли я була студенткою, я не бачила себе в даних, які описувалися, і це зробило для мене дуже важко зв’язатися. Те, що це ще не покращилось суттєво сьогодні, є нещасливим. Єдиний спосіб, яким це може змінитися, – це якщо нас будуть включати більше.”

Їн каже, що стаття є великим кроком вперед у мотивуванні окремих осіб та об’єднанні спільнот.

“Дуже цікаво бачити статтю, яку я написала, мотивувати людей, і я сподіваюсь, що вона може зробити зміни в цих спільнотах”, – сказала Їн.