Генеративний штучний інтелект не є вироком до смерті для вимираючих мов

За даними ЮНЕСКО, до половини мов можуть зникнути до 2100 року. Багато людей вважають, що генеративний штучний інтелект сприяє цьому процесу.

Зниження мовної різноманітності не почалося з штучного інтелекту чи Інтернету. Але штучний інтелект є у позиції прискорити загибель корінних мов та мов з обмеженими ресурсами.

Більшість із 7000 мов світу не мають достатніх ресурсів для навчання моделей штучного інтелекту, а багато з них не мають письмової форми. Це означає, що кілька основних мов домінують у запасі потенційних даних для навчання штучного інтелекту, тоді як більшість мов можуть бути залишені позаду в революції штучного інтелекту та можуть зникнути зовсім.

Проста причина полягає в тому, що більшість доступних даних для навчання штучного інтелекту англійською мовою. Англійська мова є основним двигуном великих мовних моделей (LLM), а люди, які говорять менш поширеними мовами, виявляють себе недопредставленими в технології штучного інтелекту.

Розгляньте ці статистичні дані від Світового економічного форуму:

• Дві третини всіх веб-сайтів англійською мовою.
• Більшість даних, які GenAI вивчає, витягнуті з вебу.
• Менше 20% населення світу говорить англійською мовою.

Когда штучний інтелект стає все більш інтегрованим у нашому повсякденному житті, ми повинні думати про мовну рівність. Штучний інтелект має безпрецедентний потенціал для вирішення проблем у масштабі, і його обіцянка не повинна бути обмежена англомовним світом. Штучний інтелект створює зручності та інструменти, які поліпшують особисте та професійне життя людей у багатих, розвинених країнах.

Говорять низькоресурсними мовами звикли до нестачі представництва в технологіях – від відсутності веб-сайтів їхньою мовою до відсутності визнання їхнього діалекту системою Siri. Багато текстів, які доступні для навчання штучного інтелекту нижчими мовами, мають низьку якість (самі перекладені з сумнівною точністю) і вузький обсяг.

Як суспільство може забезпечити, щоб мови з обмеженими ресурсами не були залишені позаду в рівнянні штучного інтелекту? Як ми можемо забезпечити, щоб мова не була бар’єром для обіцянки штучного інтелекту?

У рамках зусиль щодо мовної інклюзивності деякі великі технологічні гравці мають ініціативи для навчання величезних багатомовних мовних моделей (MLM). Microsoft (MSFT ) Translate, наприклад, пообіцяв підтримувати “кожну мову, скрізь”. А Meta має обіцянку “Не залишати жодної мови позаду”. Це похвальні, але чи реалістичні вони?

Стремління до однієї моделі, яка обробляє кожну мову світу, користує привілейованим, оскільки існує набагато більший обсяг даних з основних мов світу. Коли ми починаємо займатися мовами з обмеженими ресурсами та мовами з нелатинськими скриптами, навчання моделей штучного інтелекту стає більш трудомістким, тривалим – і більш дорогим. Подумайте про це як про ненавмисний податок на недопредставлені мови.

Прогрес у технології мовлення

Моделі штучного інтелекту в основному навчаються на тексті, що природно користує мовами з глибокими запасами текстового вмісту. Мовне різноманіття було б краще підтримано системами, які не залежать від тексту. Людське спілкування колись було повністю засноване на мовленні, а багато культур зберігають цей оральний фокус. Для кращого обслуговування глобальної аудиторії індустрія штучного інтелекту повинна перейти від текстових даних до мовних даних.

Дослідження робить величезні кроки у сфері технології мовлення, але воно все ще відстає від текстових технологій. Дослідження у сфері обробки мовлення прогресує, але пряма технологія мовлення-у-мовлення ще не дозріла. Реальність полягає в тому, що індустрія рухається обережно, і тільки тоді, коли технологія досягає певного рівня.

Нова платформа інтерпретації GlobalLink Live від TransPerfect використовує більш зрілі форми технології мовлення – автоматичне розпізнавання мовлення (ASR) і текст-у-мовлення (TTS) – знову, тому що прямі системи мовлення-у-мовлення ще не дозріли на цей момент. Тім нашої компанії готується до дня, коли повністю мовлення-у-мовлення трубопроводи будуть готові до використання.

Моделі перекладу мовлення-у-мовлення пропонують велику обіцянку у збереженні оральних мов. У 2022 році Meta оголосила про перший штучний інтелект, який підтримує систему перекладу мовлення-у-мовлення для хок’єн, в основному оральної мови, якою говорять близько 46 мільйонів людей у китайській діаспорі. Це частина проекту Universal Speech Translator, який розробляє нові моделі штучного інтелекту, які, як сподіваються, дозволять здійснювати переклад мовлення-у-мовлення в режимі реального часу між багатьма мовами. Meta вирішила відкрити джерело перекладів хок’єн, наборів даних для оцінки та дослідницьких робіт, щоб інші могли повторити та продовжити свою роботу.

Навчання з меншим

Той факт, що у нас як глобального співтовариства не вистачає ресурсів навколо деяких мов, не є вироком до смерті для цих мов. Це місце, де багатомовні моделі мають перевагу, оскільки мови вчаться одна в одній. Всі мови слідують певним закономірностям. Через передачу знань між мовами потреба у навчальних даних зменшується.

Припустимо, у вас є модель, яка вивчає 90 мов, і ви хочете додати інупіатську (група корінних північноамериканських мов). Через передачу знань вам потрібно менше даних інупіатської мови. Ми знаходимо способи вивчати з меншим. Кількість даних, необхідних для налаштування двигунів, нижча.

Я сповнений надією щодо майбутнього з більш інклюзивним штучним інтелектом. Я не вважаю, що ми приречені бачити масу мов, які зникнуть – чи що штучний інтелект залишиться доменом англомовного світу. Вже зараз ми бачимо більше уваги до питання мовної рівності. Від більш різноманітного збору даних до створення мовно-специфічних моделей ми робимо успіхи.

Розгляньте фон, мову, якою говорять близько 4 мільйонів людей у Беніні та сусідніх африканських країнах. Не так давно популярна модель штучного інтелекту описала фон як вигадану мову. Комп’ютерний вчений Бонавентур Доссу, чиїй матері говорить фон, звик до цього типу виключення. Доссу, який говорить французькою, виріс без жодної програми перекладу, щоб допомогти йому спілкуватися з матір’ю. Сьогодні він може спілкуватися з матір’ю завдяки фон-французькому перекладачу, який він наполегливо створив. Сьогодні також існує зародковий Вікіпедія мовою фон.

У рамках зусиль щодо використання технологій для збереження мов турецький художник Рефік Анадол розпочав створення відкритого інструменту штучного інтелекту для корінних народів. На Світовому економічному саміті він запитав: “Як на Землі ми можемо створити штучний інтелект, який не знає всього людства?”

Ми не можемо, і ми не зробимо цього.