Olga Beregovaya, віцепрезидентка з питань ШІ в Smartling — серія інтерв’ю

Olga Beregovaya — віцепрезидентка з питань ШІ в Smartling, де вона керує стратегією ШІ у сферах перекладу, даних, якості та безпеки. Вона працює в галузі обробки природної мови з 1997 року, маючи досвід роботи з системами на основі правил, статистичними моделями, нейронними мережами та великими мовними моделями. До приходу в Smartling вона була віцепрезиденткою з інновацій у сфері ШІ в Welocalize та генеральною директоркою PROMT Americas.

Smartling надає корпоративне програмне забезпечення та послуги з перекладу й локалізації, поєднуючи ШІ та машинний переклад із досвідом фахівців. Її платформа підтримує багатомовні робочі процеси для вебсайтів, застосунків, маркетингових матеріалів, документів і мультимедійного контенту та надає доступ до понад 20 великих мовних моделей і рушіїв машинного перекладу. У цьому інтерв’ю Beregovaya розповідає про розрив у можливостях багатомовного ШІ, якість перекладу, вибір моделей і роль людського контролю в автоматизованій локалізації.

Як цей шлях сформував ваше уявлення про роль ШІ в мові та що спонукало вас очолити розроблення стратегії ШІ в Smartling?

Я вивчала структуру мов і принципи функціонування мовних сімей. Це навчило мене, що переклад — це передавання структури й значення, а не заміна слів одне за одним. Так само я дивлюся і на ШІ.

Я почала працювати в галузі обробки природної мови у 1997 році, коли системи створювали на основі правил, прописаних вручну. Відтоді я працювала зі статистичними моделями, нейронними мережами й сучасними великими мовними моделями. Кожен із цих підходів допомагав розв’язати одні проблеми, але створював інші. Я не вважаю, що існує одна модель, яка може дати відповідь на всі запитання.

Я прийшла в Smartling, тому що компанію створили для перекладу всіх типів корпоративного контенту — від вебсайтів і застосунків до юридичних документів, маркетингових матеріалів і відео. Спочатку я обіймала посаду віцепрезидентки з машинного перекладу, але невдовзі її коло обов’язків вийшло за межі перекладу й охопило розроблення запитів до моделей, дані, якість і безпеку. Тож посаду перейменували на віцепрезидентку з питань ШІ.

Як цей розрив проявляється на практиці й чому він може мати ще серйозніші наслідки, коли генеративний ШІ стане основним інтерфейсом?

Раніше все було просто: система ШІ або підтримувала вашу мову, або ні. Здебільшого це питання вже вирішене, але сам розрив набув іншої форми. Тепер важливо, наскільки навчальні дані моделі відображають цю мову, її носіїв і культуру. Більшість навчальних даних для моделей — англомовні, тож разом із ними переносяться й характерні для англомовного середовища припущення. Переклад може бути технічно точним, але водночас нав’язувати іншій мові англомовний погляд на світ.

ШІ стає способом взаємодії людей із банками, лікарями, школами та іншими важливими службами. Якщо ШІ добре працює з вашою мовою, це дає вам перевагу, а якщо погано — ставить вас у невигідне становище.

Що здивувало вас найбільше і чому шведська показує кращі результати за гінді, хоча нею розмовляє набагато менше людей?

Кількість носіїв мови — напрочуд ненадійний показник якості перекладу. Шведська, якою розмовляють близько 10 мільйонів людей, дала одні з найкращих результатів. Гінді, якою розмовляють близько 600 мільйонів людей, була серед мов із найгіршими результатами — разом з естонською та тайською.

Набагато важливіші структура мови та якість даних. Граматика шведської відносно проста, а якісних навчальних даних для неї багато. В естонській постійно змінюються закінчення слів, щоб передавати значення, що ускладнює роботу ШІ. У гінді сотні мільйонів носіїв, але якісних і різноманітних навчальних даних для неї значно менше, ніж можна було б очікувати з огляду на кількість носіїв.

Ще одним сюрпризом стало те, що прогрес у різних лабораторіях був неоднаковим. Мови, які спочатку показували гірші результати, зазвичай найбільше поліпшувалися від одного покоління моделей до наступного, але ця закономірність справджується не завжди.

Які чинники, крім обсягу навчальних даних, найбільше впливають на роботу моделей?

Один із найважливіших чинників — токенізація. Так називають процес, під час якого модель розбиває текст на фрагменти перед його обробкою. Це особливо важливо для мов, що не використовують латиницю. Низька якість токенізації обмежує всі подальші етапи.

Важлива й структура мови. Моделям може бути складніше працювати з мовами, у яких слова мають складні закінчення. Або, наприклад, у німецькій слова поєднуються так, що одне слово може мати 40 символів, і це створює для моделі більше труднощів, ніж мови на кшталт іспанської чи французької.

Ще один чинник — якість даних. Погані дані дають погані результати. Точність, різноманітність і репрезентативність даних надзвичайно важливі для якості перекладу за допомогою ШІ.

І нарешті, вимірювання якості. Ми використовуємо TER, BLEU, CHRF3 і MetricX, а також порівнюємо результати з надійними перекладами, виконаними людьми. Модель може звучати природно, але неправильно передавати зміст.

Яку відповідальність несуть провідні лабораторії та який поступ можна вважати справді вагомим?

Провідні лабораторії несуть найбільшу відповідальність, оскільки саме вони контролюють найрозвиненіші мовні моделі. Їхні рішення можуть як збільшити цей розрив, так і допомогти його скоротити. Однак переклад часто конкурує за увагу з міркуваннями, програмуванням і безпекою, тому лише в небагатьох лабораторіях є окремі команди, зосереджені на цій сфері.

Відчутні зміни дали б три кроки:

1. Створювати високоякісні дані для ширшого кола мов і тематик.
2. Удосконалювати токенізацію для мов, у яких сучасні підходи не дають належних результатів.
3. І оцінювати кожну нову модель на мовах із меншою кількістю навчальних даних, а не лише на найпоширеніших мовах.

Великі можливості відкриває створення навчальних даних для мов, які майже не представлені в інтернеті. Значна частина цієї роботи відбувається поза межами великих лабораторій. Ми співпрацюємо з такими групами, як African Language Lab, щоб створювати дані для африканських мов.

Як Smartling визначає, який із понад 20 рушіїв підходить для певної мови, типу контенту чи сценарію використання?

Ми тестуємо моделі, а не припускаємо, що якась одна з них найкраща. Кожну модель оцінюємо за перевіреними перекладами, виконаними людьми, використовуючи метрики TER, BLEU, CHRF3 і MetricX. Клієнт може надати нам свій маркетинговий контент, і приблизно за тиждень ми покажемо, як кожна модель працює для різних мов і тематик. Модель, яка найкраще підходить для маркетингового контенту латиноамериканською іспанською, може виявитися не найкращою для іншої мови чи конфіденційного контенту.

Ми також враховуємо ризики. Контент користувачів із низьким рівнем ризику може проходити спрощену перевірку. Контент, що підпадає під регуляторні вимоги або є критично важливим для бренду, перевіряють ретельніше, зазвичай із залученням людини. Оскільки моделі можна додавати або вилучати залежно від зміни їхньої ефективності, ми не прив’язані до одного постачальника.

У яких випадках спеціалізовані системи машинного перекладу досі перевершують великі мовні моделі загального призначення і як ці підходи зближуватимуться?

Спеціалізований машинний переклад і досі має перевагу, коли найважливіша передбачуваність результату. Він особливо корисний для конфіденційного контенту й деяких мов. Великі мовні моделі генерують природніший текст, але також можуть упевнено галюцинувати.

У Smartling ми поєднуємо обидва підходи. Спеціалізована модель перекладу створює перший варіант, використовуючи термінологію клієнта й дані з відповідної галузі. Потім його редагує велика мовна модель: повертає затверджену термінологію, застосовує збіги з попередніх перекладів і вдосконалює текст.

Модель стає лише однією зі складових системи. Тепер не менш важливими є промпти, дані, адаптація та засоби контролю безпеки.

Які найбільші ризики варто враховувати компаніям, використовуючи генеративний ШІ для багатомовного контенту?

Безперечно, галюцинації. Мій улюблений приклад — людина запитує ШІ, чи отруйний гриб. ШІ цілком упевнено відповідає, що ні, а надгробок цієї людини свідчить, що відповідь була хибною. У перекладі це проявляється як текст, що звучить бездоганно, але містить фактичні помилки; у мовах із меншою кількістю навчальних даних цей ризик може бути вищим.

Ще один чинник — культурний і регуляторний контекст. Переклад може бути технічно правильним, але все одно не відповідати вимогам конкретного ринку. Наприклад, у німецькій та японській мовах потрібно дотримуватися рівнів офіційності, яких немає в англійській. Китайські правила реклами також обмежують такі твердження, як «найкращий».

Важлива й послідовність. У великих масштабах універсальні інструменти ШІ можуть призводити до непослідовного використання термінології та голосу бренду. Один керівник розповів мені, що в його компанії 300 000 працівників і, завдяки універсальному ШІ, — 300 000 різних голосів.

Наслідки можуть бути й фізичними. Якщо неправильно перекласти інструкцію з техніки безпеки про те, як потягнути за важіль, на будівельному майданчику може впасти кран.

Як працює ШІ-агент у процесі локалізації і яку частину цього процесу можна автоматизувати під наглядом людини?

ШІ-агент — це одна з ланок робочого процесу локалізації. Одна модель перекладає, а інша перевіряє переклад, шукає галюцинації, відновлює затверджену термінологію й адаптує контент до конкретного ринку. Потім перевірка якості визначає, чи можна публікувати контент, чи потрібна швидка перевірка людиною, чи слід провести повну перевірку.

Можливості автоматизації залежать від рівня ризику. Значну частину завдань із низьким рівнем ризику ми вже повністю автоматизували, але робота з конфіденційним контентом і контентом, що підпадає під регуляторні вимоги, і далі потребує участі людей.

Повна автоматизація не завжди є метою, адже для вдосконалення моделей потрібен зворотний зв’язок від людей. Мета — зменшити навантаження на людей, не усуваючи потреби в їхньому професійному судженні.

Чи звузиться, чи розшириться розрив за п’ять років і що дасть змогу ШІ справді працювати багатьма мовами в глобальному масштабі?

Можливі обидва варіанти. Мови, які спочатку мали найгірші позиції, розвиваються найшвидше, а дедалі більше організацій збирають дані для мов із незначною присутністю контенту в інтернеті, зокрема дані про усне мовлення.

Але характер розриву змінюється. ШІ може добре працювати певною мовою, але водночас відтворювати припущення англомовного світу, закладені в навчальних даних.

Щоб ШІ справді працював багатьма мовами, потрібен інший підхід. Це можуть бути менші моделі, адаптовані до конкретних мов і тематик, замість однієї універсальної моделі, від якої очікують, що вона впорається з усім. Потрібні різноманітніші дані з різних мов і галузей. Також необхідно вдосконалити токенізацію для мов, у яких сучасні підходи не дають належних результатів. І використовувати синтетичні дані та переносити знання, здобуті моделлю однією мовою, на споріднені мови, щоб удосконалення не обмежувалися мовами з найбільшим обсягом даних.

Технології вже існують, але питання в тому, чи вважатимуть компанії, які створюють ці моделі, багатомовну ефективність пріоритетом.

Дякуємо за чудове інтерв’ю. Читачам, які хочуть дізнатися більше про переклад за допомогою ШІ, оцінювання якості багатомовних текстів і робочі процеси локалізації під наглядом людини, варто відвідати Smartling.