Baidu переміг Google і Microsoft, створивши нову техніку для розуміння мови

Baidu, одна з найбільших технологічних компаній Китаю, недавно розробила новий метод навчання штучних інтелектів для розуміння мови. Як повідомляє TechnologyReview, компанія最近 перемогла Microsoft (MSFT ) і Google (GOOGL ) у змаганні General Language and Understanding Evaluation (GLUE), досягнувши найкращих результатів.

GLUE складається з дев’яти різних тестів, кожний з яких вимірює різні завдання, важливі для розуміння мови, такі як визначення імен сутностей у реченні та визначення контексту, в якому використовується займенник “це”, коли є кілька потенційних кандидатів. Середній людина зазвичай набирає близько 87 балів у GLUE з 100 можливих. Нова модель Baidu, ERNIE, подолала поріг у 90 балів.

Дослідники завжди намагаються покращити результати своїх моделей у GLUE, тому поточний стандарт, встановлений Baidu, ймовірно, буде перевершений скоро. Однак те, що робить досягнення Baidu помітними, полягає в тому, що підхід до навчання, який вони використовують, здається здатним узагальнюватися на інші мови. Хоча модель була розроблена для інтерпретації китайської мови, ті самі принципи роблять її кращою у інтерпретації англійської мови. ERNIE означає “Покращене представлення через інтеграцію знань”, і вона слідує за розробкою мови BERT (“Бідирекціональні кодування трансформерів”).

BERT встановив новий стандарт для розуміння мови завдяки тому, що це була бідирекційна модель. Попередні мовні моделі могли інтерпретувати дані лише в одному “напрямку”, розглядаючи слово, яке прийшло до або після цільового слова як контекст. BERT могла реалізувати бідирекційний підхід, який міг використовувати як попередні, так і пізніші слова у реченні для визначення значення цільового слова. BERT використовує техніку маскування для реалізації бідирекційного аналізу, вибираючи слово у реченні та ховаючи його, що розділяє можливий контекст для цього слова на попередній і наступний контекст.

У англійській мові слово є домінантною семантичною одиницею, люди розглядають цілі слова, а не окремі символи для визначення значення. Можна видалити слово з контексту та все одно зберігати його значення, а значення окремих символів майже завжди однакове. Натомість китайська мова сильно залежить від того, як символи поєднуються з іншими символами для визначення значення. Символи можуть мати різні значення залежно від символів навколо них.

Дослідницька команда Baidu фактично взяла модель, яку використовував BERT, і розширила її, ховаючи рядки символів замість цілих слів. Систему штучного інтелекту також навчали розрізняти випадкові рядки та значимі рядки, щоб правильно маскувати рядки символів. Це робить ERNIE здатним витягувати інформацію з текстових документів та виконувати машинний переклад. Дослідницька команда також виявила, що їхній метод навчання також призвів до моделі, яка могла відрізняти англійські фрази краще, ніж багато інших моделей. Це відбувається тому, що англійська мова іноді, хоча й рідко, використовує слово-комбінації, які виражають різні значення, коли вони поєднуються, ніж коли вони окремо. Правильні імена та ідіоми чи колоквіалізми, такі як “chip off the old block”, є прикладами таких лінгвістичних явищ.

ERNIE використовує кілька інших методів навчання для оптимізації результатів, включаючи аналіз порядку та відстані речень при інтерпретації абзаців. Також використовується безперервний метод навчання, який дозволяє ERNIE навчатися на нових даних та вивчати нові закономірності без забування попередньо набутих знань.

Baidu зараз використовує ERNIE для покращення якості результатів пошуку. Остання архітектура ERNIE буде детально описана у майбутній статті, яка буде представлена на конференції з розвитку штучного інтелекту 2020 року.