Baidu превзошел Google и Microsoft, создав новую технику для понимания языка

Baidu, одна из крупнейших технологических компаний в Китае, недавно разработала новый метод обучения ИИ для понимания языка. Как сообщает TechnologyReview, компания最近 победила Microsoft (MSFT ) и Google (GOOGL ) в конкурсе General Language and Understanding Evaluation (GLUE), достигнув результатов, соответствующих современному уровню.

GLUE состоит из девяти различных тестов, каждый из которых измеряет разные задачи, важные для понимания языка, такие как определение имен сущностей в предложении и определение контекста, в котором используется местоимение “ит” при наличии нескольких потенциальных кандидатов. Средний человек обычно набирает около 87 баллов в GLUE из 100 возможных. Новая модель Baidu, ERNIE, преодолела порог в 90 баллов.

Исследователи всегда пытаются улучшить производительность своих моделей в GLUE, поэтому текущий стандарт, установленный Baidu, вероятно, скоро будет превзойден. Однако то, что делает достижения Baidu заметными, заключается в том, что подход к обучению, который они используют,似乎 может обобщаться на другие языки. Хотя модель была разработана для интерпретации китайского языка, те же принципы делают ее лучше в интерпретации английского языка. ERNIE означает “Улучшенное представление через интеграцию знаний”, и оно следует разработке языковой модели BERT (“Бидирекциональные кодировки из трансформеров”).

BERT установил новый стандарт для понимания языка благодаря тому, что это была бидирекциональная модель. Предыдущие языковые модели могли интерпретировать данные только в одном “направлении”, рассматривая слово, которое находится перед или после целевого слова, как контекст. BERT смог реализовать бидирекциональный подход, который может использовать как предыдущие, так и последующие слова в предложении, чтобы помочь определить значение целевого слова. BERT использует технику, называемую маскированием, чтобы сделать бидирекциональный анализ возможным, выбирая слово в предложении и скрывая его, что разделяет возможный контекст для этого слова на предшествующие и последующие контекстные подсказки.

В английском языке слово является доминирующей семантической единицей, люди смотрят на целые слова, а не на отдельные символы, чтобы определить значение. Возможно удалить слово из его контекста и все равно сохранить его значение, и значение отдельных символов почти всегда одинаково. Напротив, китайский язык сильно зависит от того, как символы сочетаются с другими символами при определении значения. Символы могут иметь разные значения в зависимости от символов, окружающих их.

Исследовательская команда Baidu по сути взяла модель, которую использовал BERT, и расширила ее, скрывая строки символов вместо целых слов. Система ИИ также была обучена различать случайные строки и осмысленные строки, чтобы можно было маскировать правильные строки символов. Это делает ERNIE профессионалом в извлечении информации из текстового документа и выполнении машинного перевода. Исследовательская команда также обнаружила, что их метод обучения также привел к модели, которая может различать английские фразы лучше, чем многие другие модели. Это связано с тем, что английский язык иногда, хотя и редко, использует комбинации слов, которые выражают разные значения, когда они объединены, а не когда они находятся отдельно. Собственные имена и идиомы или разговорные выражения, такие как “chip off the old block”, являются примерами таких лингвистических явлений.

ERNIE использует множество других методов обучения, чтобы оптимизировать производительность, включая анализ порядка предложений и расстояния при интерпретации абзацев. Также используется непрерывный метод обучения, который позволяет ERNIE обучаться на новых данных и учиться новым закономерностям без забывания ранее приобретенных знаний.

Baidu в настоящее время использует ERNIE для улучшения качества результатов поиска. Последняя архитектура ERNIE будет подробно описана в предстоящей статье, которая будет представлена на конференции 2020 Association for the Advancement of Artificial Intelligence.