Влияние трансформеров: полностью ли решена задача машинного перевода?

Google недавно объявила о выпуске 110 новых языков на Google Translate в рамках инициативы по поддержке 1000 языков, запущенной в 2022 году. В 2022 году на начальном этапе они добавили 24 языка. С учетом последних 110 языков теперь поддерживается 243 языка. Такое быстрое расширение стало возможным благодаря Zero-Shot Machine Translation, технологии, в которой модели машинного обучения учатся переводить на другой язык без предварительных примеров. Но в будущем мы вместе увидим, станет ли это достижение окончательным решением проблемы машинного перевода, и пока мы можем изучать способы, которыми это может произойти. Но сначала давайте рассмотрим историю этого процесса.

Как все было раньше?

Статистический машинный перевод (SMT)

Это был исходный метод, использованный Google Translate. Он основывался на статистических моделях. Они анализировали большие параллельные корпуса, коллекции выровненных переводов предложений, чтобы определить наиболее вероятные переводы. Сначала система переводила текст на английский как промежуточный шаг, прежде чем преобразовывать его в целевой язык, и ей необходимо было скрестно ссылаться фразы с обширными наборами данных из транскриптов Организации Объединенных Наций и Европейского парламента. Это отличается от традиционных подходов, которые требовали составления исчерпывающих грамматических правил. И статистический подход позволял ему адаптироваться и учиться на данных без опоры на статические лингвистические рамки, которые могли быстро стать совершенно ненужными.

Но есть некоторые недостатки этого подхода. Во-первых, Google Translate использовал перевод на основе фраз, при котором система разбивала предложения на фразы и переводила их отдельно. Это было улучшением по сравнению с переводом слово за словом, но все еще имело ограничения, такие как неуклюжая фразировка и ошибки контекста. Он просто не полностью понимал нюансы, как мы. Кроме того, SMT сильно зависит от наличия параллельных корпусов, и любой относительно редкий язык будет трудно переводить, поскольку у него нет достаточно параллельных данных.

Нейронный машинный перевод (NMT)

В 2016 году Google перешла на Нейронный Машинный Перевод. Он использует модели глубокого обучения для перевода целых предложений целиком и сразу, обеспечивая более плавные и точные переводы. NMT работает подобно наличию сложного многоязычного помощника в вашем компьютере. Используя архитектуру последовательность-к-последовательности (seq2seq), NMT обрабатывает предложение на одном языке, чтобы понять его смысл. Затем генерирует соответствующее предложение на другом языке. Этот метод использует огромные наборы данных для обучения, в отличие от статистического машинного перевода, который опирается на статистические модели, анализирующие большие параллельные корпуса, чтобы определить наиболее вероятные переводы. Несмотря на то, что SMT фокусировался на переводе на основе фраз и требовал много ручных усилий для разработки и поддержки лингвистических правил и словарей, сила NMT в обработке целых последовательностей слов позволяет ему лучше捕ывать нюансы контекста языка. Итак, он улучшил качество перевода на различных языковых парах, часто достигая уровней плавности и точности, сравнимых с человеческими переводчиками.

Фактически, традиционные модели NMT использовали рекуррентные нейронные сети (RNN) в качестве основной архитектуры, поскольку они предназначены для обработки последовательных данных, сохраняя скрытое состояние, которое эволюционирует при обработке каждого нового входа (слова или токена). Это скрытое состояние служит своего рода памятью, которая захватывает контекст предыдущих входов, позволяя модели учиться зависимостям во времени. Но RNN были вычислительно дорогими и трудными для эффективной параллелизации, что ограничивало их масштабируемость.

Введение трансформеров

В 2017 году Google Research опубликовала статью под названием “Attention is All You Need,” представив трансформеры миру и отметив поворотный момент от RNN в архитектуре нейронных сетей.

Трансформеры полагаются только на механизм внимания, – само-внимание, которое позволяет моделям машинного перевода сосредоточиться избирательно на наиболее важных частях входных последовательностей. В отличие от RNN, которые обрабатывают слова в последовательности внутри предложений, само-внимание оценивает каждый токен во всем тексте, определяя, какие другие токены важны для понимания его контекста. Это одновременное вычисление всех слов позволяет трансформерам эффективно захватывать как короткие, так и длинные зависимости без опоры на рекуррентные соединения или свертки.

Таким образом, исключая рекуррентность, трансформеры предлагают несколько ключевых преимуществ:

• Параллелизация: Механизмы внимания могут вычисляться параллельно на разных сегментах последовательности, что ускоряет обучение на современном оборудовании, таком как GPU.
• Эффективность обучения: Они также требуют значительно меньше времени обучения по сравнению с традиционными моделями на основе RNN или CNN, обеспечивая лучшую производительность в задачах, таких как машинный перевод.

Zero-Shot Machine Translation и PaLM 2

В 2022 году Google выпустила поддержку 24 новых языков с использованием Zero-Shot Machine Translation, отметив значительный рубеж в технологии машинного перевода. Они также объявили об инициативе по поддержке 1000 языков, направленной на поддержку 1000 наиболее распространенных языков мира. Теперь они представили 110 новых языков. Zero-Shot Machine Translation позволяет переводить без параллельных данных между исходным и целевым языками, исключая необходимость создания обучающих данных для каждой языковой пары — процесса, ранее дорогого и трудоемкого, и для некоторых языков также невозможного.

Это достижение стало возможным благодаря архитектуре и механизмам само-внимания трансформеров. Способность модели трансформера учиться контекстным отношениям между языками, в сочетании с ее масштабируемостью для обработки нескольких языков одновременно, позволила разработать более эффективные и эффективные многоязычные системы перевода. Однако модели Zero-Shot обычно показывают более низкое качество, чем те, которые обучены на параллельных данных.

Затем, развивая успех трансформеров, Google представила PaLM 2 в 2023 году, что открыло путь для выпуска 110 новых языков в 2024 году. PaLM 2 значительно повысила способность Translate учиться близким языкам, таким как Авадхи и Марвади (связанным с хинди) и французским креольским языкам, таким как сейшельский и маврикийский креольский. Улучшения в PaLM 2, такие как оптимальная масштабируемость, улучшенные наборы данных и усовершенствованный дизайн, — позволили более эффективно учиться языкам и поддерживали продолжающиеся усилия Google по улучшению поддержки языков и их разнообразия.

Можно ли утверждать, что проблема машинного перевода полностью решена с помощью трансформеров?

Эволюция, о которой мы говорим, заняла 18 лет с момента принятия Google SMT до недавних 110 дополнительных языков с использованием Zero-Shot Machine Translation. Это представляет собой огромный шаг, который потенциально может снизить потребность в обширном сборе параллельных корпусов — исторически очень трудоемкой задаче, которую отрасль преследовала более двух десятилетий. Но утверждать, что машинный перевод полностью решен, было бы преждевременным, учитывая как технические, так и этические соображения.

Текущие модели все еще борются с контекстом и связностью и допускают тонкие ошибки, которые могут изменить смысл текста. Эти проблемы очень актуальны в более длинных и сложных предложениях, где поддержание логического потока и понимание нюансов необходимо для результатов. Кроме того, культурные нюансы и идиоматические выражения часто теряются или теряют смысл, что приводит к переводам, которые могут быть грамматически правильными, но не имеют предполагаемого воздействия или звучат неестественно.

Данные для предварительного обучения: PaLM 2 и подобные модели предварительно обучены на разнообразном многоязычном текстовом корпусе, превосходящем своего предшественника PaLM. Это улучшение позволяет PaLM 2 excelling в многоязычных задачах, подчеркивая продолжающуюся важность традиционных наборов данных для улучшения качества перевода.

Домен-специфические или редкие языки: В специализированных областях, таких как юридические, медицинские или технические, параллельные корпуса гарантируют, что модели встречают конкретные терминологии и языковые нюансы. Продвинутые модели могут испытывать трудности с домен-специфическим жаргоном или эволюционирующими языковыми тенденциями, что представляет проблемы для Zero-Shot Machine Translation. Кроме того, языки с ограниченными ресурсами все еще переводятся плохо, поскольку у них нет данных, необходимых для обучения точных моделей.

Бенчмаркинг: Параллельные корпуса остаются необходимыми для оценки и бенчмаркинга производительности моделей перевода, особенно для языков, не имеющих достаточного количества параллельных данных. Автоматические метрики, такие как BLEU, BLERT и METEOR, имеют ограничения в оценке нюансов качества перевода, помимо грамматики. Но затем мы, люди, ограничены нашими предубеждениями. Кроме того, не так много квалифицированных оценщиков, и найти идеального двуязычного оценщика для каждой пары языков, чтобы поймать тонкие ошибки.

Интенсивность ресурсов: Ресурсоемкая природа обучения и развертывания больших языковых моделей остается барьером, ограничивающим доступность для некоторых приложений или организаций.

Сохранение культуры. Этический аспект глубок. Как описывает Исак Касвелл, исследователь Google Translate: “Вы можете думать об этом как о полиглоте, который знает много языков. Но затем, кроме того, он видит текст на 1000 языках, который не переведен. Вы можете представить, если вы большой полиглот, и затем вы просто начинаете читать романы на другом языке, вы можете начать собирать, что это может значить на основе вашего знания языка в целом”. Однако важно учитывать долгосрочное воздействие на малые языки, не имеющие параллельных корпусов, что потенциально может повлиять на сохранение культуры, когда зависимость смещается от самих языков.