Ольга Береговая, вице-президент по ИИ в Smartling — серия интервью

Ольга Береговая — вице-президент по ИИ в Smartling, где она руководит разработкой стратегии в области ИИ для перевода, работы с данными, качества и безопасности. Она занимается обработкой естественного языка с 1997 года: работала с системами, основанными на правилах, статистическими моделями, нейронными сетями и большими языковыми моделями. До прихода в Smartling она была вице-президентом по инновациям в области ИИ в Welocalize и генеральным директором PROMT Americas.

Smartling предоставляет корпоративное программное обеспечение и услуги для перевода и локализации, сочетая ИИ и машинный перевод с человеческой экспертизой. Платформа поддерживает многоязычные процессы работы с веб-сайтами, приложениями, маркетинговыми материалами, документами и мультимедиа, предоставляя доступ более чем к 20 большим языковым моделям и движкам машинного перевода. В этом интервью Береговая рассказывает о неравенстве возможностей ИИ для разных языков, качестве перевода, выборе моделей и роли человеческого контроля в автоматизированной локализации.

Как этот путь повлиял на ваше понимание роли ИИ в языке и что побудило вас возглавить направление ИИ в Smartling?

Я изучала структуру языков и принципы устройства языковых семей. Это научило меня, что перевод — это передача структуры и смысла, а не подстановка слов один к одному. Так же я смотрю и на ИИ.

Я начала заниматься обработкой естественного языка в 1997 году, когда системы создавали на основе правил, прописанных вручную. С тех пор я работала со статистическими моделями, нейронными сетями и современными большими языковыми моделями. Каждая из них решала одни проблемы и создавала другие. Не думаю, что существует одна модель, способная решить все задачи.

Я пришла в Smartling, потому что компания изначально создавалась для перевода любых видов корпоративного контента — от веб-сайтов и приложений до юридических документов, маркетинговых материалов и видео. Сначала я занимала должность вице-президента по машинному переводу, но вскоре круг моих обязанностей расширился и стал включать не только перевод, но и работу с промптами, данными, качеством и безопасностью. Поэтому должность стала называться «вице-президент по ИИ».

Как это неравенство проявляется на практике и почему оно может стать еще существеннее, когда генеративный ИИ превратится в основной интерфейс?

Раньше все было просто: система ИИ либо поддерживала ваш язык, либо нет. Теперь этот вопрос в основном решен, но само неравенство приобрело другие формы. Сегодня важно, насколько хорошо обучающие данные модели отражают язык, его носителей и их культуру. Большая часть обучающих данных моделей — на английском языке, поэтому вместе с ними в модели проникают представления англоязычной среды. Перевод может быть технически точным и при этом навязывать другому языку англоязычный взгляд на мир.

ИИ становится способом взаимодействия людей с банками, врачами, школами и другими важными службами. Если ИИ хорошо работает с вашим языком, это дает вам преимущество, а если плохо — ставит вас в невыгодное положение.

Что удивило вас больше всего и почему шведский язык показывает лучшие результаты, чем хинди, хотя на нем говорит гораздо меньше людей?

Количество носителей языка — на удивление ненадежный показатель качества перевода. Шведский, на котором говорят около 10 миллионов человек, показал одни из лучших результатов. Хинди, на котором говорят около 600 миллионов человек, оказался в числе языков с самыми низкими результатами наряду с эстонским и тайским.

Гораздо важнее структура языка и качество данных. В шведском относительно простая грамматика и много качественных обучающих данных. В эстонском окончания слов постоянно меняются, передавая смысл, что усложняет работу ИИ. На хинди говорят сотни миллионов людей, но качественных и разнообразных обучающих данных для этого языка гораздо меньше, чем можно было бы ожидать, исходя из числа его носителей.

Еще одним сюрпризом стало то, что прогресс в разных лабораториях шел неодинаково. Языки, которые изначально показывали более слабые результаты, обычно сильнее всего улучшались от одного поколения моделей к следующему, однако эта закономерность соблюдается не всегда.

Помимо объема обучающих данных, какие факторы сильнее всего влияют на производительность модели?

Один из важнейших факторов — токенизация. Так называется процесс, в ходе которого модель разбивает текст на фрагменты перед его обработкой. Это особенно важно для языков, в которых не используется латинский алфавит. Некачественная токенизация ограничивает все последующие этапы.

Важна и структура языка. Моделям может быть сложнее работать с языками, в которых слова имеют сложные окончания. Например, в немецком слова соединяются в длинные сложные слова, длина которых может достигать 40 символов. Это предъявляет к модели более высокие требования, чем языки вроде испанского или французского.

Наконец, важную роль играет качество данных. Плохие данные приводят к плохим результатам. Точность, разнообразие и репрезентативность данных чрезвычайно важны для качества перевода с помощью ИИ.

И наконец, оценка качества. Мы используем TER, BLEU, CHRF3 и MetricX и сравниваем результаты с проверенными переводами, выполненными людьми. Модель может звучать естественно, но при этом искажать смысл.

Какова ответственность ведущих лабораторий и что можно считать значимым прогрессом?

На ведущих лабораториях лежит наибольшая ответственность, поскольку именно они контролируют самые передовые языковые модели. Их решения могут как усилить неравенство, так и помочь его сократить. Однако перевод часто конкурирует за внимание с рассуждениями, программированием и безопасностью, поэтому лишь в немногих лабораториях есть специальные команды, сосредоточенные на этой задаче.

Существенно изменить ситуацию помогли бы три меры:

1. Создавать качественные данные для большего числа языков и тематических областей.
2. Улучшать токенизацию языков, для которых нынешние подходы не дают хороших результатов.
3. И оценивать каждую новую модель на языках, для которых доступно меньше обучающих данных, а не только на самых распространённых языках.

Одна из важнейших возможностей — создавать обучающие данные для языков, которые почти не представлены в интернете. Большая часть этой работы ведётся за пределами крупных лабораторий. Мы сотрудничаем с такими организациями, как African Language Lab, чтобы создавать данные для африканских языков.

Как Smartling определяет, какой из более чем 20 движков подходит для конкретного языка, типа контента или сценария использования?

Мы тестируем модели, а не предполагаем, что одна из них лучше остальных. Каждую модель оценивают по проверенным переводам, выполненным людьми, с помощью метрик TER, BLEU, CHRF3 и MetricX. Клиент может предоставить нам свои маркетинговые материалы, и примерно за неделю мы покажем, как каждая модель справляется с разными языками и тематиками. Модель, лучше всего подходящая для маркетинговых материалов на латиноамериканском испанском, может оказаться не лучшей для другого языка или контента, требующего особой осторожности.

Мы также учитываем риски. Пользовательский контент с низким уровнем риска может проходить менее строгую проверку. Контент, связанный с регулируемыми сферами или критически важный для бренда, проверяют тщательнее и обычно дополнительно оценивает человек. Поскольку модели можно добавлять или исключать по мере изменения их эффективности, мы не привязаны к одному поставщику.

В каких случаях специализированные системы перевода по-прежнему превосходят универсальные большие языковые модели и как эти два подхода будут сближаться?

Специализированный машинный перевод по-прежнему выигрывает там, где важнее всего предсказуемость. Он особенно полезен для контента, требующего особой осторожности, и для некоторых языков. Большие языковые модели создают более естественные тексты, но при этом могут уверенно галлюцинировать.

В Smartling мы объединяем оба подхода. Специализированная модель перевода создаёт первый вариант текста, используя терминологию клиента и данные по соответствующей предметной области. Затем большая языковая модель редактирует его: восстанавливает утверждённую терминологию, учитывает совпадения из предыдущих переводов и улучшает стиль текста.

Модель становится лишь одной частью системы. Теперь не меньшее значение имеют подсказки, данные, настройка и средства обеспечения безопасности.

Какие основные риски следует учитывать компаниям при использовании генеративного ИИ для создания контента на разных языках?

Безусловно, галлюцинации. Мне больше всего нравится пример с человеком, который спрашивает ИИ, ядовит ли гриб. ИИ с полной уверенностью отвечает, что нет, а надгробие этого человека доказывает обратное. В переводе это проявляется в текстах, которые звучат безупречно, но содержат фактические ошибки. Для языков, по которым доступно меньше обучающих данных, такой риск может быть выше.

Есть также культурный и нормативный контекст. Перевод может быть технически точным, но не подходить для конкретного рынка. Например, немецкий и японский требуют соблюдения уровней формальности, которых нет в английском. Правила рекламы в Китае также ограничивают такие утверждения, как «лучший».

Ещё один риск — непоследовательность. При масштабном использовании универсальные инструменты ИИ могут приводить к разнобою в терминологии и голосе бренда. Один руководитель рассказал мне, что в его компании 300 000 сотрудников и, благодаря универсальному ИИ, — 300 000 разных голосов.

Кроме того, на кону может стоять физическая безопасность. Если неправильно перевести инструкцию по безопасности, предписывающую потянуть за рычаг, на строительной площадке может упасть кран.

Как выглядит ИИ-агент в локализационном процессе и какую часть работы можно автоматизировать под контролем человека?

ИИ-агент — один из этапов локализационного процесса. Одна модель выполняет перевод, а другая проверяет его, выявляет галлюцинации, восстанавливает утверждённую терминологию и адаптирует контент для конкретного рынка. Затем проверка качества определяет, можно ли публиковать материал, достаточно ли быстрой проверки человеком или необходима полная проверка.

Объём автоматизации зависит от уровня риска. Значительная часть нашей работы с низким уровнем риска уже полностью автоматизирована, но для контента, требующего особой осторожности, и материалов из регулируемых сфер по-прежнему нужны люди.

Полная автоматизация не всегда является целью, поскольку для совершенствования моделей необходима обратная связь от людей. Наша цель — уменьшить нагрузку на сотрудников, не отказываясь от человеческого суждения.

Через пять лет разрыв сократится или увеличится и что позволит ИИ действительно работать на всех языках в глобальном масштабе?

Возможны оба варианта. Языки, которые изначально поддерживались хуже всего, совершенствуются быстрее других, а всё больше организаций собирают данные для языков, на которых мало контента в интернете, в том числе данные устной речи.

Но характер этого разрыва меняется. ИИ может хорошо работать с тем или иным языком, но при этом переносить из обучающих данных представления, характерные для англоязычной среды.

Для создания действительно многоязычного ИИ нужен иной подход. Например, можно разрабатывать небольшие модели для конкретных языков и тематик вместо одной универсальной модели, от которой ожидают, что она справится со всем. Это также означает необходимость разнообразить данные по языкам и предметным областям, улучшить токенизацию языков, для которых нынешние подходы не дают хороших результатов, и использовать синтетические данные. Кроме того, знания, полученные моделью при работе с одним языком, можно переносить на родственные языки, чтобы улучшения не ограничивались языками с наибольшим объёмом данных.

Эта технология уже существует, но вопрос в том, сделают ли компании, разрабатывающие такие модели, приоритетом их эффективную работу на разных языках.

Спасибо за отличное интервью! Читателям, которые хотят подробнее узнать о переводе с помощью ИИ, оценке качества на многих языках и процессах локализации с контролем со стороны человека, стоит посетить Smartling.