Состояние многоязычных программ LLM: выходя за рамки английского языка

По данным исследования Microsoft, около 88% языков мира, на котором говорят 1.2 миллиарда человек, не имеют доступа к Большие языковые модели (LLM). Это связано с тем, что большинство программ LLM ориентированы на английский язык, т.е. они в основном созданы на основе англоязычных данных и для англоговорящих людей. Доминирование английского языка также преобладает в сфере развития LLM и привело к цифровому языковому разрыву, потенциально исключающему большинство людей из преимущества LLM. Чтобы решить эту проблему для LLM, необходим LLM, который может обучаться на разных языках и выполнять задачи на разных языках. Примите участие в многоязычных программах LLM!

Что такое многоязычные программы LLM?

Многоязычный LLM-специалист может понимать и генерировать текст на нескольких языках. Он обучается на наборах данных, содержащих разные языки, и может выполнять различные задачи на нескольких языках по подсказке пользователя.

Многоязычные приложения LLM огромны, они включают в себя перевод литературы на местные диалекты, многоязычное общение в реальном времени, создание многоязычного контента и т. д. Они помогут каждому получить доступ к информации и легко общаться друг с другом, независимо от языка.

Кроме того, многоязычные программы LLM решают такие проблемы, как отсутствие культурных нюансов и контекста, ограничения обучающих данных и потенциальная потеря знаний во время перевода.

Как работают многоязычные программы LLM?

Создание многоязычного LLM предполагает тщательную подготовку сбалансированного корпуса текста на разных языках и выбор подходящей архитектуры и метода обучения для обучения модели, желательно Модель трансформатора, который идеально подходит для многоязычного обучения.

Источник: Изображение автора

Один из методов — совместное использование вложений, которые отражают семантическое значение слов на разных языках. Это позволяет LLM изучать сходства и различия каждого языка, что позволяет ему лучше понимать разные языки.

Эти знания также позволяют LLM адаптироваться к различным лингвистическим задачам, таким как перевод языков, письмо в разных стилях и т. д. Еще один используемый метод: межъязыковое трансферное обучение, где модель предварительно обучается на большом массиве многоязычных данных, а затем настраивается для конкретных задач.

Этот двухэтапный процесс гарантирует, что модель имеет прочную основу для понимания многоязычных языков, что позволяет адаптировать ее к различным последующим приложениям.

Примеры многоязычных моделей большого языка

Источник: Рудер.io

Появилось несколько примечательных примеров многоязычных программ магистратуры права (LLM), каждая из которых учитывает конкретные языковые потребности и культурный контекст. Давайте рассмотрим некоторые из них:

1. БЛУМ

BLOOM это многоязычная программа LLM с открытым доступом, в которой приоритет отдается разнообразию языков и доступности. Имея 176 миллиардов параметров, BLOOM может решать задачи на 46 естественных и 13 языках программирования, что делает его одним из крупнейших и самых разнообразных LLM.

Открытый исходный код BLOOM позволяет исследователям, разработчикам и языковым сообществам извлекать выгоду из его возможностей и вносить свой вклад в его совершенствование.

2. ЯИ 2

YAYI 2 — это программа LLM с открытым исходным кодом, разработанная специально для азиатских языков с учётом специфики и культурных особенностей региона. Программа была предварительно обучена с нуля на многоязычном корпусе из более чем 16 азиатских языков, содержащем 2.65 триллиона отфильтрованных токенов.

Благодаря этому модель дает лучшие результаты и отвечает конкретным требованиям языков и культур Азии.

3. ПолиЛМ

PolyLM — это «полиглот» LLM с открытым исходным кодом, который фокусируется на решении проблем языков с низким уровнем ресурсов, предлагая возможности адаптации. Он был обучен на наборе данных, содержащем около 640 миллиардов токенов, и доступен в двух размерах модели: 1.7B и 13B. PolyLM знает более 16 различных языков.

Это позволяет моделям, обученным на языках с высокими ресурсами, быть точно настроенными для языков с низкими ресурсами и ограниченными данными. Такая гибкость делает программы LLM более полезными в различных языковых ситуациях и задачах.

4. ХГЛМ

XGLM, имеющий 7.5 миллиардов параметров, представляет собой многоязычную программу LLM, обученную на корпусе, охватывающем разнообразный набор из более чем 20 языков, с использованием метода обучения в несколько этапов. Это часть семейства крупномасштабных многоязычных программ LLM, обученных на огромном наборе данных текста и кода.

Его цель — полностью охватить многие языки, поэтому основное внимание уделяется инклюзивности и языковому разнообразию. XGLM демонстрирует потенциал построения моделей, отвечающих потребностям различных языковых сообществ.

5. мТ5

Радиус корня мТ5 (многоязычный преобразователь текста в текст) был разработан Google AI. Прошел обучение на общий набор данных сканирования, mt5 — это современная многоязычная программа LLM, которая поддерживает 101 язык, от широко распространённых испанского и китайского до языков с меньшими ресурсами, таких как баскский и кечуа.

Он также отлично справляется с многоязычными задачами, такими как перевод, обобщение, ответы на вопросы и т. д.

Возможна ли универсальная LLM?

Концепция языково-нейтрального LLM, способного понимать и генерировать язык без предвзятости к какому-либо конкретному языку, интригует.

Хотя до создания по-настоящему универсального LLM еще далеко, нынешние многоязычные LLM продемонстрировали значительный успех. После полной разработки они смогут удовлетворить потребности недостаточно представленных языков и различных сообществ.

Например, исследованиями показывает, что большинство многоязычных программ LLM могут способствовать беспрепятственному межъязыковому переходу с языка, богатого ресурсами, на язык, лишенный ресурсов, без данных обучения для конкретных задач.

Кроме того, такие модели, как YAYI и BLOOM, ориентированные на конкретные языки и сообщества, продемонстрировали потенциал языково-ориентированных подходов в обеспечении прогресса и инклюзивности.

Чтобы создать универсальный LLM или улучшить существующие многоязычные LLM, отдельные лица и организации должны сделать следующее:

• Краудсорсинг носителей языка для взаимодействия с сообществом и обработки наборов языковых данных.
• Поддерживайте усилия сообщества по вкладу открытого исходного кода и финансированию многоязычных исследований и разработок.

Проблемы многоязычного LLM

Хотя концепция универсальных многоязычных программ LLM имеет большие перспективы, они также сталкиваются с рядом проблем, которые необходимо решить, прежде чем мы сможем извлечь из них выгоду:

1. Количество данных

Многоязычные модели требуют большего словарного запаса для представления токенов на многих языках, чем одноязычные модели, но во многих языках отсутствуют крупномасштабные наборы данных. Это затрудняет эффективное обучение этих моделей.

2. Проблемы качества данных

Обеспечение точности и культурной приемлемости многоязычных результатов LLM на разных языках является серьезной проблемой. Модели необходимо обучать и настраивать, уделяя пристальное внимание языковым и культурным нюансам, чтобы избежать предвзятости и неточностей.

3. Ограничения ресурсов

Обучение и запуск многоязычных моделей требуют значительных вычислительных ресурсов, таких как мощные графические процессоры (например, графический процессор NVIDIA A100). Высокая стоимость создает проблемы, особенно для языков с ограниченными ресурсами и сообществ с ограниченным доступом к вычислительной инфраструктуре.

4. Модельная архитектура

Адаптация архитектуры моделей для учета разнообразных лингвистических структур и сложностей является постоянной проблемой. Модели должны быть способны работать с языками с различным порядком слов, морфологическими вариациями и системами письма, сохраняя при этом высокую производительность и эффективность.

5. Сложности оценки

Оценка эффективности многоязычных программ LLM за пределами английских критериев имеет решающее значение для измерения их истинной эффективности. Это требует учета культурных нюансов, языковых особенностей и требований, специфичных для предметной области.

Многоязычные программы LLM обладают потенциалом преодолеть языковые барьеры, расширить возможности языков с ограниченными ресурсами и способствовать эффективному общению между различными сообществами.

Не пропустите последние новости и аналитику в области искусственного интеллекта и машинного обучения — посетите объединить.ай прямо сейчас