Решение Apple для перевода гендерных языков

Компания Apple только что опубликовала статью, подготовленную в сотрудничестве с Университетом Южной Калифорнии, в которой исследуются методы машинного обучения, используемые для предоставления пользователям операционной системы iOS18 большего выбора в отношении пола при переводе.

В iOS18 пользователи могут выбирать альтернативные варианты пола для переведенного слова в собственном приложении «Переводчик». Источник: https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

Хотя проблемы, затронутые в работе (которую Apple объявила здесь) в определенной степени участвует в текущих актуальных дебатах вокруг определений гендера, он сосредоточен на гораздо более старой проблеме: тот факт, что 84 из 229 известных языков в мире использовать гендерную систему, основанную на поле.

Красные точки обозначают языки, в которых используется система родов, основанная на поле. Источник: https://wals.info/feature/31A#map

Удивительно, но английский язык попадает в категорию основанных на половой принадлежности, поскольку он присваивает местоимениям мужского или женского рода единственного числа.

Напротив, все Романтические языки (в том числе более полмиллиарда человек Носители испанского языка) и многих других популярных языков, таких как русский, требуют гендерного согласования таким образом, что это заставляет системы перевода учитывать половую принадлежность в языке.

Новая статья иллюстрирует это, рассматривая все возможные испанские переводы предложения. Секретарь был зол на босса.:

В новой статье приведен пример потенциального назначения рода в предложении «Секретарь был зол на начальника» при переводе с английского на испанский. Источник: https://arxiv.org/pdf/2407.20438

Наивный перевод далеко недостаточен для длинных текстов, в которых пол может быть указан в начале ('Он', 'Она'и т.д.) и в дальнейшем не ссылаться на пол снова. Тем не менее, перевод должен помнить назначенный пол участника по всему тексту.

Это может оказаться сложной задачей для подходов, основанных на токенах, которые рассматривают переводы отдельными фрагментами, и может привести к потере назначенного гендерного контекста на протяжении всего контента.

Хуже того, системы, которые предоставляют альтернативные переводы для предвзятых назначений рода, не могут делать это без разбора, то есть просто заменяя существительное, указывающее род, а должны гарантировать, что все остальные части языка согласуются с измененным существительным, указывающим род.

В этом примере из статьи Apple/USC мы видим, что хотя Секретарь был присвоен мужской пол, единственное число в прошедшем времени законопроект был оставлен как женский (Я был):

При грубой замене рода может быть нарушено необходимое согласование рода. В этом примере слово «enojada» должно быть «enojado», чтобы согласовываться с мужским словом «El secretario».

Система перевода также должна справляться с эксцентричностью отдельных языков в отношении пола. Как отмечается в статье, местоимение I в хинди имеет гендерную принадлежность, что дает необычную подсказку о поле.

Гендерные вопросы

В Новый документ, Под названием Создание гендерных альтернатив в машинном переводе, исследователи Apple и USC предлагают полуобучаемой метод преобразования гендерно-неоднозначных сущностей в массив альтернатив на уровне сущностей.

Система, которая использовалась для информирования о переводе из приложения Apple Translate в iOS18, создает языковую схему как с помощью больших языковых моделей (LLM), так и с помощью тонкая настройка предварительно обученные модели машинного перевода с открытым исходным кодом.

Результаты переводов из этих систем затем были преобразованы в архитектуру, содержащую гендерные структуры – группы фраз, которые содержат различные формы существительных разного рода, представляющих одну и ту же сущность.

В документе указано*:

«Известно, что гендерные предубеждения, присутствующие в данных поездов, проникают в системы обработки естественного языка (NLP), что приводит к их распространению и потенциальное усиление этих предубеждений. Такие предубеждения часто являются также первопричиной ошибок.

«Система машинного перевода (МП) может, например, перевести врач на испанский термин médico (мужской род) вместо médica (женский род), учитывая вводную информацию «Врач попросил медсестру помочь ей во время процедуры».

«Чтобы избежать неправильного определения пола, системам машинного перевода необходимо устранять неоднозначность определения пола через контекст. Если правильный пол невозможно определить через контекст, разумным подходом является предоставление нескольких вариантов перевода, охватывающих все допустимые варианты».

Подход, к которому пришли исследователи, фактически превращает перевод из одного токена в управляемый пользователем массив.

(Хотя в статье об этом не упоминается, это открывает возможность для того, чтобы выбор пользователя был учтен в последующих итерациях модели либо в Apple Translate, либо в аналогичных порталах, предлагающих услуги перевода.)

Разработанная Apple и USC модель была оценена на GATE и MT-GenEval Тестовые наборы. GATE содержит исходные предложения с 3 неоднозначными по полу сущностями, в то время как MT-GenEval содержит материал, в котором пол не может быть определен, что, по словам авторов, помогает понять, когда пользователю не следует предлагать альтернативные варианты пола.

В обоих случаях тестовые наборы пришлось переаннотировать, чтобы привести их в соответствие с целями проекта.

Для обучения системы исследователи использовали новый автоматический метод увеличение данных алгоритм, в отличие от вышеупомянутых тестовых наборов, которые были аннотированы людьми.

Вклад в наборы данных для курирования Apple внесли: Europarl; WikiTitlesи ВикиМатрица. Корпус был разделен на G-Тег (с 12,000 XNUMX предложений), включая предложения с заглавные слова для всех сущностей, вместе с аннотацией, не содержащей указаний по полу; и G-Транс (50,000 XNUMX предложений), содержащих гендерно-неоднозначные сущности и гендерные соответствия.

Авторы утверждают:

«Насколько нам известно, это первый крупный корпус, содержащий гендерную неоднозначность и показывающий, как она влияет на гендерные формы при переводе».

Наборы данных и разнообразные данные для проекта были доступно на GitHub. Данные охватывают пять языковых пар: английский, русский, немецкий, французский, португальский и испанский.

Авторы использовали предыдущий подход с 2019 года, чтобы наделить модель способностью выводить гендерные соответствия, обучение с перекрестная энтропия от и дополнительный потеря выравнивания.

Для процедуры дополнения данных авторы отказались от традиционных метод на основе правилв пользу подхода, ориентированного на данные, тонкой настройки БЕРТ Предварительно обученная языковая модель на наборе данных G-Tag.

Двойной дубль

Для случаев обнаружения неоднозначных гендерных сущностей Apple и USC исследовали два метода: тонкую настройку предварительно обученных языковых моделей и использование LLM.

В отношении первого метода в статье говорится:

«Мы настраиваем предварительно обученную модель MT M на битексте, извлеченном из набора данных G-Trans. Исходные предложения этого битекста содержат неоднозначные сущности, помеченные как мужские или женские с помощью / теги, и целевой перевод имеет правильные склонения по родам с учетом тегов рода.

Иллюстрация схемы извлечения битекста из набора данных G-Trans.

На изображении выше мы видим отредактированный текст в нижнем среднем столбце и желаемый результат в правом столбце с приведенным выше обоснованием.

Для этого подхода авторы использовали пересчет решетки метод из более ранние работы 2020 года. Чтобы гарантировать, что был рассмотрен только целевой домен (пол), поиск ограниченного луча использовался как фильтр.

Для подхода LLM авторы разработали стратегию, которая использует LLM в качестве редактора, переписывая предоставленные переводы для указания гендерных назначений.

Для определения пола магистру права предлагается использовать контекстный пример.

После объединения результатов обоих подходов модель была впоследствии доработана для классификации исходных токенов как выровненный (обозначено цифрой «1» на схеме ниже) или неприсоединившийся (обозначено цифрой «2» ниже).

Схема объединения результатов обоих подходов.

Данные и тесты

неоднозначная сущность Детектор, используемый для проекта, был разработан путем тонкой настройки искусственного интеллекта Facebook.  xlm-roberta-большой модель, используя трансформерыДля этого использовался объединенный G-Tag во всех пяти языковых парах.

В первом из двух вышеупомянутых подходов М2М 1.2Б Модель была обучена на Фэйрсек, совместно с данными двутекстового набора данных G-Trans, с гендерными склонениями, предоставленными Викисловарем.

Для метода LLM авторы использовали ГПТ-3.5-турбоДля выравнивания гендерных структур снова использовался xlm-roberta-large, на этот раз с гендерными выравниваниями, извлеченными из G-Trans.

Метрики для оценки альтернатив, структура (с точность и вспоминать), а также расширение точность выравнивания.

Хотя первые два из них говорят сами за себя, точность выравнивания измеряет процент выходных гендерных структур, которые соответствуют известной правильной исходной идентичности, и использует Метод δ-BLEU, в соответствии с методологией MT-GenEval.

Ниже приведены результаты конвейера дополнения данных:

Результаты тестов на дополнение данных. Стрелки вверх обозначают «чем выше, тем лучше», стрелки вниз — «чем ниже, тем лучше».

Вот комментарий авторов*:

«Как M2M, так и GPT работают в основном на одном уровне, за исключением англо-русского, где GPT достигает гораздо более низкого отзыва альтернатив (58.7 по сравнению с 89.3). Качество сгенерированных гендерных структур лучше для GPT на англо-немецком и англо-португальском языках и лучше для M2M на англо-испанском и англо-русском языках, как можно увидеть из структурных метрик.

«Обратите внимание, что у нас нет данных G-Trans для английского и итальянского языков, поэтому результаты модели M2M и точность выравнивания для английского и итальянского языков обусловлены исключительно обобщением с нулевой точностью Модели M2M и XLM».

Исследователи также сравнили производительность системы дополнения данных посредством M2M с производительностью системы переписывания полов на уровне предложений GATE на условиях, заявленных самой GATE.

Конвейер дополнения данных Apple/USC сравнился с методом GATE на уровне предложений.

В статье говорится следующее:

«Мы наблюдаем значительное улучшение полноты за счёт относительно небольшого снижения точности (за исключением пары английский-итальянский). Наша система превосходит GATE по предложенной ими метрике F.5 во всех трёх языковых парах».

Наконец, авторы обучили разнообразные «ванильные» многоязычные модели ванильный би-текст. Вклад в наборы данных внесли WikiMatrix, WikiTitles, Мульти-ООН, НовостиКомментарий и Тильда.

Были обучены две дополнительные ванильные модели, одна из которых включала набор данных G-Trans с префиксным тегом , которая использовалась в качестве контролируемой базовой линии; и третья, включающая гендерную структуру и выравнивания (на меньшей локальной модели, поскольку использование API-сервисов GPT для этой цели было бы очень дорогим).

Модели были протестированы на соответствие 2022 году. ФлоРес набор данных.

Протестированы сквозные модели машинного перевода (P = точность, R = полнота).

В статье суммируются эти результаты:

«Ванильная модель не может генерировать альтернативы и демонстрирует огромный перекос в сторону генерации мужских форм (δ-BLEU в диапазоне от 5.3 до 12.5 баллов).

«Это смещение значительно уменьшается за счет контролируемой базовой линии. Модель, обученная на дополненных данных, еще больше уменьшает смещение и достигает наилучшей производительности с точки зрения альтернативных метрик, точности выравнивания и δ-BLEU.

«Это демонстрирует эффективность системы дополнения данных. Дополненные данные также позволяют нам обучить конкурентоспособную систему для англо-итальянского языка, в которой отсутствуют контролируемые данные».

Авторы делают вывод, что успех модели следует рассматривать в более широком контексте борьбы НЛП за рационализацию присвоения пола в методе перевода; они также отмечают, что эта проблема остается открытой.

Хотя исследователи полагают, что полученные результаты не в полной мере отвечают цели создания гендерно-нейтральных переводов на уровне сущностей и/или устранения неоднозначностей относительно пола, они считают, что эта работа станет «мощным инструментом» для будущих исследований в одной из самых сложных областей машинного перевода.

* Мое преобразование встроенных ссылок авторов в гиперссылки

Впервые опубликовано Вторник, 8 октября 2024 г.