A solução da Apple para traduzir idiomas de gênero

A Apple acaba de publicar um artigo, em colaboração com a USC, que explora os métodos de aprendizado de máquina empregados para dar aos usuários do seu sistema operacional iOS18 mais opções sobre gênero quando se trata de tradução.

No iOS18, os usuários podem selecionar sugestões de gênero alternativas para uma palavra traduzida no aplicativo nativo Traduzir. Fonte: https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

Embora as questões abordadas no trabalho (que a Apple anunciou aqui) se envolve, até certo ponto, em debates atuais sobre definições de gênero, centra-se em um problema muito mais antigo: o fato de que 84 das 229 línguas conhecidas no mundo usar um sistema de gênero baseado no sexo.

Os pontos vermelhos indicam idiomas que usam um sistema de gênero baseado no sexo. Fonte: https://wals.info/feature/31A#map

Surpreendentemente, a língua inglesa se enquadra na categoria baseada no sexo, porque atribui pronomes singulares masculinos ou femininos.

Em contrapartida, todos Línguas românicas (incluindo mais de meio bilhão Os falantes de espanhol) – e várias outras línguas populares, como o russo – exigem concordância de gênero de maneiras que forçam os sistemas de tradução a abordar a atribuição de sexo na linguagem.

O novo artigo ilustra isso observando todas as traduções possíveis da frase em espanhol A secretária ficou brava com o chefe:

Do novo artigo, um exemplo de possíveis atribuições de gênero na frase "A secretária estava brava com o chefe", traduzida do inglês para o espanhol. Fonte: https://arxiv.org/pdf/2407.20438

A tradução ingênua está longe de ser suficiente para textos mais longos, que podem estabelecer o gênero no início ('Ele', 'Ela', etc.) e depois não se referir ao gênero novamente. No entanto, a tradução deve lembrar o gênero atribuído ao participante ao longo do texto.

Isso pode ser desafiador para abordagens baseadas em tokens que abordam traduções em blocos discretos e correm o risco de perder o contexto de gênero atribuído ao longo da duração do conteúdo.

Pior ainda, os sistemas que fornecem traduções alternativas para atribuições de gênero tendenciosas não podem fazer isso indiscriminadamente, ou seja, apenas substituindo o substantivo de gênero, mas devem garantir que todas as outras partes da linguagem concordem com o substantivo de gênero alterado.

Neste exemplo do artigo da Apple/USC, vemos que, embora Secretária foi atribuído um gênero masculino, o passado singular foi foi deixado como feminino (foi):

Substituições de gênero por força bruta podem negligenciar a necessária concordância de gênero. Neste exemplo, a palavra "enojada" deveria ser "enojado", para concordar com o masculino "El secretario".

Um sistema de tradução também deve lidar com as excentricidades de línguas particulares em relação ao gênero. Como o artigo aponta, o pronome I tem gênero em hindi, o que fornece uma pista incomum sobre gênero.

Questões de gênero

De acordo com o relatório novo papel, Com o título Gerando alternativas de gênero na tradução automática, os pesquisadores da Apple e da USC propõem uma semi-supervisionado método para converter entidades de gênero ambíguo em uma matriz de alternativas em nível de entidade.

O sistema, que foi usado para informar a tradução do aplicativo Apple Translate no iOS18, constrói um esquema de linguagem tanto pelo uso de grandes modelos de linguagem (LLMs) quanto por afinação modelos de tradução automática de código aberto pré-treinados.

Os resultados das traduções desses sistemas foram então treinados em uma arquitetura contendo estruturas de gênero – grupos de frases que contêm diversas formas de substantivos de gênero variado representando a mesma entidade.

O jornal afirma*:

'Sabe-se que os preconceitos de género presentes nos dados dos comboios afectam os sistemas de processamento de linguagem natural (PLN), resultando na disseminação e amplificação potencial desses vieses. Tais vieses são frequentemente também a causa raiz dos erros.

Um sistema de tradução automática (TA) pode, por exemplo, traduzir médico para o termo espanhol médico (masculino) em vez de médica (feminino), dada a entrada “O médico pediu à enfermeira para ajudá-la no procedimento”.

Para evitar a prescrição de atribuição de gênero incorreta, os sistemas de tradução automática precisam desambiguar o gênero por meio do contexto. Quando o gênero correto não pode ser determinado por meio do contexto, fornecer múltiplas alternativas de tradução que abranjam todas as escolhas de gênero válidas é uma abordagem razoável.

A abordagem à qual os pesquisadores chegam efetivamente transforma uma tradução de um único token em uma matriz controlada pelo usuário.

(Embora o artigo não mencione isso, isso abre a possibilidade, tanto no Apple Translate quanto em portais semelhantes que oferecem serviços de tradução, de que as escolhas do usuário sejam inseridas em iterações posteriores do modelo)

O modelo desenvolvido pela Apple e pela USC foi avaliado no PORTÃO e MT-Avaliação Geral conjuntos de teste. GATE contém sentenças de origem com até 3 entidades de gênero ambíguo, enquanto MT-GenEval contém material onde o gênero não pode ser inferido, o que, segundo os autores, auxilia na compreensão de quando opções alternativas de gênero não devem ser oferecidas ao usuário.

Em ambos os casos, os conjuntos de teste tiveram que ser reanotados para se alinharem aos objetivos do projeto.

Para treinar o sistema, os pesquisadores contaram com um novo sistema automático aumento de dados algoritmo, em contraste com os conjuntos de testes mencionados acima, que foram anotados por humanos.

Os conjuntos de dados contribuintes para a curadoria da Apple foram Europarl; Títulos Wiki; e WikiMatriz. Os corpora foram divididos em Etiqueta G (com 12,000 frases), abrangendo frases com palavras de cabeça para todas as entidades, juntamente com uma anotação de gênero ambíguo; e G-Trans (com 50,000 frases), contendo entidades de gênero ambíguo e alinhamentos de gênero.

Os autores afirmam:

'Até onde sabemos, este é o primeiro corpus em larga escala que contém ambiguidades de gênero e como elas afetam as formas de gênero na tradução.'

Conjuntos de dados e dados diversos para o projeto foram disponibilizado no GitHub. Os dados apresentam cinco pares de idiomas, colocando inglês contra russo, alemão, francês, português e espanhol.

Os autores alavancaram uma abordagem anterior a partir de 2019 para dotar o modelo da capacidade de produzir alinhamentos de género, formação com entropia cruzada fora e um adicional perda de alinhamento.

Para a rotina de aumento de dados, os autores evitaram o tradicional método baseado em regrass a favor de uma abordagem centrada em dados, ajustando uma BERT modelo de linguagem pré-treinado no conjunto de dados G-Tag.

Dupla

Para casos em que entidades de gênero ambíguas são detectadas, a Apple e a USC exploraram dois métodos: o ajuste fino de modelos de linguagem pré-treinados e o uso de LLMs.

Em relação ao primeiro método, o artigo afirma:

'Nós ajustamos um modelo MT pré-treinado M em um bitexto extraído do conjunto de dados G-Trans. As frases de origem deste bitexto contêm entidades ambíguas marcadas como masculinas ou femininas usando / tags, e a tradução de destino tem flexões de gênero corretas, dadas as tags de gênero.'

Uma ilustração do esquema para extrair bi-texto do conjunto de dados G-Trans.

Na imagem acima, vemos o texto ajustado na coluna central inferior e o resultado desejado na coluna direita, com a justificativa subjacente ilustrada acima.

Para esta abordagem, os autores fizeram uso de uma reclassificação de rede método de um trabalho anterior de 2020. Para garantir que apenas o domínio alvo (gênero) fosse abordado, um pesquisa de feixe restrito foi usado como um filtro.

Para a abordagem LLM, os autores elaboraram uma estratégia que usa um LLM como editor, reescrevendo as traduções fornecidas para fornecer atribuições de gênero.

O LLM é solicitado usando um exemplo em contexto para atribuir gênero.

Com os resultados de ambas as abordagens concatenados, o modelo foi posteriormente ajustado para classificar os tokens de origem como alinhado (indicado por '1' no esquema abaixo) ou não alinhado (indicado por '2' abaixo).

Um esquema para a concatenação de resultados de ambas as abordagens.

Dados e testes

A entidade ambígua O detector usado no projeto foi desenvolvido por meio do ajuste fino da IA ​​do Facebook  xlm-roberta-grande modelo, usando transformadores. Para isso, a G-Tag combinada foi usada em todos os cinco pares de idiomas.

Na primeira das duas abordagens acima mencionadas, a M2M 1.2 bilhões modelo foi treinado em Fairseq, juntamente com dados bi-textuais do conjunto de dados G-Trans, com inflexões de gênero fornecidas pelo Wikcionário.

Para o método LLM, os autores utilizaram GPT-3.5-turbo. Para o alinhamento das estruturas de gênero, xlm-roberta-large foi usado novamente, desta vez com alinhamentos de gênero extraídos de G-Trans.

Métricas para avaliação de alternativas, estrutura (com precisão e recordar), E precisão de alinhamento.

Embora os dois primeiros sejam autoexplicativos, a precisão do alinhamento mede a porcentagem de estruturas de gênero de saída que estão em conformidade com a identidade de origem correta conhecida e usa o Método δ-BLEU, de acordo com a metodologia do MT-GenEval.

Abaixo estão os resultados do pipeline de aumento de dados:

Resultados dos testes de aumento de dados. Setas para cima indicam "quanto maior, melhor", e para baixo, "quanto menor, melhor".

Aqui os autores comentam*:

'Tanto o M2M quanto o GPT têm desempenho praticamente igual, com exceção do inglês-russo, onde o GPT alcança uma recuperação de alternativas muito menor (58.7 em comparação a 89.3). A qualidade das estruturas de gênero geradas é melhor para o GPT em inglês-alemão e inglês-português e melhor para o M2M em inglês-espanhol e inglês-russo, como pode ser visto nas métricas de estrutura.

'Observe que não temos dados G-Trans para inglês-italiano, então os resultados do modelo M2M e a precisão do alinhamento em inglês-italiano são puramente devidos à generalização de zero-shot de Modelos M2M e XLM. '

Os pesquisadores também compararam o desempenho do sistema de aumento de dados, via M2M, com o reescritor de gênero em nível de frase do GATE, nos próprios termos declarados pelo GATE.

O pipeline de aumento de dados da Apple/USC foi confrontado com o método de nível de frase GATE.

Aqui o artigo afirma:

"Observamos melhorias significativas na recuperação ao custo de uma degradação relativamente pequena na precisão (exceto inglês-italiano). Nosso sistema supera o GATE na métrica F.5 proposta em todos os três pares de idiomas."

Finalmente, os autores treinaram diversos modelos multilíngues 'vanilla' em bi-texto baunilha. Os conjuntos de dados contribuintes foram WikiMatrix, Títulos Wiki, Multi-ONU, NotíciasComentário e Til.

Dois modelos vanilla adicionais foram treinados, um incorporando o conjunto de dados G-Trans com a tag prefixada , que foi empregado como linha de base supervisionada; e um terceiro, incorporando estrutura e alinhamentos de gênero (no modelo local menor, já que usar os serviços baseados em API do GPT teria sido muito caro para esse propósito).

Os modelos foram testados em relação ao modelo 2022 FloRes conjunto de dados.

Modelos de tradução automática de ponta a ponta testados (P = precisão, R = recall).

O artigo resume esses resultados:

'O modelo vanilla não consegue gerar alternativas e mostra uma grande tendência a gerar formas masculinas (δ-BLEU variando de 5.3 a 12.5 pontos).

'Esse viés é bastante reduzido pela linha de base supervisionada. O modelo treinado em dados aumentados reduz ainda mais o viés e obtém o melhor desempenho em termos de métricas alternativas, precisão de alinhamento e δ-BLEU.

"Isso demonstra a eficácia do pipeline de aumento de dados. Os dados aumentados também nos permitem treinar um sistema competitivo para inglês-italiano, que carece de dados supervisionados."

Os autores concluem observando que o sucesso do modelo deve ser considerado no contexto mais amplo da luta da PNL para racionalizar a atribuição de gênero em um método de tradução; e eles observam que isso continua sendo um problema em aberto.

Embora os pesquisadores considerem que os resultados obtidos não atingem totalmente o objetivo de gerar traduções neutras em termos de gênero e/ou desambiguações em relação ao gênero em nível de entidade, eles acreditam que o trabalho seja um "instrumento poderoso" para futuras explorações em uma das áreas mais desafiadoras da tradução automática.

* Minha conversão das citações inline dos autores em hiperlinks

Primeira publicação terça-feira, 8 de outubro de 2024