Impacto do Transformer: A Tradução de Máquina foi Resolvida?

O Google recentemente anunciou o lançamento de 110 novas línguas no Google Translate como parte de sua iniciativa de 1000 línguas lançada em 2022. Em 2022, no início, foram adicionadas 24 línguas. Com as 110 novas línguas, agora são 243 línguas. Essa rápida expansão foi possível graças à Tradução de Máquina Zero-Shot, uma tecnologia onde os modelos de aprendizado de máquina aprendem a traduzir para outro idioma sem exemplos anteriores. Mas, no futuro, veremos juntos se esse avanço pode ser a solução definitiva para o desafio da tradução de máquina e, enquanto isso, podemos explorar as maneiras pelas quais isso pode acontecer. Mas, primeiro, sua história.

Como Era Antes?

Tradução de Máquina Estatística (SMT)

Essa era o método original utilizado pelo Google Translate. Ele se baseava em modelos estatísticos. Eles analisavam grandes corpora paralelos, coleções de traduções de frases alinhadas, para determinar as traduções mais prováveis. Primeiro, o sistema traduzia o texto para o inglês como um passo intermediário antes de convertê-lo para o idioma alvo, e precisava de referências cruzadas de frases com conjuntos de dados extensos de transcrições das Nações Unidas e do Parlamento Europeu. É diferente das abordagens tradicionais que exigiam a compilação de regras gramaticais exaustivas. E sua abordagem estatística permitia que ele se adaptasse e aprendesse com os dados sem depender de estruturas linguísticas estáticas que poderiam se tornar rapidamente desnecessárias.

Mas, há algumas desvantagens nessa abordagem também. Primeiro, o Google Translate usava tradução baseada em frases, onde o sistema quebrava as frases em frases e as traduzia individualmente. Isso foi uma melhoria em relação à tradução palavra por palavra, mas ainda tinha limitações, como frases desajeitadas e erros de contexto. Ele simplesmente não entendia completamente as nuances como nós. Além disso, a SMT depende fortemente da existência de corpora paralelos, e qualquer idioma relativamente raro seria difícil de traduzir porque não tem dados paralelos suficientes.

Tradução de Máquina Neural (NMT)

Em 2016, o Google mudou para a Tradução de Máquina Neural. Ele usa modelos de aprendizado profundo para traduzir frases inteiras como um todo e de uma vez, fornecendo traduções mais fluentes e precisas. A NMT opera de forma semelhante a ter um assistente multilíngue sofisticado dentro do seu computador. Usando uma arquitetura de sequência para sequência (seq2seq), a NMT processa uma frase em um idioma para entender seu significado. Em seguida, gera uma frase correspondente em outro idioma. Esse método usa conjuntos de dados enormes para aprendizado, em contraste com a Tradução de Máquina Estatística, que se baseia em modelos estatísticos que analisam grandes corpora paralelos para determinar as traduções mais prováveis. Diferentemente da SMT, que se concentra na tradução baseada em frases e precisa de muito esforço manual para desenvolver e manter regras linguísticas e dicionários, a NMT tem o poder de processar sequências inteiras de palavras, permitindo que ela capture o contexto nuances da linguagem de forma mais eficaz. Portanto, melhorou a qualidade da tradução em vários pares de idiomas, frequentemente alcançando níveis de fluência e precisão comparáveis aos de tradutores humanos.

Na verdade, os modelos de NMT tradicionais usavam Redes Neurais Recorrentes (RNNs) como a arquitetura central, pois elas são projetadas para processar dados sequenciais mantendo um estado oculto que evolui à medida que cada nova entrada (palavra ou token) é processada. Esse estado oculto serve como uma espécie de memória que captura o contexto das entradas anteriores, permitindo que o modelo aprenda dependências ao longo do tempo. No entanto, as RNNs eram computacionalmente caras e difíceis de paralelizar de forma eficaz, o que limitava sua escalabilidade.

Introdução dos Transformers

Em 2017, a Google Research publicou o artigo intitulado “Attention is All You Need,” introduzindo os transformers ao mundo e marcando uma mudança importante em relação às RNNs na arquitetura de redes neurais.

Os transformers dependem apenas do mecanismo de atenção, – auto-atenção, que permite que os modelos de tradução de máquina neural se concentrem seletivamente nas partes mais críticas das sequências de entrada. Diferentemente das RNNs, que processam as palavras em uma sequência dentro das frases, a auto-atenção avalia cada token em toda a extensão do texto, determinando quais outros são cruciais para entender seu contexto. Esse cálculo simultâneo de todas as palavras permite que os transformers capturem efetivamente tanto as dependências de curto quanto de longo alcance sem depender de conexões recorrentes ou filtros convolucionais.

Portanto, eliminando a recorrência, os transformers oferecem vários benefícios principais:

• Paralelizabilidade: Os mecanismos de atenção podem computar em paralelo em diferentes segmentos da sequência, o que acelera o treinamento em hardware moderno, como GPUs.
• Eficiência de Treinamento: Eles também requerem significativamente menos tempo de treinamento em comparação com os modelos baseados em RNN ou CNN tradicionais, entregando melhor desempenho em tarefas como tradução de máquina.

Tradução de Máquina Zero-Shot e PaLM 2

Em 2022, o Google lançou o suporte a 24 novas línguas usando a Tradução de Máquina Zero-Shot, marcando um marco importante na tecnologia de tradução de máquina. Eles também anunciaram a Iniciativa de 1.000 Línguas, visando apoiar as 1.000 línguas mais faladas do mundo. Agora, eles lançaram 110 novas línguas. A tradução de máquina zero-shot permite a tradução sem dados paralelos entre o idioma de origem e o alvo, eliminando a necessidade de criar dados de treinamento para cada par de idiomas — um processo anteriormente caro e demorado, e para alguns pares de idiomas, também impossível.

Esse avanço se tornou possível porque da arquitetura e dos mecanismos de auto-atenção dos transformers. A capacidade do modelo de transformer de aprender relações contextuais entre idiomas, combinada com sua escalabilidade para lidar com vários idiomas simultaneamente, permitiu o desenvolvimento de sistemas de tradução multilíngue mais eficientes e eficazes. No entanto, os modelos zero-shot geralmente mostram qualidade inferior em comparação com os treinados com dados paralelos.

Em seguida, aproveitando o progresso dos transformers, o Google introduziu o PaLM 2 em 2023, que abriu caminho para o lançamento de 110 novas línguas em 2024. O PaLM 2 melhorou significativamente a capacidade do Translate de aprender idiomas intimamente relacionados, como o awadhi e o marwadi (relacionados ao hindi) e os crioulos franceses, como o seichelense e o mauriciano. As melhorias no PaLM 2, como a escalabilidade computacional ótima, conjuntos de dados aprimorados e design refinado, permitiram um aprendizado de idiomas mais eficiente e apoiaram os esforços contínuos do Google para melhorar e expandir o suporte a idiomas e acomodar nuances linguísticas diversas.

Podemos Afirmar que o Desafio da Tradução de Máquina foi Totalmente Superado com os Transformers?

A evolução que estamos discutindo levou 18 anos, desde a adoção da SMT pelo Google até as 110 novas línguas adicionadas usando a Tradução de Máquina Zero-Shot. Isso representa um grande salto que pode potencialmente reduzir a necessidade de coleta extensiva de corpora paralelos — uma tarefa historicamente trabalhosa e cara que a indústria perseguiu por mais de duas décadas. No entanto, afirmar que a tradução de máquina está completamente resolvida seria prematuro, considerando tanto as considerações técnicas quanto as éticas.

Os modelos atuais ainda lutam com contexto e coerência e cometem erros sutis que podem alterar o significado que você pretendia para um texto. Esses problemas são muito presentes em frases mais longas e complexas, onde manter o fluxo lógico e entender nuances é necessário para obter resultados. Além disso, nuances culturais e expressões idiomáticas frequentemente se perdem ou perdem o significado, causando traduções que podem ser gramaticalmente corretas, mas não têm o impacto pretendido ou soam não naturais.

Dados para Pré-Treinamento: O PaLM 2 e modelos semelhantes são pré-treinados em um corpus de texto multilíngue diverso, superando seu antecessor PaLM. Essa melhoria equipa o PaLM 2 para se destacar em tarefas multilíngues, destacando a importância contínua de conjuntos de dados tradicionais para melhorar a qualidade da tradução.

Idiomas Específicos de Domínio ou Raros: Em domínios especializados, como legais, médicos ou técnicos, os corpora paralelos garantem que os modelos encontrem terminologias e nuances linguísticas específicas. Modelos avançados podem lutar com jargões de domínio específico ou tendências linguísticas em evolução, apresentando desafios para a Tradução de Máquina Zero-Shot. Além disso, as línguas de baixo recurso ainda são traduzidas de forma deficiente, pois não têm os dados necessários para treinar modelos precisos.

Avaliação: Os corpora paralelos permanecem essenciais para avaliar e benchmarkar o desempenho dos modelos de tradução, particularmente desafiador para idiomas que carecem de dados paralelos suficientes. As métricas automatizadas, como BLEU, BLERT e METEOR, têm limitações ao avaliar a nuances na qualidade da tradução, além da gramática. No entanto, somos humanos, limitados por nossos próprios vieses. Além disso, não há muitos avaliadores qualificados lá fora, e encontrar o avaliador bilingue perfeito para cada par de idiomas para capturar erros sutis é um desafio.

Intensidade de Recursos: A natureza intensiva em recursos do treinamento e implantação de LLMs permanece uma barreira, limitando a acessibilidade para algumas aplicações ou organizações.

Preservação Cultural. A dimensão ética é profunda. Como Isaac Caswell, um cientista de pesquisa do Google Translate, descreve a Tradução de Máquina Zero-Shot: “Você pode pensar nisso como um poliglota que conhece muitos idiomas. Mas, então, além disso, ele vê textos em 1.000 idiomas que não são traduzidos. Você pode imaginar se você é um grande poliglota e, então, começa a ler romances em outro idioma, você pode começar a entender o que significa com base em seu conhecimento geral da linguagem.” No entanto, é crucial considerar o impacto de longo prazo em idiomas menores que carecem de corpora paralelos, potencialmente afetando a preservação cultural quando a dependência se afasta dos próprios idiomas.