Impacto de los Transformadores: ¿Se ha Resuelto el Problema de la Traducción Automática?

Google acaba de anunciar el lanzamiento de 110 nuevos idiomas en Google Translate como parte de su iniciativa de 1000 idiomas lanzada en 2022. En 2022, al principio, agregaron 24 idiomas. Con los 110 adicionales, ahora son 243 idiomas. Esta rápida expansión fue posible gracias a la Traducción Automática de Zero-Shot, una tecnología donde los modelos de aprendizaje automático aprenden a traducir a otro idioma sin ejemplos previos. Pero en el futuro, veremos juntos si este avance puede ser la solución definitiva al desafío de la traducción automática, y mientras tanto, podemos explorar las formas en que puede suceder. Pero primero, su historia.

¿Cómo era antes?

Traducción Automática Estadística (SMT)

Este fue el método original que utilizó Google Translate. Se basaba en modelos estadísticos. Analizaban grandes corpora paralelos, colecciones de traducciones de oraciones alineadas, para determinar las traducciones más probables. Primero, el sistema traducía el texto al inglés como un paso intermedio antes de convertirlo en el idioma objetivo, y necesitaba hacer referencia a frases con conjuntos de datos extensos de transcripciones de las Naciones Unidas y el Parlamento Europeo. Es diferente a los enfoques tradicionales que necesitaban compilar reglas gramaticales exhaustivas. Y su enfoque estadístico le permitió adaptarse y aprender de los datos sin depender de marcos lingüísticos estáticos que podrían volverse completamente innecesarios.

Pero hay algunas desventajas en este enfoque, también. Primero, Google Translate utilizó la traducción basada en frases, donde el sistema dividía las oraciones en frases y las traducía individualmente. Esto fue una mejora sobre la traducción palabra por palabra, pero todavía tenía limitaciones como la fraseología incómoda y los errores de contexto. Simplemente no entendía las sutilezas como lo hacemos. Además, la TAE depende en gran medida de tener corpora paralelos, y cualquier idioma relativamente raro sería difícil de traducir porque no tiene suficientes datos paralelos.

Traducción Automática Neural (NMT)

En 2016, Google cambió a la Traducción Automática Neural. Utiliza modelos de aprendizaje profundo para traducir oraciones enteras como un todo y de una vez, lo que da como resultado traducciones más fluidas y precisas. La NMT opera de manera similar a tener un asistente multilingüe sofisticado dentro de su computadora. Utilizando una arquitectura de secuencia a secuencia (seq2seq), la NMT procesa una oración en un idioma para entender su significado. Luego, genera una oración correspondiente en otro idioma. Este método utiliza conjuntos de datos enormes para el aprendizaje, en contraste con la Traducción Automática Estadística, que se basa en modelos estadísticos que analizan grandes corpora paralelos para determinar las traducciones más probables. A diferencia de la TAE, que se centró en la traducción basada en frases y necesitó mucho esfuerzo manual para desarrollar y mantener reglas y diccionarios lingüísticos, la capacidad de la NMT para procesar secuencias enteras de palabras le permite capturar el contexto sutil del lenguaje de manera más efectiva. Así que ha mejorado la calidad de la traducción en varios pares de idiomas, a menudo alcanzando niveles de fluidez y precisión comparables a los de los traductores humanos.

De hecho, los modelos de NMT tradicionales utilizaron Redes Neuronales Recurrentes (RNN) como la arquitectura principal, ya que están diseñadas para procesar datos secuenciales manteniendo un estado oculto que evoluciona a medida que se procesa cada nuevo dato (palabra o token). Este estado oculto sirve como una especie de memoria que captura el contexto de las entradas anteriores, lo que permite al modelo aprender dependencias con el tiempo. Pero las RNN eran computacionalmente costosas y difíciles de paralelizar de manera efectiva, lo que limitaba su escalabilidad.

Introducción de los Transformadores

En 2017, Google Research publicó el artículo titulado “La atención es todo lo que necesitas”, que introdujo los transformadores en el mundo y marcó un cambio importante lejos de las RNN en la arquitectura de las redes neuronales.

Los transformadores dependen solo del mecanismo de atención, la autoatención, que permite a los modelos de traducción automática neural centrarse selectivamente en las partes más críticas de las secuencias de entrada. A diferencia de las RNN, que procesan las palabras en una secuencia dentro de las oraciones, la autoatención evalúa cada token en todo el texto, determinando cuáles son cruciales para entender su contexto. Este cálculo simultáneo de todas las palabras permite a los transformadores capturar efectivamente tanto las dependencias cortas como las largas sin depender de conexiones recurrentes o filtros convolucionales.

Así que al eliminar la recurrencia, los transformadores ofrecen varios beneficios clave:

• Paralelización: Los mecanismos de atención pueden calcular en paralelo a través de diferentes segmentos de la secuencia, lo que acelera la capacitación en hardware moderno como las GPU.
• Eficiencia de capacitación: También requieren significativamente menos tiempo de capacitación en comparación con los modelos basados en RNN o CNN tradicionales, lo que entrega un mejor rendimiento en tareas como la traducción automática.

Traducción Automática de Zero-Shot y PaLM 2

En 2022, Google lanzó el soporte para 24 nuevos idiomas utilizando la Traducción Automática de Zero-Shot, lo que marcó un hito importante en la tecnología de traducción automática. También anunciaron la Iniciativa de 1000 Idiomas, destinada a apoyar los 1000 idiomas más hablados del mundo. Ahora han lanzado 110 idiomas más. La traducción automática de Zero-Shot permite la traducción sin datos paralelos entre el idioma de origen y el idioma de destino, lo que elimina la necesidad de crear datos de entrenamiento para cada par de idiomas, un proceso que anteriormente era costoso y consumía mucho tiempo, y para algunos pares de idiomas también imposible.

Este avance se hizo posible gracias a la arquitectura y los mecanismos de autoatención de los transformadores. La capacidad del modelo de transformador para aprender relaciones contextuales entre idiomas, combinada con su escalabilidad para manejar múltiples idiomas simultáneamente, permitió el desarrollo de sistemas de traducción multilingüe más eficientes y efectivos. Sin embargo, los modelos de Zero-Shot generalmente muestran una calidad inferior a los entrenados con datos paralelos.

Luego, basándose en el progreso de los transformadores, Google presentó PaLM 2 en 2023, lo que permitió el lanzamiento de 110 nuevos idiomas en 2024. PaLM 2 mejoró significativamente la capacidad de Translate para aprender idiomas estrechamente relacionados, como Awadhi y Marwadi (relacionados con el hindi) y criollos franceses como Seychellois y Mauritian Creole. Las mejoras en PaLM 2, como la escalabilidad óptima de cálculo, los conjuntos de datos mejorados y el diseño refinado, permitieron un aprendizaje de idiomas más eficiente y apoyaron los esfuerzos continuos de Google para mejorar y ampliar el soporte lingüístico y acomodar las sutilezas lingüísticas diversas.

¿Podemos afirmar que el desafío de la traducción automática se ha abordado completamente con los transformadores?

La evolución que estamos discutiendo tomó 18 años desde que Google adoptó la TAE hasta los 110 idiomas adicionales que utilizan la Traducción Automática de Zero-Shot. Esto representa un gran salto que puede potencialmente reducir la necesidad de recopilar corpora paralelos extensos, una tarea histórica y muy laboriosa que la industria ha perseguido durante más de dos décadas. Pero afirmar que la traducción automática está completamente resuelta sería prematuro, considerando tanto las consideraciones técnicas como éticas.

Los modelos actuales todavía luchan con el contexto y la coherencia, y cometen errores sutiles que pueden cambiar el significado que se pretendía para un texto. Estos problemas son muy presentes en oraciones más largas y complejas, donde se necesita mantener el flujo lógico y entender las sutilezas para obtener resultados. Además, las sutilezas culturales y las expresiones idiomáticas a menudo se pierden o pierden su significado, lo que causa traducciones que pueden ser gramaticalmente correctas pero no tienen el impacto pretendido o suenan innaturales.

Datos para preentrenamiento: PaLM 2 y modelos similares se preentrenan en un corpus de texto multilingüe diverso, superando a su predecesor PaLM. Esta mejora permite que PaLM 2 sobresalga en tareas multilingües, subrayando la importancia continua de los conjuntos de datos tradicionales para mejorar la calidad de la traducción.

Idiomas específicos de dominio o raros: En dominios especializados como los campos legales, médicos o técnicos, los corpora paralelos aseguran que los modelos encuentren terminologías y matices lingüísticos específicos. Los modelos avanzados pueden luchar con jerga específica de dominio o tendencias lingüísticas en evolución, lo que plantea desafíos para la Traducción Automática de Zero-Shot. Además, los idiomas de bajos recursos todavía se traducen mal, porque no tienen los datos que necesitan para entrenar modelos precisos.

Establecimiento de estándares: Los corpora paralelos siguen siendo esenciales para evaluar y establecer estándares para el rendimiento de los modelos de traducción, particularmente desafiante para los idiomas que carecen de suficientes datos paralelos. Las métricas automatizadas como BLEU, BLERT y METEOR tienen limitaciones para evaluar la sutileza en la calidad de la traducción, aparte de la gramática. Pero entonces, los humanos están limitados por sus sesgos. Además, no hay muchos evaluadores calificados ahí, y encontrar al evaluador bilingüe perfecto para cada par de idiomas para detectar errores sutiles.

Intensidad de recursos: La naturaleza intensiva en recursos de la capacitación y el despliegue de los LLM es una barrera, limitando la accesibilidad para algunas aplicaciones o organizaciones.

Preservación cultural. La dimensión ética es profunda. Como describe Isaac Caswell, un científico de investigación de Google Translate, la Traducción Automática de Zero-Shot: “Puedes pensar en ello como un políglota que conoce muchos idiomas. Pero entonces, además, ve texto en 1000 idiomas más que no se traduce. Puedes imaginar si eres un gran políglota y luego comienzas a leer novelas en otro idioma, puedes empezar a armar qué podría significar basado en tu conocimiento del lenguaje en general”. Sin embargo, es crucial considerar el impacto a largo plazo en los idiomas menores que carecen de corpora paralelos, lo que podría afectar la preservación cultural cuando la dependencia se desvía de los idiomas en sí.