Olga Beregovaya, vicepresidenta de IA en Smartling – Serie de entrevistas

Olga Beregovaya es vicepresidenta de IA en Smartling, donde dirige la estrategia de IA en los ámbitos de la traducción, los datos, la calidad y la seguridad. Trabaja en procesamiento del lenguaje natural desde 1997 y ha trabajado con sistemas basados en reglas, modelos estadísticos, redes neuronales y grandes modelos de lenguaje. Antes de incorporarse a Smartling, fue vicepresidenta de Innovación en IA en Welocalize y directora ejecutiva de PROMT Americas.

Smartling ofrece software y servicios de traducción y localización para empresas, combinando la IA y la traducción automática con la experiencia humana. Su plataforma admite flujos de trabajo multilingües para sitios web, aplicaciones, marketing, documentos y contenido multimedia, y brinda acceso a más de 20 grandes modelos de lenguaje y motores de traducción automática. En esta entrevista, Beregovaya habla sobre la brecha de la IA multilingüe, la calidad de la traducción, la selección de modelos y el papel de la supervisión humana en la localización automatizada.

¿Cómo ha influido ese recorrido en tu manera de pensar sobre el papel de la IA en el lenguaje y qué te llevó a dirigir la estrategia de IA en Smartling?

Estudié cómo se estructuran las lenguas y cómo funcionan las familias lingüísticas. Eso me enseñó que traducir consiste en trasladar estructuras y significados, no en sustituir palabra por palabra. Pienso en la IA de la misma manera.

Empecé a trabajar en procesamiento del lenguaje natural en 1997, cuando los sistemas se basaban en reglas escritas manualmente. Desde entonces, he trabajado con modelos estadísticos, redes neuronales y los grandes modelos de lenguaje actuales. Cada enfoque resolvió algunos problemas y generó otros. No creo que haya un único modelo que sea la respuesta.

Me incorporé a Smartling porque se creó para traducir todo tipo de contenido empresarial, desde sitios web y aplicaciones hasta documentos jurídicos, materiales de marketing y vídeos. Empecé como vicepresidenta de Traducción Automática, pero el puesto pronto amplió su alcance más allá de la traducción para incluir la elaboración de instrucciones, los datos, la calidad y la seguridad. Por eso, el título pasó a ser vicepresidenta de IA.

¿Cómo se manifiesta esa brecha en la práctica y por qué podría tener consecuencias más importantes a medida que la IA generativa se convierte en una interfaz principal?

Antes, la brecha era sencilla: o un sistema de IA admitía tu idioma o no. Esa cuestión está prácticamente resuelta, pero la brecha ha cambiado de forma. Lo que importa ahora es hasta qué punto los datos de entrenamiento del modelo representan ese idioma, a sus hablantes y su cultura. La mayor parte de los datos con los que se entrenan los modelos está en inglés, por lo que estos también incorporan supuestos propios de quienes hablan inglés. Una traducción puede ser técnicamente precisa y, aun así, imponer la perspectiva de una persona angloparlante a otra lengua.

La IA se está convirtiendo en el medio por el que las personas interactúan con bancos, médicos, escuelas y otros servicios esenciales. Dominar bien un idioma mediante la IA te da una ventaja; hacerlo mal te pone en desventaja.

¿Qué fue lo que más te sorprendió y cómo se explica que el sueco obtenga mejores resultados que el hindi a pesar de tener muchos menos hablantes?

La cantidad de hablantes es un indicador sorprendentemente poco fiable de la calidad de la traducción. El sueco, con unos 10 millones de hablantes, obtuvo algunos de los mejores resultados. El hindi, con unos 600 millones de hablantes, estuvo entre los idiomas con peores resultados, junto con el estonio y el tailandés.

La estructura del idioma y la calidad de los datos importan mucho más. El sueco tiene una gramática relativamente sencilla y abundantes datos de entrenamiento limpios. En estonio, las terminaciones de las palabras cambian constantemente para expresar significado, lo que aumenta la complejidad que debe manejar la IA. El hindi tiene cientos de millones de hablantes, pero muchos menos datos de entrenamiento de alta calidad y variedad de los que cabría esperar por el número de hablantes.

La otra sorpresa fue que los avances variaban de un laboratorio a otro. Los idiomas que empezaban en una posición más desfavorable solían mejorar más de una generación de modelos a la siguiente, pero ese patrón no siempre se cumple.

Además del volumen de los datos de entrenamiento, ¿qué factores influyen más en el rendimiento de los modelos?

La tokenización es uno de los factores más importantes. Es el proceso por el que un modelo divide el texto en fragmentos antes de procesarlo, algo especialmente importante para los idiomas que no utilizan el alfabeto latino. Una tokenización deficiente limita todo lo que viene después.

La estructura del idioma también influye. A los modelos puede resultarles más difícil procesar idiomas con terminaciones de palabras complejas. Por ejemplo, en alemán se concatenan palabras hasta formar términos de 40 caracteres, lo que exige más del modelo que idiomas como el español o el francés.

También está la calidad de los datos. Los datos deficientes producen malos resultados. La precisión, la variedad y la representatividad de los datos son fundamentales para el rendimiento de la traducción mediante IA.

Y, por último, la evaluación. Utilizamos TER, BLEU, CHRF3 y MetricX, y comparamos los resultados con traducciones humanas de confianza. Un modelo puede sonar natural y, aun así, transmitir un significado incorrecto.

¿Qué responsabilidad tienen los laboratorios que desarrollan los modelos más avanzados y qué supondría un avance significativo?

Los laboratorios que desarrollan los modelos más avanzados tienen la mayor responsabilidad porque controlan los modelos de lenguaje más sofisticados. Sus decisiones pueden ampliar la brecha o contribuir a reducirla. Sin embargo, la traducción suele competir por atención con el razonamiento, la programación y la seguridad, por lo que pocos laboratorios cuentan con equipos dedicados a este ámbito.

Tres medidas marcarían una diferencia significativa:

1. Crear datos de alta calidad en más idiomas y ámbitos temáticos.
2. Mejorar la tokenización de los idiomas para los que los enfoques actuales se quedan cortos.
3. Y evaluar cada nuevo modelo con idiomas que tienen menos datos de entrenamiento, no solo con los idiomas mayoritarios.

Una gran oportunidad consiste en crear datos de entrenamiento para idiomas con muy poca presencia en internet. Gran parte de ese trabajo se realiza fuera de los grandes laboratorios. Colaboramos con grupos como African Language Lab para crear datos de idiomas africanos.

¿Cómo determina Smartling cuál de sus más de 20 motores es adecuado para un idioma, tipo de contenido o caso de uso determinado?

Los ponemos a prueba en lugar de dar por sentado que un modelo es el mejor. Evaluamos cada modelo comparándolo con traducciones humanas de confianza mediante TER, BLEU, CHRF3 y MetricX. Un cliente puede proporcionarnos su contenido de marketing y, en aproximadamente una semana, podemos mostrarle el rendimiento de cada modelo según el idioma y el tema. El mejor modelo para traducir contenido de marketing al español latinoamericano quizá no sea el mejor para otro idioma o para contenido delicado.

También tenemos en cuenta el riesgo. El contenido de usuario de menor riesgo puede pasar por un proceso de revisión más ligero. El contenido sujeto a regulación o fundamental para la marca se somete a más revisiones y, por lo general, a una revisión humana. Como se pueden añadir o retirar modelos a medida que cambia su rendimiento, no dependemos de un único proveedor.

¿En qué ámbitos siguen superando los sistemas de traducción especializados a los LLM de propósito general, y cómo convergerán ambas tecnologías?

La traducción automática especializada sigue imponiéndose cuando lo más importante es la previsibilidad. Es especialmente útil para contenido delicado y ciertos idiomas. Los LLM generan textos más naturales, pero también pueden inventar información con total seguridad.

En Smartling, combinamos ambos enfoques. Un modelo de traducción especializado genera el primer borrador utilizando la terminología y los datos del sector del cliente. Después, un LLM lo edita, restablece la terminología aprobada, aplica coincidencias de traducciones anteriores y mejora la redacción.

El modelo se está convirtiendo en una sola pieza del sistema. Ahora, las instrucciones, los datos, la personalización y los controles de seguridad son igual de importantes.

¿Cuáles son los principales riesgos que deben tener en cuenta las empresas al utilizar IA generativa para crear contenido multilingüe?

Las alucinaciones, sin duda. Mi ejemplo favorito es el de alguien que le pregunta a una IA si una seta es venenosa. La IA responde que no con total seguridad, y la lápida de esa persona demuestra que se equivocó. En traducción, esto se manifiesta en textos que parecen perfectos, pero contienen datos erróneos; y el riesgo puede ser mayor en idiomas con menos datos de entrenamiento.

También está el contexto cultural y normativo. Una traducción puede ser técnicamente correcta y aun así no ser adecuada para el mercado. Por ejemplo, el alemán y el japonés exigen niveles de formalidad que el inglés no requiere. Además, las normas chinas sobre publicidad restringen afirmaciones como «el mejor».

La coherencia es otro aspecto. A gran escala, las herramientas genéricas de IA pueden generar incoherencias en la terminología y la voz de marca. Un ejecutivo me contó que su empresa tiene 300.000 empleados y que, gracias a la IA genérica, tiene 300.000 voces diferentes.

Y las consecuencias pueden ser físicas. Si se traduce mal una instrucción de seguridad que indica que hay que tirar de una palanca, una grúa podría desplomarse en una obra.

¿Cómo se integra un agente de IA en un flujo de trabajo de localización y qué parte puede automatizarse con supervisión humana?

Un agente de IA es un paso dentro de un flujo de trabajo de localización. Un modelo traduce, mientras que otro revisa, comprueba si hay alucinaciones, restablece la terminología aprobada y adapta el contenido al mercado. Luego, un control de calidad decide si se puede publicar, si hace falta una revisión humana rápida o si se necesita una revisión completa.

El grado de automatización depende del riesgo. Gran parte de nuestro trabajo de menor riesgo ya está totalmente automatizado, pero el contenido delicado y sujeto a regulación todavía requiere intervención humana.

La automatización total no siempre es el objetivo, porque los modelos necesitan comentarios de las personas para mejorar. El objetivo es reducir la carga de trabajo de las personas sin prescindir de su criterio.

¿La brecha se reducirá o se ampliará en cinco años, y qué haría que la IA fuera verdaderamente multilingüe a escala mundial?

Podría ocurrir cualquiera de las dos cosas. Los idiomas que partían de una situación más desfavorable son los que más rápido están mejorando, y cada vez más organizaciones recopilan datos de idiomas con poco contenido en internet, incluidos datos de idiomas hablados.

Pero la brecha está cambiando de forma. La IA puede desenvolverse bien en un idioma y, aun así, incorporar supuestos propios del mundo angloparlante a partir de sus datos de entrenamiento.

Una IA verdaderamente multilingüe requiere un enfoque distinto. Eso podría significar utilizar modelos más pequeños, adaptados a idiomas y temas específicos, en lugar de esperar que un único modelo general se encargue de todo. También implica disponer de datos más diversos en distintos idiomas y ámbitos. Y mejorar la tokenización de los idiomas para los que los enfoques actuales se quedan cortos. Además, hacen falta datos sintéticos y transferir a idiomas afines lo que un modelo aprende en un idioma, para que las mejoras no se limiten a los idiomas con más datos.

La tecnología existe, pero la cuestión es si las empresas que desarrollan estos modelos dan prioridad al rendimiento multilingüe.

Gracias por esta excelente entrevista. Los lectores que deseen explorar la traducción con IA, la evaluación de la calidad multilingüe y los flujos de trabajo de localización con supervisión humana pueden visitar Smartling.