Olga Beregovaya, vice-presidente de IA da Smartling – Série de entrevistas

Olga Beregovaya é vice-presidente de IA da Smartling, onde lidera a estratégia de IA nas áreas de tradução, dados, qualidade e segurança. Ela trabalha com processamento de linguagem natural desde 1997, tendo atuado com sistemas baseados em regras, modelos estatísticos, redes neurais e modelos de linguagem de grande porte. Antes de ingressar na Smartling, foi vice-presidente de Inovação em IA na Welocalize e CEO da PROMT Americas.

A Smartling oferece software e serviços de tradução e localização para empresas, combinando IA e tradução automática com a experiência humana. Sua plataforma dá suporte a fluxos de trabalho multilíngues para sites, aplicativos, marketing, documentos e conteúdo multimídia, com acesso a mais de 20 modelos de linguagem de grande porte (LLMs) e mecanismos de tradução automática. Nesta entrevista, Beregovaya discute a disparidade da IA multilíngue, a qualidade da tradução, a seleção de modelos e o papel da supervisão humana na localização automatizada.

Como essa trajetória moldou sua maneira de pensar sobre o papel da IA na linguagem, e o que a levou a liderar a estratégia de IA na Smartling?

Estudei como as línguas são estruturadas e como funcionam as famílias linguísticas. Isso me ensinou que a tradução envolve estrutura e significado, não a substituição palavra por palavra. Penso na IA da mesma forma.

Comecei a trabalhar com processamento de linguagem natural em 1997, quando os sistemas eram construídos com regras escritas manualmente. Desde então, trabalhei com modelos estatísticos, redes neurais e os atuais modelos de linguagem de grande porte. Cada um resolveu alguns problemas e criou outros. Não acredito que exista um único modelo que seja a resposta.

Entrei na Smartling porque a empresa foi criada para traduzir todos os tipos de conteúdo empresarial, de sites e aplicativos a documentos jurídicos, materiais de marketing e vídeos. Comecei como vice-presidente de Tradução Automática, mas o cargo logo se ampliou para além da tradução, abrangendo também a elaboração de prompts, dados, qualidade e segurança. Por isso, o título passou a ser vice-presidente de IA.

Como essa disparidade se manifesta na prática e por que pode se tornar mais relevante à medida que a IA generativa se consolida como uma interface primária?

Antes, a disparidade era simples: ou um sistema de IA dava suporte ao seu idioma ou não. Essa questão está praticamente resolvida, mas a disparidade mudou de forma. O que importa agora é o quanto os dados de treinamento do modelo representam esse idioma, seus falantes e sua cultura. A maioria dos dados usados para treinar modelos está em inglês, por isso carrega consigo pressupostos próprios de falantes de inglês. Uma tradução pode ser tecnicamente precisa e, ainda assim, impor a perspectiva de falantes de inglês a outro idioma.

A IA está se tornando o meio pelo qual as pessoas interagem com bancos, médicos, escolas e outros serviços essenciais. Um sistema de IA que lida bem com determinado idioma oferece uma vantagem a quem o fala; um idioma com o qual o sistema lida mal coloca seus falantes em desvantagem.

O que mais surpreendeu você e como se explica que o sueco tenha resultados melhores que o hindi, apesar de ter muito menos falantes?

O número de falantes é um indicador surpreendentemente fraco da qualidade da tradução. O sueco, com cerca de 10 milhões de falantes, gerou alguns dos melhores resultados. O hindi, com cerca de 600 milhões de falantes, esteve entre os idiomas com os resultados mais fracos, assim como o estoniano e o tailandês.

A estrutura do idioma e a qualidade dos dados são muito mais importantes. O sueco tem uma gramática relativamente simples e muitos dados de treinamento limpos. O estoniano altera constantemente as terminações das palavras para transmitir significado, o que torna mais complexo o trabalho da IA. O hindi tem centenas de milhões de falantes, mas dispõe de muito menos dados de treinamento variados e de alta qualidade do que seria de esperar com base nesse número de falantes.

Outra surpresa foi que o progresso variava de um laboratório para outro. Em geral, os idiomas que começavam em situação mais desfavorável eram os que mais avançavam de uma geração de modelos para a seguinte, mas esse padrão nem sempre se confirma.

Além do volume de dados de treinamento, quais fatores mais afetam o desempenho dos modelos?

A tokenização é um dos fatores mais importantes. É o processo pelo qual um modelo divide o texto em partes antes de processá-lo, algo especialmente importante para idiomas que não usam o alfabeto latino. Uma tokenização inadequada limita tudo o que vem depois.

A estrutura do idioma também importa. Idiomas com terminações complexas podem ser mais difíceis para os modelos processarem. O alemão, por exemplo, combina palavras até que uma única palavra possa chegar a 40 caracteres, o que exige mais do modelo do que idiomas como o espanhol ou o francês.

Há também a qualidade dos dados. Dados ruins produzem resultados ruins. A precisão, a variedade e a representatividade dos dados são extremamente importantes para o desempenho da tradução por IA.

Por fim, há a avaliação. Usamos TER, BLEU, CHRF3 e MetricX e comparamos os resultados com traduções humanas confiáveis. Um modelo pode soar natural e, ainda assim, errar o significado.

Que responsabilidade cabe aos principais laboratórios de IA e como seria um avanço significativo?

Os principais laboratórios de IA têm a maior responsabilidade porque controlam os modelos de linguagem mais avançados. As decisões que tomam podem ampliar a disparidade ou ajudar a reduzi-la. No entanto, a tradução muitas vezes disputa atenção com o raciocínio, a programação e a segurança, por isso poucos laboratórios têm equipes dedicadas a essa área.

Três medidas fariam uma diferença significativa:

1. Criar dados de alta qualidade em mais idiomas e áreas temáticas.
2. Aprimorar a tokenização de idiomas para os quais as abordagens atuais não são suficientes.
3. E avaliar cada novo modelo com idiomas que têm menos dados de treinamento, não apenas com os idiomas mais falados.

Uma grande oportunidade é criar dados de treinamento para idiomas com pouquíssima presença na internet. Boa parte desse trabalho acontece fora dos grandes laboratórios. Trabalhamos com grupos como o African Language Lab para criar dados para idiomas africanos.

Como a Smartling determina qual de seus mais de 20 mecanismos é o mais adequado para um determinado idioma, tipo de conteúdo ou caso de uso?

Testamos os modelos, em vez de presumir que um deles seja o melhor. Cada modelo é avaliado com base em traduções humanas confiáveis, usando TER, BLEU, CHRF3 e MetricX. Um cliente pode nos fornecer seu conteúdo de marketing e, em cerca de uma semana, podemos mostrar o desempenho de cada modelo por idioma e assunto. O melhor modelo para conteúdo de marketing em espanhol latino-americano talvez não seja o melhor para outro idioma ou para conteúdo sensível.

Também levamos o risco em consideração. O conteúdo de usuários de baixo risco pode passar por um processo de revisão mais simples. Conteúdos regulamentados ou essenciais para a marca passam por mais revisões e, em geral, por uma verificação humana. Como podemos adicionar ou remover modelos conforme seu desempenho muda, não ficamos presos a um único fornecedor.

Em que situações os sistemas especializados de tradução ainda superam os LLMs de uso geral, e como os dois convergirão?

A tradução automática especializada ainda leva vantagem quando a previsibilidade é fundamental. Ela é especialmente útil para conteúdo sensível e determinados idiomas. Os LLMs produzem textos mais naturais, mas também podem alucinar com convicção.

Na Smartling, combinamos os dois. Um modelo especializado em tradução produz o primeiro rascunho usando a terminologia e os dados de domínio do cliente. Em seguida, um LLM revisa o texto, restaura a terminologia aprovada, aplica correspondências de traduções anteriores e aprimora a redação.

O modelo está se tornando apenas uma parte do sistema. Hoje, a elaboração de prompts, os dados, a personalização e os controles de segurança são igualmente importantes.

Quais são os maiores riscos que as empresas devem considerar ao usar IA generativa para conteúdo multilíngue?

Alucinações, sem dúvida. Meu exemplo favorito é o de alguém que pergunta a uma IA se um cogumelo é venenoso. Ela responde que não, com total convicção, mas a lápide da pessoa prova que a resposta estava errada. Na tradução, isso aparece em textos que parecem perfeitos, mas apresentam informações incorretas; o risco pode ser maior em idiomas com menos dados de treinamento.

Também há o contexto cultural e regulatório. Uma tradução pode estar tecnicamente correta e, ainda assim, ser inadequada para o mercado. O alemão e o japonês, por exemplo, exigem níveis de formalidade que o inglês não exige. As regras chinesas para publicidade também restringem alegações como “o melhor”.

A consistência é outro desafio. Em grande escala, ferramentas genéricas de IA podem gerar inconsistências na terminologia e na voz da marca. Um executivo me contou que a empresa dele tem 300.000 funcionários e, graças à IA genérica, 300.000 vozes diferentes.

E as consequências podem ser físicas. Se uma instrução de segurança para puxar uma alavanca for traduzida incorretamente, um guindaste pode cair em um canteiro de obras.

Como é um agente de IA em um fluxo de trabalho de localização e até que ponto ele pode operar de forma autônoma, com supervisão humana?

Um agente de IA é uma etapa de um fluxo de trabalho de localização. Um modelo traduz, enquanto outro revisa, verifica se há alucinações, restaura a terminologia aprovada e adapta o conteúdo ao mercado. Em seguida, uma verificação de qualidade determina se o conteúdo pode ser publicado, se precisa de uma revisão humana rápida ou se exige uma revisão completa.

O nível de automação possível depende do risco. Grande parte do nosso trabalho de baixo risco já é totalmente automatizada, mas conteúdos sensíveis e regulamentados ainda exigem intervenção humana.

A automação total nem sempre é o objetivo, pois os modelos precisam de feedback humano para melhorar. O objetivo é reduzir a carga de trabalho das pessoas sem eliminar o discernimento humano.

Daqui a cinco anos, a diferença vai diminuir ou aumentar, e o que tornaria a IA verdadeiramente multilíngue em escala global?

A diferença pode seguir qualquer uma das duas direções. Os idiomas que começaram em maior desvantagem estão avançando mais rapidamente, e mais organizações estão coletando dados para idiomas com pouco conteúdo na internet, inclusive dados de idiomas falados.

Mas a divisão está mudando de forma. A IA pode lidar bem com um idioma e, ainda assim, incorporar pressupostos de falantes de inglês presentes nos dados de treinamento.

Uma IA verdadeiramente multilíngue exige uma abordagem diferente. Isso pode significar usar modelos menores, adaptados a idiomas e assuntos específicos, em vez de esperar que um único modelo geral faça tudo. Significa também ter dados mais variados entre idiomas e domínios. É preciso aprimorar a tokenização de idiomas para os quais as abordagens atuais não são suficientes. E usar dados sintéticos, além de transferir para idiomas relacionados o que um modelo aprende em outro, para que os avanços não se limitem aos idiomas com mais dados.

A tecnologia existe, mas a questão é se as empresas que desenvolvem esses modelos darão prioridade ao desempenho multilíngue.

Agradecemos pela ótima entrevista. Os leitores que quiserem conhecer melhor a tradução por IA, a avaliação da qualidade multilíngue e os fluxos de trabalho de localização com supervisão humana podem visitar Smartling.