Inteligência Artificial Gerativa Não é uma Sentença de Morte para Línguas em Perigo

De acordo com a UNESCO, até metade das línguas pode estar extinta até 2100. Muitas pessoas dizem que a inteligência artificial gerativa está contribuindo para esse processo.

A declínio da diversidade linguística não começou com a IA — ou com a Internet. Mas a IA está em uma posição para acelerar o declínio das línguas indígenas e de baixo recurso.

A maioria das 7.000+ línguas do mundo não tem recursos suficientes para treinar modelos de IA — e muitas delas não têm forma escrita. Isso significa que algumas línguas principais dominam o estoque de dados de treinamento de IA da humanidade, enquanto a maioria está em risco de ser deixada para trás na revolução da IA — e pode desaparecer completamente.

A razão simples é que a maioria dos dados de treinamento de IA disponíveis está em inglês. O inglês é o principal motor dos grandes modelos de linguagem (LLMs), e as pessoas que falam línguas menos comuns estão se sentindo subrepresentadas na tecnologia de IA.

Considere essas estatísticas do Fórum Econômico Mundial:

• Dois terços de todos os sites estão em inglês.
• Muito dos dados que a GenIA aprende vêm da web.
• Menos de 20% da população mundial fala inglês.

À medida que a IA se torna mais integrada à nossa vida diária, todos devemos pensar sobre a equidade linguística. A IA tem um potencial sem precedentes para resolver problemas em larga escala, e sua promessa não deve ser limitada ao mundo de língua inglesa. A IA está criando conveniências e ferramentas que melhoram a vida pessoal e profissional das pessoas em nações desenvolvidas e ricas.

Os falantes de línguas de baixo recurso estão acostumados a encontrar uma falta de representação na tecnologia — desde não encontrar sites em sua língua até não ter seu dialeto reconhecido pelo Siri. Muito do texto que está disponível para treinar a IA em línguas de baixo recurso é de baixa qualidade (ele mesmo traduzido com precisão questionável) e estreito em escopo.

Como a sociedade pode garantir que as línguas de baixo recurso não sejam deixadas para trás na equação da IA? Como podemos garantir que a língua não seja uma barreira para a promessa da IA?

Em um esforço para a inclusão linguística, alguns grandes jogadores de tecnologia têm iniciativas para treinar enormes modelos de linguagem multilíngues (MLMs). O Microsoft Translate, por exemplo, prometeu apoiar “todas as línguas, em todos os lugares”. E o Meta tem uma promessa de “Nenhuma Língua Deixada Para Trás”. Essas são louváveis, mas são realistas?

Aspirar a um modelo que lide com todas as línguas do mundo favorece os privilegiados, pois há muito mais volumes de dados das principais línguas do mundo. Quando começamos a lidar com línguas de baixo recurso e línguas com scripts não latinos, o treinamento de modelos de IA se torna mais árduo, demorado — e mais caro. Pense nisso como um imposto involuntário sobre as línguas subrepresentadas.

Avanços na Tecnologia de Fala

Os modelos de IA são amplamente treinados em texto, o que naturalmente favorece as línguas com maiores estoques de conteúdo de texto. A diversidade linguística seria melhor apoiada com sistemas que não dependem de texto. A interação humana foi uma vez baseada apenas na fala, e muitas culturas retêm esse foco oral. Para atender melhor a uma audiência global, a indústria de IA deve progredir dos dados de texto para os dados de fala.

A pesquisa está fazendo grandes avanços na tecnologia de fala, mas ainda está atrasada em relação às tecnologias baseadas em texto. A pesquisa em processamento de fala está progredindo, mas a tecnologia de fala direta para fala está longe de estar madura. A realidade é que a indústria tende a se mover com cautela, e apenas uma vez que uma tecnologia avança a um certo nível.

A plataforma de interpretação GlobalLink Live, recentemente lançada pela TransPerfect, usa as formas mais maduras da tecnologia de fala — reconhecimento automático de fala (ASR) e texto-para-fala (TTS) — novamente, porque os sistemas de fala direta para fala não estão maduros o suficiente neste momento. No entanto, nossas equipes de pesquisa estão se preparando para o dia em que as pipelines de fala direta para fala estiverem prontas para serem usadas.

Os modelos de tradução de fala para fala oferecem uma grande promessa na preservação das línguas orais. Em 2022, o Meta anunciou o primeiro sistema de tradução de fala para fala alimentado por IA para o hokkien, uma língua principalmente oral falada por cerca de 46 milhões de pessoas na diáspora chinesa. Ele faz parte do projeto de Tradutor de Fala Universal do Meta, que está desenvolvendo novos modelos de IA que esperam permitir a tradução de fala para fala em tempo real em muitas línguas. O Meta optou por abrir o código-fonte de seus modelos de tradução de hokkien, conjuntos de dados de avaliação e artigos de pesquisa para que outros possam reproduzir e construir sobre seu trabalho.

Aprendendo com Menos

O fato de que, como comunidade global, falta recursos em torno de certas línguas não é uma sentença de morte para essas línguas. É aqui que os modelos de múltiplas línguas têm uma vantagem, pois as línguas aprendem umas com as outras. Todas as línguas seguem padrões. Devido ao transferência de conhecimento entre as línguas, a necessidade de dados de treinamento é reduzida.

Suponha que você tenha um modelo que está aprendendo 90 línguas e você queira adicionar o inuíte (um grupo de línguas indígenas da América do Norte). Devido à transferência de conhecimento, você precisará de menos dados em inuíte. Estamos encontrando maneiras de aprender com menos. A quantidade de dados necessários para ajustar os motores é menor.

Estou otimista sobre um futuro com IA mais inclusiva. Não acredito que estamos condenados a ver hordas de línguas desaparecerem — nem acredito que a IA permanecerá como domínio do mundo de língua inglesa. Já estamos vendo mais conscientização sobre a questão da equidade linguística. Desde a coleta de dados mais diversificados até a construção de modelos de língua específicos, estamos fazendo progressos.

Considere o fon, uma língua falada por cerca de 4 milhões de pessoas no Benim e em países africanos vizinhos. Não muito tempo atrás, um modelo de IA popular descreveu o fon como uma língua fictícia. Um cientista da computação chamado Bonaventure Dosseau, cuja mãe fala fon, estava acostumado a esse tipo de exclusão. Dosseau, que fala francês, cresceu sem um programa de tradução para ajudá-lo a se comunicar com sua mãe. Hoje, ele pode se comunicar com sua mãe graças a um tradutor fon-francês que ele construiu com esforço. Hoje, também há uma Wikipedia incipiente em fon.

Em um esforço para usar a tecnologia para preservar as línguas, o artista turco Refik Anadol deu início à criação de uma ferramenta de IA de código aberto para os povos indígenas. Na Cúpula Econômica Mundial, ele perguntou: “Como podemos criar uma IA que não conhece a humanidade como um todo?”

Não podemos, e não vamos.