Appen Limited Lança Conjuntos de Dados de Treinamento Diversos para NLP

Appen Limited, um provedor líder de dados de treinamento de alta qualidade para empresas que buscam construir sistemas de IA em escala, está lançando novos conjuntos de dados de treinamento diversificados para iniciativas de processamento de linguagem natural (NLP). Esses conjuntos de dados permitirão que os usuários finais recebam a mesma experiência, independentemente da variedade de linguagem, dialeto, etnoleto, sotaque, raça ou gênero.

De acordo com um relatório da PNAS em março de 2020, sistemas de reconhecimento de fala automatizados (ASR) populares, especialmente aqueles usados para assistentes virtuais, legendas fechadas e computação sem mãos, frequentemente exibem disparidades raciais no desempenho. Muito disso se deve ao fato de os sistemas serem baseados em dados tendenciosos ou incompletos, e é por isso que é tão crucial desenvolver conjuntos de treinamento diversificados.

Com o novo lançamento, a Appen visa reduzir as diferenças de desempenho e criar um ambiente mais inclusivo para a tecnologia de reconhecimento de fala. Os mesmos tipos de desafios estão presentes na interpretação de linguagem e nos sistemas de NLP.

Mark Brayan é o CEO da Appen.

“A qualidade e diversidade dos dados de treinamento impactam diretamente o desempenho e o viés presente nos modelos de IA”, disse Brayan. “Como parceiro de dados, podemos fornecer dados de treinamento completos para muitos casos de uso para garantir que os modelos de IA funcionem para todos. É fundamental que envolvamos um grupo diversificado de indivíduos para produzir, rotular e validar os dados para garantir que o modelo sendo treinado não seja apenas equitativo, mas também construído de forma responsável.”

Projetos de Linguagem da Appen

A Appen tenta criar um ambiente de IA diversificado por meio de seus diferentes projetos e parcerias, incluindo:

• Parceria com Translators without Borders (TWB): A Appen se associou à TWB, Amazon (AMZN ), Carnegie Mellon University, Facebook (META ), Google (GOOGL ), Johns Hopkins University, Microsoft (MSFT ) e Translated. A parceria se juntou à Iniciativa de Tradução para COVID-19 (TICO-19), que tentou expandir o acesso às informações sobre COVID-19 apoiando o desenvolvimento da tecnologia de linguagem em vários idiomas. Isso inclui países em desenvolvimento como o suahili do Congo, o tigrínia e o fulfulde nigeriano.
• Projeto de tradução do francês canadense: A Appen ajudou a Microsoft a adicionar o “francês canadense” como opção de idioma no Microsoft Translator após coordenar com consultores de linguagem nativos.
• Projeto de tradução do inuktitute: A Appen colaborou com o governo de Nunavut, o que ajudou a levar a Microsoft a adicionar o inuktitute ao Microsoft Translator. O idioma indígena é falado no Ártico canadense.
• Conjuntos de dados prontos para uso do inglês vernáculo afro-americano (AAVE): Ao trabalhar com falantes de AAVE e coletar dados para um conjunto de dados prontos para uso baseado em conversas sobre vários tópicos, a Appen tenta criar novos conjuntos de dados de treinamento que representem o AAVE.

A Dra. Judith Bishop é a Diretora Sênior de Especialistas em IA da Appen.

“Os dados de IA tendenciosos levam a projetos que podem falhar em entregar os resultados de negócios esperados e prejudicar os indivíduos que devem beneficiar”, disse a Dra. Bishop. “A escala e complexidade dos projetos de IA tornam impossível para a maioria das empresas adquirir dados de alta qualidade e imparciais sem se associar a um especialista em dados de IA. O compromisso da Appen em desenvolver a multidão de anotadores de dados mais diversa e especializada fornece à indústria um recurso claramente diferenciado para construir projetos de IA justos e éticos.”

A Appen é assistida por anotadores de dados de treinamento de mais de 170 países, e as representações de linguagem incluem 235 idiomas únicos e 395 dialetos. Ela também oferece conjuntos de dados prontos para uso (OTS), que permitem que as empresas adquiram dados de treinamento de alta qualidade mais rapidamente para seus projetos de IA.