Dra. Judith Bishop, Diretora Sênior de Especialistas em IA da Appen – Série de Entrevistas

A Dra. Judith Bishop é Diretora Sênior de Especialistas em IA para a região APAC/US da Appen. Ela lidera e cresce uma equipe de alto nível de linguistas altamente qualificados e experientes, linguistas computacionais e especialistas em todos os modos de comunicação humana (fala, escrita e gesto), para entregar dados de treinamento de IA com uma combinação inigualável de qualidade e velocidade.

O que a atraiu inicialmente para a linguística?

Eu primeiro ouvi falar sobre linguística de um professor de inglês favorito no ensino médio. Eu era uma daquelas crianças que são igualmente atraídas por línguas estrangeiras e humanidades, e matemática e ciências. A linguística é a ciência de como a linguagem funciona, então ela reuniu esses interesses para mim. Como muitas pessoas, assim que eu aprendi sobre isso, fiquei completamente viciada. O que poderia ser mais fascinante do que como nos comunicamos nossos pensamentos e sentimentos uns aos outros? A linguística explora as estruturas linguísticas que, apesar das diferenças nos sons e sistemas de escrita, são frequentemente semelhantes abaixo da superfície, desde que todas sejam um produto, em última análise, de nossa existência humana comum.

Poderia compartilhar a história da gênese de como você encontrou-se trabalhando em IA?

Eu trabalho na Appen desde 2004, apoiando o desenvolvimento de produtos e serviços de tecnologia de linguagem. Ao longo desse tempo, a IA surgiu como um quadro abrangente, missão e visão para a tecnologia imitar e estender as capacidades humanas de comunicação, raciocínio e percepção. Em 2019, minha equipe rebrandingou-se como Especialistas em IA, reconhecendo que nosso conhecimento linguístico e de linguagem é fundamental para a empresa de IA. Nossos dados anotados fornecem suporte essencial para o sucesso das interações humanas com produtos e serviços de IA.

Você trabalha em IA há mais de 16 anos, quais são algumas das principais mudanças que você viu?

A principal mudança foi uma diversificação de foco do desenvolvimento de tecnologia central para a longa cauda de casos de uso e aplicações. Por grande parte da minha carreira, o foco da IA baseada em linguagem foi desenvolver e aperfeiçoar um conjunto central de modelos que imitam a percepção e produção da fala humana, nomeadamente, reconhecimento de fala, síntese de fala e processamento de linguagem natural. Conjuntos de dados geralmente se conformavam a padrões e convenções de amostragem de dados comuns, como aqueles desenvolvidos pelo consórcio Speecon (Interfaces Dirigidas por Fala para Dispositivos de Consumo). Esses padrões permitiram que os desenvolvedores de tecnologia central benchmarkassem seu desempenho em estruturas de dados comuns e apoiaram a evolução rápida da IA.

A expansão generalizada de casos de uso de IA nos últimos anos, no entanto, trouxe consigo o reconhecimento de que os modelos de IA genéricos centrais construídos com esses dados não funcionam adequadamente em tipos de dados mais especializados sem ajustes adicionais. Além disso, tendo sido desenvolvidos em dados que foram deliberadamente limpos e ‘padronizados’, esses modelos devem agora ser treinados ou atualizados para entender e responder a todos os tipos de entradas humanas: todos os dialetos, todos os sotaques, todos os grupos étnicos, todos os gêneros e todas as outras dimensões de diferença humana.

Poderia discutir a importância de dados imparciais em aprendizado de máquina?

Os modelos de aprendizado de máquina, seja supervisionado, não supervisionado ou reforço de aprendizado, refletirão os vieses presentes nos dados em que são treinados. Alyssa Simpson Rochwerger e Wilson Pang fornecem vários exemplos excelentes desse problema em seu livro recente, IA do Mundo Real. Se houver dados de treinamento insuficientes para um segmento da população, o modelo de IA será menos preciso para esse segmento.

Em outro caso comum, a representação da população pode ser suficiente, mas se os dados de treinamento contêm correlações entre pontos de dados que refletem condições reais, mas indesejáveis, no mundo (como uma taxa de emprego completo mais baixa para as mulheres, ou uma taxa de encarceramento mais alta para os afro-americanos), as aplicações de IA resultantes podem reforçar e perpetuar essas condições.

As associações presentes na linguagem em geral podem criar vieses em aplicações de PNL, que dependem de relações estatísticas conhecidas como embeddings de palavras. Se ‘ela’ e ‘enfermeira’ estiverem mais frequentemente associados nos dados de treinamento escolhidos do que ‘eles’ ou ‘ele’ e ‘enfermeira’, então a aplicação resultante usará ‘ela’ quando for forçada a escolher um pronome singular para se referir a uma enfermeira. Para resolver esse problema específico, os pesquisadores recentemente desenvolveram uma variante neutra em gênero de um algoritmo de embedding de palavras comumente usado, GN-GloVe.

Em aplicações sensíveis, problemas de viés como esses podem ter um impacto devastador nos usuários e podem anular o investimento empresarial. A boa notícia é que, além do desenvolvimento de conjuntos de dados mais transparentes e inclusivos, um número crescente de aplicações de ciência de dados está sendo desenvolvido para verificar a presença de viés em conjuntos de dados de treinamento e aplicações de IA existentes.

A Appen lançou recentemente novos conjuntos de dados de treinamento diversificados para iniciativas de PNL. Poderia compartilhar alguns detalhes sobre como esses conjuntos de dados permitirão que os usuários finais recebam a mesma experiência, independentemente da variedade de linguagem, dialeto, etnolecto, sotaque, raça ou gênero?

Pelos motivos mencionados acima, conjuntos de dados são necessários para corrigir vieses existentes em sistemas de produção de IA, além de conjuntos de dados mais inclusivos para treinar sistemas futuros. Os conjuntos de dados da Appen que você menciona apoiarão a correção de vieses relacionados à etnia e etnolectos associados, como o inglês vernáculo afro-americano. Eles fornecerão dados de treinamento suplementares para aumentar a representação dessa população em modelos de linguagem de IA.

A etnia está surgindo como uma dimensão demográfica crítica para marcação explícita em dados de IA. Os linguistas se referem às variedades de linguagem associadas a etnias específicas como ‘etnolectos’. Fornecedores de dados de IA, como a Appen, agora reconhecem que, a menos que populações-chave diversificadas e minoritárias sejam representadas explicitamente em conjuntos de dados de treinamento de IA, não podemos garantir que os sistemas resultantes sejam igualmente eficazes para essas populações.

Desempenho igual significa que o sistema reconhece com igual precisão as palavras e intenções do usuário (seus significados, ou as ações que eles desejam realizar) e, em alguns casos, sentimento; e que responde de maneiras que igualmente atendem às necessidades do usuário e não produzem um impacto mais negativo em uma população específica de usuários, seja prático ou psicológico.

Uma abordagem de coleta de dados de longa data tem sido se concentrar em amostragem geográfica e dialetalmente representativa em bancos de dados – supondo que isso garantiria que a tecnologia se generalize para toda a população de falantes de linguagem. O desempenho relativamente pobre das tecnologias de linguagem recentemente documentado para falantes de inglês vernáculo afro-americano mostrou que não é assim. Populações que são diversificadas em etnia, raça, gênero e sotaque, entre outras dimensões, precisam ser proativamente incluídas em conjuntos de dados de treinamento para garantir que suas vozes sejam ouvidas e compreendidas por produtos e serviços de IA. Os conjuntos de dados de treinamento de IA diversificados da Appen atendem a essa necessidade.

Fora da IA, você também é uma poetisa com vários de seus poemas ganhando diferentes prêmios da indústria. Quais são suas opiniões sobre a IA exibindo esse tipo de criatividade, incluindo a escrita de poesia?

Essa é uma pergunta fascinante. A poesia e outras formas de criatividade humana se baseiam em todos os nossos recursos humanos de memória, percepção, sensação e emoção, bem como as estruturas e nuances da linguagem e imagem, para produzir insights que ressoam com preocupações contemporâneas. Emily Dickinson escreveu: “Se eu ler um livro e ele fizer meu corpo todo ficar tão frio que nenhum fogo pode me aquecer, sei que é poesia. Se eu sentir fisicamente como se o topo da minha cabeça tivesse sido removido, sei que é poesia.” Deve haver um elemento de reconhecimento perceptual, sensorial ou emocional, mas também surpresa genuína.

Modelos de IA avançados, como o GPT-3, modelam estatisticamente a probabilidade de palavras aparecerem juntas em diferentes gêneros, incluindo poesia. Isso significa que eles podem produzir algo que reconhecemos como “linguagem poética”, como o uso de dicionário elevado, rima e combinações inesperadas ou surreais de palavras. Mas esses modelos de linguagem gerativos carecem da maioria dos recursos mencionados acima, que são necessários para produzir uma obra de arte que ilumine o que significa ser humano no presente.

O que eu acho compelente sobre a IA em um contexto criativo é seu potencial de produzir insights completamente novos – insights que são diferentes em tipo e além do alcance de qualquer mente humana, mesmo a mais polimática ou profundamente lida e experiente. Uma vez que a IA tenha acesso consistente a dados sensoriais e perceptuais para análise em uma ampla gama de domínios humanos (visual, tátil, auditivo, fisiológico, emocional), não há como saber o que aprenderemos sobre nós mesmos e o mundo. As capacidades analíticas da IA podem produzir novos terrenos férteis para exploração criativa humana.

Você teve uma carreira fenomenal até agora, na sua opinião, o que está impedindo mais mulheres de se juntarem à área de STEM e, especificamente, à IA?

A falta de modelos de comportamento pode ser um fator poderoso (e um círculo vicioso). Há uma dificuldade genuína – cultural, social e prática – em entrar em áreas onde as mulheres, e as pessoas de outros gêneros diversificados, ainda não têm uma presença profundamente estabelecida, e onde o respeito pelo que podemos contribuir é frequentemente falta. Minha própria experiência como líder mostrou-me repetidamente como equipes resilientes, criativas e bem-sucedidas podem ser quando são inclusivas de experiências e orientações diversificadas. Os líderes precisam ser aventureiros em suas contratações e corajosos em sua confiança de que podem lidar com os desafios ao seu modo de pensar que as perspectivas diversificadas trazem, sabendo que essa coragem também foi fortemente correlacionada com o sucesso financeiro e corporativo.

Há algo mais que você gostaria de compartilhar sobre a Appen ou a IA em geral?

Fornecedores de dados, como a Appen, têm um potencial poderoso de influenciar os resultados da IA para melhor, fornecendo dados de treinamento inclusivos.

No entanto, alcançar o objetivo de IA inclusiva exigirá a participação de todos. Os compradores de dados também devem reconhecer sua responsabilidade de pedir explicitamente – e pagar – pelos dados inclusivos que garantirão o desempenho ótimo de seus sistemas para todos os usuários no mundo real. E aqueles de comunidades diversificadas que fornecem seus dados para o desenvolvimento de IA devem ser capazes de confiar nos usos para os quais serão utilizados. Construir essa confiança exigirá práticas éticas e transparentes fortes por parte de todos que lidam com dados sensíveis.

Obrigada pela grande entrevista, gostei de aprender mais sobre suas opiniões sobre IA e linguística. Os leitores que desejam aprender mais devem visitar Appen.