Anastassia Loukina, Cientista de Pesquisa Sênior (NLP/Fala) na ETS – Série de Entrevistas

Anastassia Loukina é uma cientista de pesquisa na Educational Testing Services (ETS), onde ela trabalha na pontuação automática de fala.

Seus interesses de pesquisa abrangem uma ampla gama de tópicos. Ela trabalhou, entre outras coisas, em dialetos gregos modernos, ritmo da fala e análise de prosódia automática.

Seu trabalho atual se concentra em combinar ferramentas e métodos de tecnologias de fala e aprendizado de máquina com insights de estudos sobre percepção e produção de fala para construir modelos de pontuação automática para avaliar fala não nativa.

Você claramente tem um amor por línguas, o que o introduziu a essa paixão?

Cresci falando russo em São Petersburgo, Rússia, e me lembro de ter sido fascinada quando fui apresentada pela primeira vez à língua inglesa: para algumas palavras, havia um padrão que tornava possível “converter” uma palavra russa em uma palavra inglesa. E então eu encontrava uma palavra onde “meu” padrão falhava e tentava criar uma regra melhor, mais geral. Naquela época, é claro, eu não sabia nada sobre tipologia linguística ou a diferença entre cognatos e empréstimos, mas isso alimentou minha curiosidade e desejo de aprender mais línguas. Essa paixão por identificar padrões em como as pessoas falam e testá-los nos dados é o que me levou à fonética, ao aprendizado de máquina e ao trabalho que estou fazendo agora.

Antes de seu trabalho atual em Processamento de Linguagem Natural (NLP), você era tradutora entre inglês-russo e grego moderno-russo. Você acredita que seu trabalho como tradutora tenha lhe dado insights adicionais sobre algumas das nuances e problemas associados ao NLP?

Minha identidade primária sempre foi a de uma pesquisadora. É verdade que eu comecei minha carreira acadêmica como estudiosa do grego moderno, ou mais especificamente, da fonética do grego moderno. Para meu trabalho de doutorado, explorei as diferenças fonéticas entre vários dialetos do grego moderno e como as diferenças entre esses dialetos poderiam ser vinculadas à história da área. Eu argumentei que algumas das diferenças entre os dialetos poderiam ter surgido como resultado do contato linguístico entre cada dialeto e outras línguas faladas na área. Embora eu não trabalhe mais com o grego moderno, as mudanças que ocorrem quando duas línguas entram em contato uma com a outra ainda estão no coração do meu trabalho: apenas desta vez, eu me concentro no que acontece quando um indivíduo está aprendendo uma nova língua e como a tecnologia pode ajudar a fazer isso de forma mais eficiente.

Quando se trata da língua inglesa, há uma miríade de sotaques. Como você projeta um NLP com a capacidade de entender todos os diferentes dialetos? É um simples caso de alimentar o algoritmo de aprendizado profundo com dados adicionais de cada tipo de sotaque?

Há várias abordagens que foram usadas no passado para abordar isso. Além de construir um grande modelo que cubra todos os sotaques, você poderia primeiro identificar o sotaque e então usar um modelo personalizado para esse sotaque, ou você pode tentar vários modelos ao mesmo tempo e escolher o que funciona melhor. Em última análise, para alcançar um bom desempenho em uma ampla gama de sotaques, você precisa de dados de treinamento e avaliação representativos dos muitos sotaques que um sistema pode encontrar.

Na ETS, realizamos avaliações abrangentes para garantir que as pontuações produzidas por nossos sistemas automatizados reflitam as diferenças nas habilidades reais que desejamos medir e não sejam influenciadas pelas características demográficas do aprendiz, como gênero, raça ou país de origem.

Crianças e/ou aprendizes de línguas freqüentemente têm dificuldade com a pronúncia perfeita. Como você supera o problema da pronúncia?

Não há tal coisa como pronúncia perfeita: a forma como falamos está intimamente ligada à nossa identidade e, como desenvolvedores e pesquisadores, nosso objetivo é garantir que nossos sistemas sejam justos para todos os usuários.

Tanto as crianças quanto os aprendizes de línguas apresentam desafios particulares para os sistemas baseados em fala. Por exemplo, as vozes das crianças não apenas têm uma qualidade acústica muito diferente, mas as crianças também falam de forma diferente dos adultos e há muita variabilidade entre as crianças. Como resultado, desenvolver um sistema de reconhecimento de fala automatizado para crianças é geralmente uma tarefa separada que requer uma grande quantidade de dados de fala de crianças.

Da mesma forma, embora haja muitas semelhanças entre os aprendizes de línguas do mesmo background, os aprendizes podem variar amplamente em seu uso de padrões fonéticos, gramaticais e léxicos, tornando o reconhecimento de fala uma tarefa particularmente desafiadora. Ao construir nossos sistemas para avaliar a proficiência na língua inglesa, usamos dados de aprendizes de línguas com uma ampla gama de níveis de proficiência e línguas nativas.

Em janeiro de 2018, você publicou ‘Usando respostas exemplares para treinar e avaliar sistemas de pontuação de fala automatizados‘. Quais são alguns dos principais avanços fundamentais que devem ser entendidos a partir desse artigo?

Nesse artigo, analisamos como a qualidade dos dados de treinamento e teste afeta o desempenho dos sistemas de pontuação automatizados.

Sistemas de pontuação automatizados, como muitos outros sistemas automatizados, são treinados em dados que foram rotulados por humanos. Nesse caso, esses são os escores atribuídos por avaliadores humanos. Os avaliadores humanos nem sempre concordam nos escores que atribuem. Há várias estratégias diferentes usadas na avaliação para garantir que o escore final relatado ao aluno permaneça altamente confiável, apesar da variação na concordância humana no nível da pergunta individual. No entanto, como os motores de pontuação automatizados são geralmente treinados usando escores de nível de resposta, quaisquer inconsistências nesses escores devido à variedade de razões acima podem afetar negativamente o sistema.

Conseguimos ter acesso a uma grande quantidade de dados com diferentes níveis de concordância entre os avaliadores humanos e comparar o desempenho do sistema sob diferentes condições. O que descobrimos é que treinar o sistema em dados perfeitos não melhora realmente seu desempenho sobre um sistema treinado em dados com rótulos mais “barulhentos”. Rótulos perfeitos só dão uma vantagem quando o tamanho total do conjunto de treinamento é muito baixo. Por outro lado, a qualidade dos rótulos humanos teve um efeito enorme na avaliação do sistema: suas estimativas de desempenho podem ser até 30% maiores se você avaliar em rótulos limpos.

A mensagem a ser tirada é que, se você tiver muitos dados e recursos para limpar os rótulos de ouro do conjunto de avaliação, pode ser mais inteligente limpar os rótulos no conjunto de avaliação em vez de limpar os rótulos no conjunto de treinamento. E essa descoberta se aplica não apenas à pontuação automatizada, mas a muitas outras áreas também.

Poderia descrever algum de seu trabalho na ETS?

Trabalho em um sistema de motor de pontuação de fala que processa linguagem falada em um contexto educacional. Um desses sistemas é o SpeechRater®, que usa tecnologia avançada de reconhecimento e análise de fala para avaliar e fornecer feedback detalhado sobre a proficiência na língua inglesa. O SpeechRater é uma aplicação muito madura que existe há mais de 10 anos. Eu construo modelos de pontuação para diferentes aplicações e trabalho com outros colegas em toda a ETS para garantir que nossos escores sejam confiáveis, justos e válidos para todos os alunos. Também trabalhamos com outros grupos na ETS para monitorar continuamente o desempenho do sistema.

Além de manter e melhorar nossos sistemas operacionais, prototipamos novos sistemas. Um dos projetos que estou muito animada é o RelayReader™: uma aplicação projetada para ajudar leitores em desenvolvimento a ganhar fluência e confiança. Ao ler com o RelayReader, um usuário alterna entre ouvir e ler em voz alta um livro. Sua leitura é então enviada a nossos servidores para fornecer feedback. Em termos de processamento de fala, o principal desafio dessa aplicação é como medir o aprendizado e fornecer feedback ação e confiável de forma não intrusiva, sem interferir no engajamento do leitor com o livro.

Qual é sua parte favorita de trabalhar com a ETS?

O que inicialmente me atraiu para a ETS é que é uma organização sem fins lucrativos com a missão de avançar a qualidade da educação para todas as pessoas ao redor do mundo. Embora seja ótimo quando a pesquisa leva a um produto, eu aprecio ter a oportunidade de trabalhar em projetos que são mais fundamentais em natureza, mas que ajudarão no desenvolvimento de produtos no futuro. Eu também valorizo o fato de a ETS levar questões como privacidade de dados e justiça muito a sério e todos os nossos sistemas passam por uma avaliação muito rigorosa antes de serem implantados operacionalmente.

Mas o que realmente torna a ETS um ótimo lugar para trabalhar são as pessoas. Temos uma comunidade incrível de cientistas, engenheiros e desenvolvedores de muitas origens diferentes, o que permite muitas colaborações interessantes.

Você acredita que um IA algum dia será capaz de passar no Teste de Turing?

Desde a década de 1950, houve muitas interpretações de como o teste de Turing deve ser feito na prática. Provavelmente há um consenso geral de que o teste de Turing não foi passado em um sentido filosófico de que não há nenhum sistema de IA que pense como um humano. No entanto, isso também se tornou um tema muito nichado. A maioria das pessoas não constrói seus sistemas para passar no teste de Turing – queremos que eles atinjam objetivos específicos.

Para algumas dessas tarefas, por exemplo, reconhecimento de fala ou compreensão de linguagem natural, o desempenho humano pode ser considerado o padrão de ouro. Mas também há muitas outras tarefas em que esperamos que um sistema automatizado faça muito melhor do que os humanos ou em que um sistema automatizado e um especialista humano precisam trabalhar juntos para alcançar o melhor resultado. Por exemplo, em um contexto educacional, não queremos que um sistema de IA substitua um professor: queremos que ele ajude os professores, seja identificando padrões em trajetórias de aprendizado de alunos, ajudando com a correção ou encontrando os melhores materiais de ensino.

Há algo mais que você gostaria de compartilhar sobre a ETS ou NLP?

Muitas pessoas conhecem a ETS por suas avaliações e sistemas de pontuação automatizados. Mas fazemos muito mais do que isso. Temos muitas capacidades, desde biometria de voz até aplicações de diálogo falado, e estamos sempre procurando novas maneiras de integrar tecnologia ao aprendizado. Agora que muitos alunos estão aprendendo em casa, abrimos várias de nossas capacidades de pesquisa ao público em geral.

Obrigada pela entrevista e por oferecer essa visão sobre os últimos avanços em NLP e reconhecimento de fala. Qualquer pessoa que deseje aprender mais pode visitar Educational Testing Services.