Pesquisador-chefe da Amazon Alexa argumenta que o teste de Turing é obsoleto

Rohit Prasad, vice-presidente e cientista-chefe da Alexa na Amazon, argumentou recentemente que o Turing teste, há muito usado para medir a sofisticação dos modelos de IA, deve ser retirado como referência para IA.

O cientista da computação e matemático Alan Turing introduziu originalmente o conceito do teste de Turing há mais de 70 anos. A intenção do teste de Turing era ajudar a responder à questão da inteligência da máquina, determinando se uma máquina era capaz de “pensar” no sentido humano. Para responder a esta questão, Turing argumentou que se as máquinas pudessem exibir um comportamento conversacional tão sofisticado que um observador humano não conseguisse discernir entre o diálogo do computador e o diálogo de um humano, a máquina deveria ser considerada capaz de pensar.

Limitações do Teste de Turing

Prasad argumentou que o teste de Turing é limitado de várias maneiras e que o próprio Turing até comentou sobre algumas dessas limitações. em seu papel inicial. À medida que a IA se torna cada vez mais integrada em todas as facetas de nossas vidas, as pessoas se importam menos com o fato de ela ser indistinguível de um ser humano e mais com o fato de suas interações com a IA serem perfeitas, argumenta Prasad. Por esse motivo, o teste de Turing deve ser considerado obsoleto e substituído por benchmarks mais úteis.

Prasad observou que muitos dos primeiros chatbots foram projetados tendo em mente a aprovação no teste de Turing e, nos últimos anos, alguns chatbots conseguiram consistentemente enganar mais de um terço dos juízes humanos (a barra necessária para passar no teste de Turing). No entanto, ser capaz de imitar com sucesso os padrões de fala dos humanos não significa que uma máquina possa realmente ser considerada “inteligente”. Os modelos de IA podem ser extremamente proficientes em uma área e extremamente deficientes em outras, não possuindo nenhuma forma de inteligência geral. Apesar disso, o teste de Turing continua sendo uma referência comumente usada para chatbots e assistentes digitais, com Prasad observando que líderes empresariais e jornalistas perguntam constantemente quando o Alexa será capaz de passar no teste de Turing.

De acordo com Prasad, um dos principais problemas com o uso do teste de Turing para avaliar a inteligência da máquina é que ele desconsidera quase totalmente a capacidade das máquinas de pesquisar informações e realizar cálculos extremamente rápidos. Os programas de IA injetam pausas artificiais em resposta a perguntas complicadas de matemática e geografia para enganar os humanos, mas eles têm uma resposta para essas perguntas quase instantaneamente. Além disso, o teste de Turing não leva em consideração a crescente capacidade da IA ​​de usar dados coletados por sensores externos, ignorando como as IAs podem interagir com o mundo ao seu redor por meio de algoritmos de visão e movimento, contando apenas com comunicação de texto.

Criando Novos Benchmarks

Prasad argumentou que novas formas de medir a inteligência deveriam ser criadas, métodos mais adequados para avaliar um tipo geral de inteligência. Esses testes devem refletir como a IA é realmente usada na sociedade moderna e os objetivos das pessoas para usá-la. Os testes devem ser capazes de determinar quão bem uma IA aumenta a inteligência humana e quão bem a IA melhora a vida diária das pessoas. Além disso, um teste deve entender como uma IA está manifestando características humanas de inteligência, incluindo proficiência em linguagem, auto-supervisão e “bom senso”.

Os campos atuais e importantes da pesquisa de IA, como raciocínio, imparcialidade, conversação e compreensão sensorial, não são avaliados pelo teste de Turing, mas podem ser medidos de várias maneiras. Prasad explicou que uma maneira de medir esses recursos de inteligência é dividir os desafios em tarefas constituintes. Outro método de avaliação é criar um desafio do mundo real em grande escala para a interação humano-computador.

Quando a Amazon criou o Prêmio Alexa, criou uma rubrica que exigia que bots sociais falassem com um humano por 20 minutos. Os bots seriam avaliados em sua capacidade de conversar de forma coerente sobre uma ampla variedade de tópicos como tecnologia, esportes, política e entretenimento. Os clientes eram responsáveis ​​por pontuar os bots durante a fase de desenvolvimento, atribuindo-lhes pontuações com base no desejo de conversar com o bot novamente. Durante a rodada final, juízes independentes foram responsáveis ​​por classificar os bots usando uma escala de 5 pontos. A rubrica usada pelos juízes baseou-se em métodos que permitem que as IAs exibam atributos humanos importantes, como empatia, quando apropriado.

Por fim, Prasad argumentou que a crescente proliferação de dispositivos com tecnologia de IA, como o Alexa, representa uma oportunidade importante para medir o progresso da IA, mas precisaremos de métricas diferentes para aproveitar essa nova oportunidade.

“Essas IAs precisam ser especialistas em um número cada vez maior de tarefas, o que só é possível com capacidade de aprendizado mais generalizada, em vez de inteligência específica para tarefas”, explicou Prasad. “Portanto, para a próxima década e além, a utilidade dos serviços de IA, com suas habilidades de conversação e assistência proativa em dispositivos ambientais, é um teste valioso.”