Pesquisador Chefe da Amazon Alexa Argumenta que o Teste de Turing é Obsoleto

Rohit Prasad, vice-presidente e cientista-chefe da Alexa na Amazon (AMZN ), argumentou recentemente que o teste de Turing, longamente utilizado para medir a sofisticação dos modelos de IA, deve ser aposentado como um padrão para a IA.

O cientista da computação e matemático Alan Turing introduziu originalmente o conceito do teste de Turing há mais de 70 anos. A intenção do teste de Turing era ajudar a responder à pergunta da inteligência das máquinas, determinando se uma máquina era capaz de “pensamento” no sentido humano. Para responder a essa pergunta, Turing argumentou que se as máquinas pudessem exibir comportamento conversacional tão sofisticado que um observador humano não pudesse discernir entre o diálogo do computador e o diálogo humano, a máquina deveria ser considerada capaz de pensamento.

Limitações do Teste de Turing

Prasad argumentou que o teste de Turing é limitado de muitas maneiras e que Turing próprio comentou sobre algumas dessas limitações em seu artigo inicial. À medida que a IA se tornou mais integrada a todos os aspectos de nossas vidas, as pessoas se importam menos com o fato de a IA ser indistinguível de um humano e mais com o fato de suas interações com a IA serem sem problemas, argumenta Prasad. Por essa razão, o teste de Turing deve ser considerado obsoleto e substituído por padrões mais úteis.

Prasad observou que muitos chatbots iniciais foram projetados com o objetivo de passar no teste de Turing e que, nos últimos anos, alguns chatbots conseguiram enganar mais de um terço dos juízes humanos (a barreira necessária para passar no teste de Turing). No entanto, ser capaz de imitar com sucesso os padrões de fala dos humanos não significa que uma máquina possa ser considerada verdadeiramente “inteligente”. Os modelos de IA podem ser extremamente proficientes em uma área e extremamente deficientes em outras, não possuindo nenhuma forma de inteligência geral. Apesar disso, o teste de Turing permanece um padrão comumente utilizado para chatbots e assistentes digitais, com Prasad observando que líderes de negócios e jornalistas constantemente perguntam quando a Alexa será capaz de passar no teste de Turing.

De acordo com Prasad, um dos principais problemas com o uso do teste de Turing para avaliar a inteligência das máquinas é que ele quase inteiramente desconta a capacidade das máquinas de procurar informações e realizar cálculos rápidos. Os programas de IA injetam pausas artificiais em resposta a perguntas complicadas de matemática e geografia para enganar os humanos, mas têm uma resposta a essas perguntas quase instantaneamente. Além disso, o teste de Turing não leva em conta a capacidade crescente da IA de usar dados coletados por sensores externos, ignorando como as IAs podem interagir com o mundo ao seu redor por meio de algoritmos de visão e movimento, confiando apenas na comunicação por texto.

Criando Novos Padrões

Prasad argumentou que novas formas de medir a inteligência devem ser criadas, métodos que sejam mais adequados para avaliar um tipo geral de inteligência. Esses testes devem refletir como a IA é realmente utilizada na sociedade moderna e os objetivos das pessoas ao usá-la. Os testes devem ser capazes de determinar como bem uma IA aumenta a inteligência humana e como bem a IA melhora a vida diária das pessoas. Além disso, um teste deve entender como uma IA está manifestando características humanas de inteligência, incluindo proficiência linguística, auto-supervisão e “senso comum”.

Os campos atuais e importantes de pesquisa de IA, como raciocínio, justiça, conversação e compreensão sensorial, não são avaliados pelo teste de Turing, mas podem ser medidos de várias maneiras. Prasad explicou que uma forma de medir esses recursos de inteligência é quebrar os desafios em tarefas constituintes. Outro método para avaliar é criar um desafio de mundo real em grande escala para interação humano-computador.

Quando a Amazon criou o Prêmio Alexa, criou uma rubrica que exigia que os bots sociais conversassem com um humano por 20 minutos. Os bots seriam avaliados por sua capacidade de conversar de forma coerente sobre uma ampla variedade de tópicos, como tecnologia, esportes, política e entretenimento. Os clientes eram responsáveis por pontuar os bots durante a fase de desenvolvimento, atribuindo-lhes pontuações com base em seu desejo de conversar com o bot novamente. Durante a rodada final, juízes independentes eram responsáveis por avaliar os bots usando uma escala de 5 pontos. A rubrica utilizada pelos juízes confiava em métodos que permitiam que as IAs exibissem atributos humanos importantes, como empatia, quando apropriado.

Em última análise, Prasad argumentou que a proliferação crescente de dispositivos alimentados por IA, como a Alexa, representa uma oportunidade importante para medir o progresso da IA, mas precisaremos de métricas diferentes para aproveitar essa nova oportunidade.

“Tais IAs precisam ser especializadas em um grande e sempre crescente número de tarefas, o que só é possível com uma capacidade de aprendizado mais generalizada em vez de inteligência específica de tarefa”, explicou Prasad. “Portanto, para a próxima década e além, a utilidade dos serviços de IA, com suas capacidades de assistência conversacional e proativa em dispositivos ambientes, são um teste digno”.