Le responsable de la recherche d’Amazon Alexa affirme que le test de Turing est obsolète

Rohit Prasad, vice-président et chef scientifique d’Alexa chez Amazon (AMZN ), a récemment soutenu que le test de Turing, longtemps utilisé pour mesurer la sophistication des modèles d’intelligence artificielle, devrait être mis au rancart en tant que référence pour l’intelligence artificielle.

Le scientifique et mathématicien informaticien Alan Turing a initialement introduit le concept du test de Turing il y a plus de 70 ans. L’objectif du test de Turing était d’aider à répondre à la question de l’intelligence des machines, en déterminant si une machine était capable de « pensée » au sens humain. Pour répondre à cette question, Turing a soutenu que si les machines pouvaient exhiber un comportement conversationnel suffisamment sophistiqué pour que l’observateur humain ne puisse pas discerner entre le dialogue de l’ordinateur et celui d’un humain, la machine devrait être considérée comme capable de pensée.

Limitations du test de Turing

Prasad a soutenu que le test de Turing est limité de nombreuses manières et que Turing lui-même a remarqué certaines de ces limitations dans son article initial. À mesure que l’intelligence artificielle s’est intégrée dans tous les aspects de notre vie, les gens se soucient moins du fait qu’elle soit indiscernable d’un humain et plus que leurs interactions avec l’intelligence artificielle soient sans heurts, soutient Prasad. Pour cette raison, le test de Turing devrait être considéré comme obsolète et remplacé par des références plus utiles.

Prasad a noté que de nombreux premiers chatbots ont été conçus pour passer le test de Turing, et que ces dernières années, certains chatbots ont réussi à tromper plus d’un tiers des juges humains (le seuil requis pour passer le test de Turing). Cependant, être capable de simuler avec succès les modèles de parole des humains ne signifie pas qu’une machine puisse vraiment être considérée comme « intelligente ». Les modèles d’intelligence artificielle peuvent être extrêmement compétents dans un domaine et extrêmement défaillants dans d’autres, ne possédant aucune forme d’intelligence générale. Malgré cela, le test de Turing reste une référence couramment utilisée pour les chatbots et les assistants numériques, Prasad notant que les dirigeants d’entreprise et les journalistes demandent constamment quand Alexa sera capable de passer le test de Turing.

Selon Prasad, l’un des principaux problèmes avec l’utilisation du test de Turing pour évaluer l’intelligence des machines est qu’il ignore presque entièrement la capacité des machines à rechercher des informations et à effectuer des calculs à la vitesse de l’éclair. Les programmes d’intelligence artificielle injectent des pauses artificielles en réponse à des questions de mathématiques et de géographie compliquées pour tromper les humains, mais ils ont une réponse à de telles questions presque instantanément. Au-delà de cela, le test de Turing ne prend pas en compte la capacité croissante de l’intelligence artificielle à utiliser les données collectées par des capteurs externes, en ignorant la façon dont les intelligences artificielles peuvent interagir avec le monde qui les entoure grâce à des algorithmes de vision et de mouvement, en s’appuyant uniquement sur la communication textuelle.

Création de nouvelles références

Prasad a soutenu que de nouvelles formes de mesure de l’intelligence devraient être créées, des méthodes mieux adaptées à l’évaluation d’un type d’intelligence générale. Ces tests devraient refléter la façon dont l’intelligence artificielle est réellement utilisée dans la société moderne et les objectifs que les gens visent en l’utilisant. Les tests devraient être en mesure de déterminer à quel point un modèle d’intelligence artificielle améliore l’intelligence humaine et à quel point il améliore la vie quotidienne des gens. De plus, un test devrait comprendre comment un modèle d’intelligence artificielle manifeste des caractéristiques humaines d’intelligence, notamment la maîtrise de la langue, la supervision de soi et le « bon sens ».

Les domaines actuels et importants de la recherche en intelligence artificielle, tels que la raisonnement, l’équité, la conversation et la compréhension sensorielle, ne sont pas évalués par le test de Turing, mais ils peuvent être mesurés de diverses manières. Prasad a expliqué qu’une façon de mesurer ces caractéristiques de l’intelligence est de diviser les défis en tâches constitutives. Une autre méthode d’évaluation consiste à créer un défi du monde réel à grande échelle pour l’interaction humain-ordinateur.

Lorsqu’Amazon a créé le prix Alexa, il a créé une grille d’évaluation qui obligeait les robots sociaux à discuter avec un humain pendant 20 minutes. Les robots seraient évalués sur leur capacité à converser de manière cohérente sur une large gamme de sujets tels que la technologie, les sports, la politique et le divertissement. Les clients étaient responsables de noter les robots pendant la phase de développement, en leur attribuant des notes en fonction de leur envie de discuter à nouveau avec le robot. Lors de la finale, des juges indépendants étaient responsables de noter les robots en utilisant une échelle de 5 points. La grille utilisée par les juges reposait sur des méthodes qui permettaient aux intelligences artificielles d’exhiber des attributs humains importants tels que l’empathie lorsqu’il était approprié.

En fin de compte, Prasad a soutenu que la prolifération croissante d’appareils alimentés par l’intelligence artificielle comme Alexa représente une opportunité importante de mesurer les progrès de l’intelligence artificielle, mais nous aurons besoin de différentes métriques pour profiter de cette nouvelle opportunité.

« De tels modèles d’intelligence artificielle doivent être des experts dans un grand nombre de tâches, ce qui n’est possible qu’avec une capacité d’apprentissage plus généralisée au lieu d’une intelligence spécifique à une tâche », a expliqué Prasad. « Par conséquent, pour la prochaine décennie et au-delà, l’utilité des services d’intelligence artificielle, avec leurs capacités d’assistance conversationnelle et proactive sur les appareils ambiants, sont un test digne ».