Le chercheur en chef d'Amazon Alexa affirme que le test de Turing est obsolète

Rohit Prasad, vice-président et directeur scientifique d'Alexa chez Amazon, récemment soutenu que l' Test de Turing, longtemps utilisé pour mesurer la sophistication des modèles d'IA, devrait être retiré comme référence pour l'IA.

L'informaticien et mathématicien Alan Turing a initialement introduit le concept du test de Turing il y a plus de 70 ans. L’intention du test de Turing était d’aider à répondre à la question de l’intelligence artificielle, en déterminant si une machine était capable de « penser » au sens humain du terme. Afin de répondre à cette question, Turing a soutenu que si les machines pouvaient présenter un comportement conversationnel si sophistiqué qu'un observateur humain ne pouvait pas distinguer le dialogue de l'ordinateur de celui d'un humain, la machine devrait être considérée comme capable de penser.

Limites des tests de Turing

Prasad a fait valoir que le test de Turing est limité à bien des égards et que Turing lui-même a même fait remarquer certaines de ces limitations dans son article initial. Alors que l'IA est de plus en plus intégrée dans toutes les facettes de notre vie, les gens se soucient moins qu'elle soit indiscernable d'un humain et plus que leurs interactions avec l'IA soient transparentes, affirme Prasad. Pour cette raison, le test de Turing doit être considéré comme obsolète et remplacé par des références plus utiles.

Prasad a noté que de nombreux premiers chatbots ont été conçus pour réussir le test de Turing, et ces dernières années, certains chatbots ont constamment réussi à tromper plus d'un tiers des juges humains (la barre qui était requise pour réussir le test de Turing). Cependant, être capable d'imiter avec succès les modèles de parole des humains ne signifie pas qu'une machine puisse vraiment être considérée comme « intelligente ». Les modèles d'IA peuvent être extrêmement compétents dans un domaine et extrêmement insuffisants dans d'autres, ne possédant aucune forme d'intelligence générale. Malgré cela, le test de Turing reste une référence couramment utilisée pour les chatbots et les assistants numériques, Prasad notant que les chefs d'entreprise et les journalistes demandent constamment quand Alexa sera capable de passer le test de Turing.

Selon Prasad, l'un des principaux problèmes liés à l'utilisation du test de Turing pour évaluer l'intelligence des machines est qu'il réduit presque entièrement la capacité des machines à rechercher des informations et à effectuer des calculs ultra-rapides. Les programmes d'IA injectent des pauses artificielles en réponse à des questions mathématiques et géographiques compliquées pour tromper les humains, mais ils ont une réponse à ces questions presque instantanément. Au-delà de cela, le test de Turing ne tient pas compte de la capacité croissante de l'IA à utiliser les données recueillies par des capteurs extérieurs, ignorant comment les IA peuvent interagir avec le monde qui les entoure par le biais d'algorithmes de vision et de mouvement, en s'appuyant uniquement sur la communication textuelle.

Création de nouveaux repères

Prasad a fait valoir que de nouvelles formes de mesure de l'intelligence devraient être créées, des méthodes mieux adaptées à l'évaluation d'un type général d'intelligence. Ces tests devraient refléter la manière dont l'IA est réellement utilisée dans la société moderne et les objectifs des personnes qui l'utilisent. Les tests devraient pouvoir déterminer dans quelle mesure une IA augmente l'intelligence humaine et dans quelle mesure l'IA améliore la vie quotidienne des gens. De plus, un test doit comprendre comment une IA manifeste des caractéristiques d'intelligence de type humain, y compris la maîtrise de la langue, l'auto-supervision et le "bon sens".

Les domaines actuels et importants de la recherche sur l'IA, tels que le raisonnement, l'équité, la conversation et la compréhension sensorielle, ne sont pas évalués par le test de Turing, mais ils peuvent être mesurés de différentes manières. Prasad a expliqué qu'une façon de mesurer ces caractéristiques de l'intelligence consiste à décomposer les défis en tâches constitutives. Une autre méthode d'évaluation consiste à créer un défi du monde réel à grande échelle pour l'interaction homme-ordinateur.

Lorsque Amazon a créé le prix Alexa, il a créé une rubrique qui obligeait les robots sociaux à parler avec un humain pendant 20 minutes. Les robots seraient évalués sur leur capacité à converser de manière cohérente sur une grande variété de sujets tels que la technologie, le sport, la politique et le divertissement. Les clients étaient chargés de noter les bots pendant la phase de développement, en leur attribuant des scores en fonction de leur désir de discuter à nouveau avec le bot. Lors du tour final, des juges indépendants étaient chargés de noter les bots à l'aide d'une échelle de 5 points. La rubrique utilisée par les juges reposait sur des méthodes qui permettaient aux IA de présenter des attributs humains importants comme l'empathie, le cas échéant.

En fin de compte, Prasad a fait valoir que la prolifération croissante d'appareils alimentés par l'IA comme Alexa représente une opportunité importante pour mesurer les progrès de l'IA, mais nous aurons besoin de mesures différentes pour tirer parti de cette nouvelle opportunité.

"Ces IA doivent être expertes dans un nombre toujours croissant de tâches, ce qui n'est possible qu'avec une capacité d'apprentissage plus généralisée au lieu d'une intelligence spécifique à la tâche", a expliqué Prasad. "Par conséquent, pour la prochaine décennie et au-delà, l'utilité des services d'IA, avec leurs capacités d'assistance conversationnelle et proactive sur les appareils ambiants, est un test valable."