Investigador principal de Amazon Alexa argumenta que la prueba de Turing es obsoleta

Rohit Prasad, vicepresidente y científico jefe de Alexa en Amazon (AMZN ), argumentó recientemente que la prueba de Turing, que se ha utilizado durante mucho tiempo para medir la sofisticación de los modelos de inteligencia artificial, debería ser retirada como referencia para la inteligencia artificial.

El científico informático y matemático Alan Turing introdujo originalmente el concepto de la prueba de Turing hace más de 70 años. La intención de la prueba de Turing era ayudar a responder a la pregunta de la inteligencia de la máquina, determinando si una máquina era capaz de “pensamiento” en el sentido humano. Para responder a esta pregunta, Turing argumentó que si las máquinas podían exhibir un comportamiento conversacional lo suficientemente sofisticado como para que un observador humano no pudiera distinguir entre el diálogo de la computadora y el de un humano, la máquina debería considerarse capaz de pensamiento.

Limitaciones de la prueba de Turing

Prasad argumentó que la prueba de Turing tiene muchas limitaciones y que Turing mismo incluso comentó sobre algunas de estas limitaciones en su artículo inicial. A medida que la inteligencia artificial se ha integrado cada vez más en todos los aspectos de nuestras vidas, la gente se preocupa menos por que sea indistinguible de un humano y más por que sus interacciones con la inteligencia artificial sean fluidas, argumenta Prasad. Por esta razón, la prueba de Turing debería considerarse obsoleta y reemplazada por referencias más útiles.

Prasad señaló que muchos chatbots tempranos fueron diseñados con el objetivo de aprobar la prueba de Turing, y en los últimos años algunos chatbots han logrado engañar a más de un tercio de los jueces humanos (el umbral requerido para aprobar la prueba de Turing). Sin embargo, ser capaz de imitar con éxito los patrones de habla de los humanos no significa que una máquina pueda considerarse verdaderamente “inteligente”. Los modelos de inteligencia artificial pueden ser extremadamente competentes en un área y extremadamente deficientes en otras, sin poseer ninguna forma de inteligencia general. A pesar de esto, la prueba de Turing sigue siendo una referencia comúnmente utilizada para chatbots y asistentes digitales, con Prasad señalando que los líderes empresariales y periodistas constantemente preguntan cuándo Alexa será capaz de aprobar la prueba de Turing.

Según Prasad, uno de los principales problemas con el uso de la prueba de Turing para evaluar la inteligencia de la máquina es que prácticamente descarta la capacidad de las máquinas para buscar información y realizar cálculos rápidos. Los programas de inteligencia artificial inyectan pausas artificiales en respuesta a preguntas de matemáticas y geografía complicadas para engañar a los humanos, pero tienen una respuesta a dichas preguntas casi instantáneamente. Más allá de esto, la prueba de Turing no tiene en cuenta la creciente capacidad de la inteligencia artificial para utilizar datos recopilados por sensores externos, ignorando cómo las inteligencias artificiales pueden interactuar con el mundo que las rodea a través de algoritmos de visión y movimiento, confiando solo en la comunicación por texto.

Creación de nuevas referencias

Prasad argumentó que se deben crear nuevas formas de medir la inteligencia, métodos que estén mejor adaptados para evaluar un tipo general de inteligencia. Estas pruebas deberían reflejar cómo se utiliza la inteligencia artificial en la sociedad moderna y los objetivos de la gente al utilizarla. Las pruebas deberían ser capaces de determinar cómo bien una inteligencia artificial aumenta la inteligencia humana y cómo mejora la vida diaria de las personas. Además, una prueba debería entender cómo una inteligencia artificial está manifestando características humanas de inteligencia, incluyendo la competencia lingüística, la auto-supervisión y el “sentido común”.

Los campos actuales y importantes de la investigación de inteligencia artificial, como el razonamiento, la equidad, la conversación y la comprensión sensorial, no se evalúan con la prueba de Turing, pero se pueden medir de diversas maneras. Prasad explicó que una forma de medir estas características de la inteligencia es descomponiendo los desafíos en tareas constituyentes. Otro método para evaluar es crear un desafío de interacción humano-computadora a gran escala en el mundo real.

Cuando Amazon creó el Premio Alexa, creó una rúbrica que requería que los bots sociales hablaran con un humano durante 20 minutos. Los bots serían evaluados según su capacidad para conversar coherentemente sobre una amplia variedad de temas como la tecnología, los deportes, la política y el entretenimiento. Los clientes eran responsables de puntuar a los bots durante la fase de desarrollo, asignándoles puntuaciones en función de su deseo de charlar con el bot nuevamente. Durante la ronda final, los jueces independientes eran responsables de calificar a los bots utilizando una escala de 5 puntos. La rúbrica utilizada por los jueces se basaba en métodos que permitían que las inteligencias artificiales exhibieran atributos humanos importantes como la empatía cuando corresponda.

En última instancia, Prasad argumentó que la creciente proliferación de dispositivos con inteligencia artificial como Alexa representa una oportunidad importante para medir el progreso de la inteligencia artificial, pero necesitaremos diferentes métricas para aprovechar esta nueva oportunidad.

“Esas inteligencias artificiales necesitan ser expertas en una gran cantidad de tareas, cada vez mayor, lo que solo es posible con una capacidad de aprendizaje más generalizada en lugar de inteligencia específica de tareas”, explicó Prasad. “Por lo tanto, para la próxima década y más allá, la utilidad de los servicios de inteligencia artificial, con sus capacidades de asistencia conversacional y proactiva en dispositivos ambientales, son una prueba digna”