Il capo ricercatore di Amazon Alexa sostiene che il test di Turing è obsoleto

Rohit Prasad, vicepresidente e capo scienziato di Alexa presso Amazon, recentemente sostenuto che l' Test di Turing, a lungo utilizzato per misurare la sofisticatezza dei modelli di IA, dovrebbe essere ritirato come punto di riferimento per l'IA.

Lo scienziato informatico e matematico Alan Turing introdusse originariamente il concetto del test di Turing più di 70 anni fa. Lo scopo del test di Turing era quello di aiutare a rispondere alla domanda sull’intelligenza della macchina, determinando se una macchina fosse capace di “pensiero” nel senso umano. Per rispondere a questa domanda, Turing sostenne che se le macchine potessero esibire un comportamento conversazionale così sofisticato che un osservatore umano non potesse discernere tra il dialogo del computer e il dialogo di un essere umano, la macchina dovrebbe essere considerata capace di pensiero.

Limiti del test di Turing

Prasad ha sostenuto che il test di Turing è limitato in molti modi e che lo stesso Turing ha persino rimarcato alcune di queste limitazioni nel suo scritto iniziale. Man mano che l'IA è diventata sempre più integrata in ogni aspetto della nostra vita, alle persone importa meno che sia indistinguibile da un essere umano e più che le loro interazioni con l'IA siano senza soluzione di continuità, sostiene Prasad. Per questo motivo il test di Turing dovrebbe essere considerato obsoleto e sostituito con benchmark più utili.

Prasad ha notato che molti dei primi chatbot sono stati progettati pensando al superamento del test di Turing e negli ultimi anni alcuni chatbot sono riusciti costantemente a ingannare più di un terzo dei giudici umani (la barra richiesta per superare il test di Turing). Tuttavia, essere in grado di imitare con successo i modelli di linguaggio degli umani non significa che una macchina possa davvero essere considerata “intelligente”. I modelli di intelligenza artificiale possono essere estremamente abili in un'area ed estremamente carenti in altre, non possedendo alcuna forma di intelligenza generale. Nonostante ciò, il test di Turing rimane un punto di riferimento comunemente utilizzato per chatbot e assistenti digitali, con Prasad che osserva che leader aziendali e giornalisti chiedono costantemente quando Alexa sarà in grado di superare il test di Turing.

Secondo Prasad, uno dei problemi principali con l'utilizzo del test di Turing per valutare l'intelligenza delle macchine è che scarta quasi completamente la capacità delle macchine di cercare informazioni ed eseguire calcoli velocissimi. I programmi di intelligenza artificiale iniettano pause artificiali in risposta a complicate domande di matematica e geografia per ingannare gli umani, ma hanno una risposta a tali domande quasi istantaneamente. Oltre a ciò, il test di Turing non tiene conto della crescente capacità dell'IA di utilizzare i dati raccolti da sensori esterni, ignorando il modo in cui le IA possono interagire con il mondo che le circonda attraverso algoritmi di visione e movimento, basandosi solo sulla comunicazione testuale.

Creazione di nuovi benchmark

Prasad ha sostenuto che dovrebbero essere create nuove forme di misurazione dell'intelligenza, metodi più adatti a valutare un tipo generale di intelligenza. Questi test dovrebbero riflettere il modo in cui l'IA viene effettivamente utilizzata nella società moderna e gli obiettivi delle persone per utilizzarla. I test dovrebbero essere in grado di accertare quanto bene un'intelligenza artificiale aumenti l'intelligenza umana e quanto bene l'IA migliori la vita quotidiana delle persone. Inoltre, un test dovrebbe capire come un'intelligenza artificiale sta manifestando caratteristiche di intelligenza simili a quelle umane, tra cui competenza linguistica, autocontrollo e "buon senso".

Gli attuali e importanti campi della ricerca sull'intelligenza artificiale, come il ragionamento, l'equità, la conversazione e la comprensione sensoriale non sono valutati dal test di Turing, ma possono essere misurati in vari modi. Prasad ha spiegato che un modo per misurare queste caratteristiche dell'intelligenza è scomporre le sfide in compiti costitutivi. Un altro metodo di valutazione consiste nel creare una sfida reale su larga scala per l'interazione uomo-computer.

Quando Amazon ha creato il Premio Alexa, ha creato una rubrica che richiedeva ai social bot di parlare con un essere umano per 20 minuti. I robot verrebbero valutati in base alla loro capacità di conversare in modo coerente su un'ampia varietà di argomenti come tecnologia, sport, politica e intrattenimento. I clienti erano responsabili della valutazione dei bot durante la fase di sviluppo, assegnando loro punteggi in base al loro desiderio di chattare nuovamente con il bot. Durante il round finale, i giudici indipendenti erano responsabili della valutazione dei robot utilizzando una scala a 5 punti. La rubrica utilizzata dai giudici si basava su metodi che consentivano alle IA di mostrare importanti attributi umani come l'empatia, ove appropriato.

In definitiva, Prasad ha sostenuto che la crescente proliferazione di dispositivi basati su IA come Alexa rappresenta un'importante opportunità per misurare i progressi dell'IA, ma avremo bisogno di metriche diverse per sfruttare questa nuova opportunità.

"Tali IA devono essere esperte in un numero elevato e sempre crescente di attività, il che è possibile solo con una capacità di apprendimento più generalizzata invece di un'intelligenza specifica per attività", ha spiegato Prasad. "Pertanto, per il prossimo decennio e oltre, l'utilità dei servizi di intelligenza artificiale, con le loro capacità di assistenza conversazionale e proattiva sui dispositivi ambientali, è un degno banco di prova".