Ricercatore capo di Amazon Alexa sostiene che il test di Turing è obsoleto

Rohit Prasad, vicepresidente e capo scienziato di Alexa ad Amazon (AMZN ), ha recentemente sostenuto che il test di Turing, a lungo utilizzato per misurare la sofisticatezza dei modelli di intelligenza artificiale, dovrebbe essere ritirato come benchmark per l’intelligenza artificiale.

Il computer scientist e matematico Alan Turing ha originariamente introdotto il concetto del test di Turing più di 70 anni fa. L’intenzione del test di Turing era di aiutare a rispondere alla domanda dell’intelligenza delle macchine, determinando se una macchina fosse in grado di “pensare” nel senso umano. Per rispondere a questa domanda, Turing ha sostenuto che se le macchine potessero esibire un comportamento conversazionale così sofisticato che un osservatore umano non potesse distinguere tra il dialogo del computer e quello di un umano, la macchina dovrebbe essere considerata capace di pensiero.

Limitazioni del test di Turing

Prasad ha sostenuto che il test di Turing è limitato in molti modi e che Turing stesso ha commentato alcune di queste limitazioni nel suo articolo iniziale. Poiché l’intelligenza artificiale è diventata sempre più integrata in ogni aspetto della nostra vita, le persone si curano meno del fatto che sia indistinguibile da un umano e più del fatto che le loro interazioni con l’intelligenza artificiale siano senza soluzione di continuità, sostiene Prasad. Per questo motivo, il test di Turing dovrebbe essere considerato obsoleto e sostituito con benchmark più utili.

Prasad ha notato che molti chatbot precoci sono stati progettati con l’obiettivo di superare il test di Turing e che negli ultimi anni alcuni chatbot sono riusciti a ingannare più di un terzo dei giudici umani (la soglia richiesta per superare il test di Turing). Tuttavia, essere in grado di mimare con successo i modelli di discorso umano non significa che una macchina possa essere considerata veramente “intelligente”. I modelli di intelligenza artificiale possono essere estremamente proficienti in un’area e estremamente carenti in altre, possedendo nessuna forma di intelligenza generale. Nonostante ciò, il test di Turing rimane un benchmark comunemente utilizzato per i chatbot e gli assistenti digitali, con Prasad che nota che i leader aziendali e i giornalisti chiedono costantemente quando Alexa sarà in grado di superare il test di Turing.

Secondo Prasad, uno dei principali problemi dell’utilizzo del test di Turing per valutare l’intelligenza delle macchine è che quasi completamente trascura la capacità delle macchine di cercare informazioni e di eseguire calcoli rapidi. I programmi di intelligenza artificiale iniettano pause artificiali in risposta a domande di matematica e geografia complesse per ingannare gli umani, ma hanno una risposta a tali domande quasi istantanea. Oltre a ciò, il test di Turing non tiene conto della crescente capacità dell’intelligenza artificiale di utilizzare i dati raccolti da sensori esterni, ignorando come l’intelligenza artificiale possa interagire con il mondo che la circonda attraverso algoritmi di visione e movimento, affidandosi solo alla comunicazione testuale.

Creazione di nuovi benchmark

Prasad ha sostenuto che nuove forme di misurazione dell’intelligenza dovrebbero essere create, metodi che siano migliori per valutare un tipo generale di intelligenza. Questi test dovrebbero riflettere come l’intelligenza artificiale viene effettivamente utilizzata nella società moderna e gli obiettivi delle persone che la utilizzano. I test dovrebbero essere in grado di determinare quanto bene un’intelligenza artificiale aumenti l’intelligenza umana e quanto bene l’intelligenza artificiale migliori la vita quotidiana delle persone. Inoltre, un test dovrebbe capire come un’intelligenza artificiale stia manifestando caratteristiche umane di intelligenza, tra cui la competenza linguistica, l’auto-supervisione e il “senso comune”.

I campi di ricerca attuali e importanti dell’intelligenza artificiale, come il ragionamento, la correttezza, la conversazione e la comprensione sensoriale, non vengono valutati dal test di Turing, ma possono essere misurati in vari modi. Prasad ha spiegato che un modo per misurare queste caratteristiche dell’intelligenza è quello di suddividere le sfide in compiti costituenti. Un altro metodo per valutare è creare una sfida di interazione uomo-computer su larga scala nel mondo reale.

Quando Amazon ha creato il premio Alexa, ha creato un criterio che richiedeva ai bot sociali di parlare con un umano per 20 minuti. I bot sarebbero stati valutati sulla loro capacità di conversare coerentemente su una vasta gamma di argomenti come tecnologia, sport, politica e intrattenimento. I clienti erano responsabili del punteggio dei bot durante la fase di sviluppo, assegnando loro punteggi in base al loro desiderio di chiacchierare con il bot di nuovo. Durante il round finale, giudici indipendenti erano responsabili della valutazione dei bot utilizzando una scala a 5 punti. Il criterio utilizzato dai giudici si basava su metodi che consentivano all’intelligenza artificiale di esibire attributi umani importanti come l’empatia quando appropriato.

Infine, Prasad ha sostenuto che la crescente proliferazione di dispositivi alimentati da intelligenza artificiale come Alexa rappresenta un’opportunità importante per misurare i progressi dell’intelligenza artificiale, ma avremo bisogno di metriche diverse per sfruttare questa nuova opportunità.

“Tali intelligenze artificiali devono essere esperte in un gran numero di compiti, sempre crescente, il che è possibile solo con una capacità di apprendimento più generale invece di un’intelligenza specifica per compito”, ha spiegato Prasad. “Pertanto, per il prossimo decennio e oltre, l’utilità dei servizi di intelligenza artificiale, con le loro capacità di assistenza conversazionale e proattiva su dispositivi ambientali, sono un test degno”.