Cercetătorul șef pentru Amazon Alexa susține că testul Turing este învechit

Rohit Prasad, vicepreședinte și șef scientist al Alexa la Amazon (AMZN ), a argumentat recent că testul Turing, folosit de mult timp pentru a măsura sofisticarea modelelor de inteligență artificială, ar trebui să fie retras ca benchmark pentru IA.

Omul de știință și matematicianul Alan Turing a introdus inițial conceptul de test Turing cu peste 70 de ani în urmă. Intenția testului Turing a fost de a ajuta la răspunsul la întrebarea inteligenței mașinilor, stabilind dacă o mașină este capabilă de “gândire” în sensul uman. Pentru a răspunde la această întrebare, Turing a argumentat că, dacă mașinile pot arăta un comportament conversațional atât de sofisticat, încât un observator uman nu poate face distincția între dialogul calculatorului și cel al unui om, mașina ar trebui să fie considerată capabilă de gândire.

Limitări ale testului Turing

Prasad a argumentat că testul Turing este limitat în multe feluri și că Turing însuși a remarcat unele dintre aceste limitări în lucrarea sa inițială. Pe măsură ce IA a devenit tot mai integrată în toate aspectele vieții noastre, oamenii se îngrijoresc mai puțin că este de nediferențiat de un om și mai mult că interacțiunile lor cu IA sunt fără probleme, argumentează Prasad. Din acest motiv, testul Turing ar trebui să fie considerat învechit și înlocuit cu benchmark-uri mai utile.

Prasad a notat că mulți chatbot-i timpurii au fost proiectați cu scopul de a trece testul Turing, și în ultimii ani, unii chatbot-i au reușit să păcălească mai mult de o treime din judecătorii umani (pragul necesar pentru a trece testul Turing). Cu toate acestea, capacitatea de a imita cu succes modelele de vorbire ale oamenilor nu înseamnă că o mașină poate fi considerată într-adevăr “inteligentă”. Modelele de IA pot fi extrem de competente într-un anumit domeniu și extrem de lipsite în altele, neavând niciun fel de inteligență generală. În ciuda acestui fapt, testul Turing rămâne un benchmark comun pentru chatbot-i și asistenți digitali, cu Prasad notând că liderii de afaceri și jurnaliștii întreabă constant când Alexa va fi capabilă să treacă testul Turing.

Conform lui Prasad, una dintre principalele probleme cu utilizarea testului Turing pentru a evalua inteligența mașinilor este faptul că acesta ignoră aproape complet capacitatea mașinilor de a căuta informații și de a efectua calcule rapide. Programele de IA injectează pauze artificiale în răspuns la întrebări complicate de matematică și geografie pentru a păcăli oamenii, dar au un răspuns la astfel de întrebări aproape instantaneu. Dincolo de acest lucru, testul Turing nu ține cont de capacitatea tot mai mare a IA de a utiliza date colectate de senzori exteriori, ignorând modul în care IA poate interacționa cu lumea din jur prin algoritmi de viziune și mișcare, bazându-se doar pe comunicarea text.

Crearea de noi benchmark-uri

Prasad a argumentat că ar trebui create noi forme de măsurare a inteligenței, metode care să fie mai bine adaptate pentru a evalua un tip general de inteligență. Aceste teste ar trebui să reflecte modul în care IA este utilizată în societatea modernă și obiectivele oamenilor pentru utilizarea acesteia. Testele ar trebui să poată determina cât de bine o IA sporește inteligența umană și cât de bine IA îmbunătățește viața de zi cu zi a oamenilor. Mai mult, un test ar trebui să înțeleagă cum o IA manifestă caracteristici umane de inteligență, inclusiv competența lingvistică, auto-supervizarea și “simțul comun”.

Câmpurile actuale și importante de cercetare a IA, cum ar fi raționamentul, echitatea, conversația și înțelegerea senzorială, nu sunt evaluate de testul Turing, dar pot fi măsurate în diferite moduri. Prasad a explicat că una dintre modalitățile de măsurare a acestor caracteristici ale inteligenței este prin descompunerea provocărilor în sarcini constitutive. O altă metodă de evaluare constă în crearea unei provocări la scară largă și în lumea reală pentru interacțiunea om-calculator.

Când Amazon a creat premiul Alexa, a creat o rubrică care a necesitat ca bot-urile sociale să vorbească cu un om timp de 20 de minute. Bot-urile au fost evaluate pe baza capacității lor de a conversa coerent pe o varietate largă de subiecte, cum ar fi tehnologia, sportul, politica și divertismentul. Clienții au fost responsabili pentru notarea bot-urilor în timpul fazei de dezvoltare, atribuindu-le note pe baza dorinței lor de a conversa din nou cu bot-ul. În timpul rundei finale, judecătorii independenți au fost responsabili pentru notarea bot-urilor utilizând o scară de 5 puncte. Rubrica utilizată de judecători s-a bazat pe metode care au permis IA să arate atribute umane importante, cum ar fi empatia, acolo unde a fost cazul.

În cele din urmă, Prasad a argumentat că proliferarea tot mai mare a dispozitivelor alimentate de IA, cum ar fi Alexa, reprezintă o oportunitate importantă de a măsura progresul IA, dar vom avea nevoie de metrice diferite pentru a profita de această oportunitate nouă.

„Astfel de IA trebuie să fie expert într-un număr mare și în creștere de sarcini, ceea ce este posibil doar cu o capacitate de învățare mai generalizată, în loc de inteligență specifică sarcinii”, a explicat Prasad. „Prin urmare, pentru următorul deceniu și dincolo, utilitatea serviciilor de IA, cu capacitățile lor de asistență conversațională și proactivă pe dispozitive ambientale, sunt un test demn.”