Kepala Peneliti Amazon Alexa Berargumentasi bahwa Tes Turing sudah Usang

Rohit Prasad, wakil presiden dan kepala ilmuwan Alexa di Amazon (AMZN ), baru-baru ini berargumentasi bahwa tes Turing, yang telah lama digunakan untuk mengukur kesophistikasi model AI, seharusnya dipensiunkan sebagai benchmark untuk AI.

Ilmuwan komputer dan matematikawan Alan Turing awalnya memperkenalkan konsep tes Turing lebih dari 70 tahun yang lalu. Tujuan dari tes Turing adalah untuk membantu menjawab pertanyaan tentang kecerdasan mesin, menentukan apakah mesin dapat melakukan “pemikiran” dalam arti manusia. Untuk menjawab pertanyaan ini, Turing berargumentasi bahwa jika mesin dapat menampilkan perilaku percakapan yang sangat sopistikasi sehingga pengamat manusia tidak dapat membedakan antara dialog komputer dan dialog manusia, maka mesin tersebut seharusnya dianggap mampu berpikir.

Batasan Tes Turing

Prasad berargumentasi bahwa tes Turing memiliki banyak keterbatasan dan bahwa Turing sendiri bahkan telah menyoroti beberapa keterbatasan ini dalam makalah awalnya. Saat AI menjadi lebih dan lebih terintegrasi ke dalam setiap aspek kehidupan kita, orang lebih peduli bahwa interaksi mereka dengan AI adalah lancar, bukan bahwa AI tidak dapat dibedakan dari manusia, Prasad berargumentasi. Oleh karena itu, tes Turing seharusnya dianggap usang dan digantikan dengan benchmark yang lebih berguna.

Prasad mencatat bahwa banyak chatbot awal dirancang dengan mempertimbangkan tes Turing, dan dalam beberapa tahun terakhir beberapa chatbot telah berhasil menipu lebih dari sepertiga hakim manusia (yang merupakan batas yang diperlukan untuk lulus tes Turing). Namun, kemampuan untuk berhasil meniru pola percakapan manusia tidak berarti bahwa mesin dapat dianggap “cerdas” secara sebenarnya. Model AI dapat sangat terampil dalam satu area dan sangat kurang dalam area lain, tanpa memiliki bentuk kecerdasan umum. Meskipun demikian, tes Turing tetap menjadi benchmark yang umum digunakan untuk chatbot dan asisten digital, dengan Prasad mencatat bahwa pemimpin bisnis dan jurnalis terus-menerus bertanya kapan Alexa akan mampu lulus tes Turing.

Menurut Prasad, salah satu masalah utama dengan menggunakan tes Turing untuk menilai kecerdasan mesin adalah bahwa tes tersebut hampir seluruhnya mengabaikan kemampuan mesin untuk mencari informasi dan melakukan perhitungan yang sangat cepat. Program AI menyuntikkan jeda buatan dalam menanggapi pertanyaan matematika dan geografi yang rumit untuk menipu manusia, tetapi mereka memiliki jawaban untuk pertanyaan tersebut hampir seketika. Di luar itu, tes Turing tidak mempertimbangkan kemampuan AI yang semakin meningkat untuk menggunakan data yang dikumpulkan oleh sensor luar, mengabaikan bagaimana AI dapat berinteraksi dengan dunia sekitar melalui algoritma visi dan gerakan, hanya mengandalkan komunikasi teks.

Membuat Benchmark Baru

Prasad berargumentasi bahwa bentuk baru untuk mengukur kecerdasan harus dibuat, metode yang lebih sesuai untuk menilai kecerdasan umum. Tes-tes ini harus mencerminkan bagaimana AI digunakan dalam masyarakat modern dan tujuan orang untuk menggunakannya. Tes-tes ini harus dapat menentukan seberapa baik AI meningkatkan kecerdasan manusia dan seberapa baik AI memperbaiki kehidupan sehari-hari orang. Selain itu, tes harus memahami bagaimana AI menampilkan fitur kecerdasan yang menyerupai manusia, termasuk kemampuan bahasa, pengawasan diri, dan “akal sehat.”

Bidang penelitian AI yang saat ini penting, seperti penalaran, keadilan, percakapan, dan pemahaman sensorik, tidak dievaluasi oleh tes Turing, tetapi dapat diukur dengan berbagai cara. Prasad menjelaskan bahwa salah satu cara untuk mengukur fitur kecerdasan ini adalah dengan memecah tantangan menjadi tugas-tugas yang lebih kecil. Metode lain untuk mengevaluasi adalah menciptakan tantangan dunia nyata yang besar untuk interaksi manusia-komputer.

Ketika Amazon membuat Alexa Prize, mereka menciptakan rubrik yang mengharuskan bot sosial untuk berbicara dengan manusia selama 20 menit. Bot tersebut akan dinilai berdasarkan kemampuan mereka untuk berbicara secara koheren tentang berbagai topik seperti teknologi, olahraga, politik, dan hiburan. Pelanggan bertanggung jawab untuk memberi skor bot selama fase pengembangan, memberi mereka skor berdasarkan keinginan mereka untuk berbicara dengan bot lagi. Selama putaran final, hakim independen bertanggung jawab untuk memberi nilai bot menggunakan skala 5 poin. Rubrik yang digunakan oleh hakim tersebut mengandalkan metode yang memungkinkan AI menampilkan atribut manusia yang penting seperti empati ketika diperlukan.

Akhirnya, Prasad berargumentasi bahwa penyebaran AI yang semakin meningkat dalam perangkat seperti Alexa mewakili kesempatan penting untuk mengukur kemajuan AI, tetapi kita akan memerlukan metrik yang berbeda untuk memanfaatkan kesempatan baru ini.

“AI seperti itu perlu menjadi ahli dalam sejumlah besar tugas, yang hanya mungkin dengan kemampuan belajar yang lebih umum daripada kecerdasan spesifik tugas,” Prasad menjelaskan. “Oleh karena itu, untuk dekade berikutnya dan seterusnya, utilitas layanan AI, dengan kemampuan asistensi percakapan dan proaktif pada perangkat ambient, adalah tes yang layak.”