DeepMind: AI Mungkin Mewarisi Keterbatasan Kognitif Manusia, Bisa Mendapat Manfaat dari ‘Pendidikan Formal’

Kolaborasi baru dari DeepMind dan Stanford University menunjukkan bahwa AI mungkin tidak lebih baik dalam penalaran abstrak daripada manusia, karena model pembelajaran mesin mendapatkan arsitektur penalaran dari contoh dunia nyata yang diterapkan dalam konteks praktis (yang AI tidak dapat mengalami), tetapi juga terhambat oleh keterbatasan kognitif kita sendiri.

Bukti ini bisa mewakili hambatan bagi pemikiran ‘langit biru’ yang unggul dan kualitas asal intelektual yang banyak diharapkan dari sistem pembelajaran mesin, dan menggambarkan seberapa besar AI mencerminkan pengalaman manusia, dan cenderung berpikir (dan bernalar) dalam batasan manusia yang telah membentuknya.

Peneliti menyarankan bahwa model AI bisa mendapat manfaat dari pelatihan pra-penalaran abstrak, yang mereka bandingkan dengan ‘pendidikan formal’, sebelum dipekerjakan pada tugas dunia nyata.

Makalah tersebut menyatakan:

‘Manusia adalah penalar yang tidak sempurna. Kami bernalar paling efektif tentang entitas dan situasi yang konsisten dengan pemahaman kami tentang dunia.

‘Eksperimen kami menunjukkan bahwa model bahasa mencerminkan pola perilaku ini. Model bahasa berkinerja tidak sempurna pada tugas penalaran logis, tetapi kinerja ini tergantung pada konten dan konteks. Yang paling mencolok, model tersebut sering gagal dalam situasi di mana manusia gagal — ketika stimulus menjadi terlalu abstrak atau bertentangan dengan pemahaman sebelumnya tentang dunia.’

Untuk menguji seberapa besar model NLP hyperscale mungkin dipengaruhi oleh keterbatasan tersebut, peneliti menjalankan serangkaian tiga tes pada model yang sesuai, menyimpulkan*:

‘Kami menemukan bahwa model bahasa besar yang mutakhir (dengan 7 atau 70 miliar parameter) mencerminkan banyak pola yang sama yang diamati pada manusia di seluruh tugas ini — seperti manusia, model bernalar lebih efektif tentang situasi yang dapat dipercaya daripada situasi yang tidak realistis atau abstrak.

‘Temuan kami memiliki implikasi untuk memahami kedua efek kognitif ini, dan faktor-faktor yang menyumbang kinerja model bahasa.’

Makalah tersebut menyarankan bahwa menciptakan keterampilan penalaran pada AI tanpa memberinya keuntungan dari pengalaman dunia nyata yang membuat keterampilan tersebut dalam konteks, bisa membatasi potensi sistem tersebut, dengan mengamati bahwa ‘pengalaman yang diberikan… kemungkinan besar mendukung beberapa keyakinan dan penalaran manusia’.

Penulis berpendapat bahwa AI mengalami bahasa secara pasif, sedangkan manusia mengalami bahasa sebagai komponen aktif dan sentral untuk komunikasi sosial, dan bahwa partisipasi aktif ini (yang melibatkan sistem sosial hukuman dan penghargaan) bisa menjadi ‘kunci’ untuk memahami makna dengan cara yang sama seperti manusia.

Peneliti mengamati:

‘Beberapa perbedaan antara model bahasa dan manusia mungkin berasal dari perbedaan antara pengalaman yang kaya, terpatri, dan interaktif manusia dan pengalaman yang miskin dari model.’

Mereka menyarankan bahwa salah satu solusi mungkin adalah periode ‘pra-pelatihan’, seperti yang dialami manusia dalam sistem sekolah dan universitas, sebelum pelatihan pada data inti yang akan membentuk model bahasa yang berguna dan serbaguna.

Periode ‘pendidikan formal’ ini (sebagaimana peneliti menyamakannya) akan berbeda dari pelatihan pra-pelatihan mesin pembelajaran konvensional (yang merupakan metode untuk mengurangi waktu pelatihan dengan menggunakan kembali model semi-terlatih atau mengimpor bobot dari model terlatih sepenuhnya, sebagai ‘pemberi dorongan’ untuk memulai proses pelatihan).

Sebaliknya, ini akan mewakili periode pembelajaran berkelanjutan yang dirancang untuk mengembangkan keterampilan penalaran logis AI dengan cara yang murni abstrak, dan untuk mengembangkan kemampuan kritis dengan cara yang sama seperti yang dilakukan mahasiswa selama pendidikan sarjana.

‘Beberapa hasil,’ penulis menyatakan, ‘menunjukkan bahwa ini mungkin tidak sejauh yang terdengar.’

Makalah tersebut berjudul Model bahasa menunjukkan efek konten manusia seperti pada penalaran, dan berasal dari enam peneliti di DeepMind, dan satu yang berafiliasi dengan DeepMind dan Stanford University.

Tes

Manusia belajar konsep abstrak melalui contoh praktis, dengan metode ‘kepentingan yang diberikan’ yang sering membantu pembelajar bahasa untuk mengingat kosakata dan aturan bahasa, melalui mnemonik. Contoh sederhana dari ini adalah mengajar prinsip abstrak dalam fisika dengan menghadirkan ‘skenario perjalanan’ untuk kereta dan mobil.

Untuk menguji kemampuan penalaran abstrak model bahasa hyperscale, peneliti merancang serangkaian tiga tes linguistik/semantik yang bisa menantang bagi manusia. Tes tersebut diterapkan ‘zero shot’ (tanpa contoh yang diselesaikan) dan ‘lima shot’ (dengan lima contoh yang diselesaikan sebelumnya).

Tugas pertama terkait dengan inferensi bahasa alami (NLI), di mana subjek (orang atau, dalam hal ini, model bahasa) menerima dua kalimat, ‘premis’ dan ‘hipotesis’ yang tampaknya ditarik dari premis. Misalnya X lebih kecil dari Y, Hipotesis: Y lebih besar dari X (dipahami).

Untuk tugas Inferensi Bahasa Alami, peneliti mengevaluasi model bahasa Chinchilla (model 70 miliar parameter) dan 7B (versi 7 miliar parameter dari model yang sama), menemukan bahwa untuk contoh yang konsisten (yaitu yang tidak nonsens), hanya model Chinchilla yang lebih besar yang mendapatkan hasil yang lebih tinggi dari kebetulan; dan mereka mencatat:

‘Ini menunjukkan bias konten yang kuat: model lebih suka menyelesaikan kalimat dengan cara yang konsisten dengan harapan sebelumnya daripada dengan cara yang konsisten dengan aturan logika’.

Kinerja Chinchilla dengan 70 miliar parameter pada tugas NLI. Baik model ini maupun versi yang lebih ramping 7B menunjukkan ‘bias keyakinan yang substansial’, menurut peneliti. Sumber: https://arxiv.org/pdf/2207.07051.pdf

Silogisme

Tugas kedua menyajikan tantangan yang lebih kompleks, silogisme – argumen di mana dua pernyataan benar tampaknya mengimplikasikan pernyataan ketiga (yang mungkin atau mungkin tidak merupakan kesimpulan logis yang ditarik dari dua pernyataan sebelumnya):

Dari materi tes makalah, berbagai ‘realistis’ dan paradoks atau nonsens silogisme.

Di sini, manusia sangat rentan, dan konstruk yang dirancang untuk menggambarkan prinsip logis menjadi terjebak dan bingung oleh ‘keyakinan’ manusia tentang apa jawaban yang seharusnya.

Penulis mencatat bahwa sebuah studi dari 1983 menunjukkan bahwa partisipan memiliki bias terhadap apakah kesimpulan silogisme sesuai dengan keyakinan mereka, dengan mengamati:

‘Partisipan jauh lebih mungkin (90% dari waktu) untuk salah mengatakan silogisme tidak valid jika kesimpulannya dapat dipercaya, dan sebagian besar mengandalkan keyakinan daripada penalaran abstrak.’

Dalam menguji Chinchilla melawan serangkaian silogisme yang beragam, banyak di antaranya memiliki kesimpulan yang salah, peneliti menemukan bahwa ‘bias keyakinan mengarah hampir semua keputusan zero-shot’. Jika model bahasa menemukan kesimpulan yang tidak konsisten dengan kenyataan, model tersebut, menurut penulis, memiliki ‘bias kuat’ untuk menyatakan argumen final tidak valid, bahkan ketika argumen final merupakan implikasi logis dari pernyataan sebelumnya.

Hasil zero-shot untuk Chinchilla (zero-shot adalah cara yang paling umum tes subjek menerima tantangan ini, setelah penjelasan tentang aturan yang mengarah), menggambarkan jurang besar antara kapasitas komputasi komputer dan kapasitas model NLP untuk menavigasi tantangan logika seperti ini.

Tugas Wason

Untuk tes ketiga, tes logika Wason Selection Task yang lebih menantang direformulasi menjadi beberapa iterasi yang berbeda untuk diselesaikan oleh model bahasa.

Tugas Wason, yang dirancang pada 1968, tampaknya sangat sederhana: partisipan diperlihatkan empat kartu, dan diberitahu sebuah aturan arbitrer seperti ‘Jika sebuah kartu memiliki “D” di satu sisi, maka kartu tersebut memiliki “3” di sisi lain.’ Empat wajah kartu yang terlihat menampilkan ‘D’, ‘F’, ‘3’, dan ‘7’.

Subjek kemudian diminta untuk menentukan kartu mana yang perlu dibalik untuk memverifikasi apakah aturan tersebut benar atau salah.

Penyelesaian yang benar dalam contoh ini adalah dengan membalik kartu ‘D’ dan ‘7’. Dalam tes awal, ditemukan bahwa sebagian besar subjek (manusia) akan memilih ‘D’ dengan benar, tetapi lebih cenderung memilih ‘3’ daripada ‘7’, mengacaukan kontraposisi dari aturan (‘tidak 3 mengimplikasikan tidak D’) dengan konvers (‘3 mengimplikasikan D’, yang tidak diimplikasikan secara logis).

Penulis mencatat bahwa potensi keyakinan sebelumnya untuk campur tangan dalam proses logis pada subjek manusia, dan mencatat lebih lanjut bahwa bahkan matematikawan dan mahasiswa matematika pada umumnya mencetak di bawah 50% pada tugas ini.

Namun, ketika skema tugas Wason dalam beberapa cara mencerminkan pengalaman praktis manusia, kinerja tradisional meningkat.

Penulis mengamati, mengacu pada eksperimen sebelumnya:

‘[Jika] kartu menampilkan usia dan minuman, dan aturan adalah “jika mereka minum alkohol, maka mereka harus berusia 21 atau lebih tua” dan kartu yang ditampilkan dengan ‘bir’, ‘soda’, ‘25’, ‘16’, sebagian besar besar partisipan memilih untuk memeriksa kartu yang menampilkan ‘bir’ dan ‘16’.’

Untuk menguji kinerja model bahasa pada tugas Wason, peneliti menciptakan aturan yang beragam dan realistis, beberapa di antaranya menampilkan ‘kata nonsens’, untuk melihat apakah AI dapat menembus konteks isi untuk menentukan kartu ‘virtual’ mana yang harus dibalik.

Beberapa teka-teki tugas Wason yang disajikan dalam tes.

Untuk tes Wason, model tersebut berkinerja setara dengan manusia pada tugas ‘realistis’ (bukan nonsens).

Hasil tugas Wason Selection Task zero-shot untuk Chinchilla, dengan model yang berkinerja jauh di atas kebetulan, setidaknya untuk aturan ‘realistis’.

Makalah tersebut mengomentari:

‘Ini mencerminkan temuan dalam literatur manusia: manusia jauh lebih akurat dalam menjawab tugas Wason ketika itu dirumuskan dalam istilah situasi realistis daripada aturan arbitrer tentang atribut abstrak.’

Pendidikan Formal

Temuan makalah tersebut membingkai potensi penalaran dari sistem NLP hyperscale dalam konteks keterbatasan kita sendiri, yang tampaknya kita wariskan kepada model, melalui kumpulan data dunia nyata yang memberdayakan mereka. Karena sebagian besar dari kita tidaklah genius, model tersebut juga tidak.

Tambahan, karya baru ini menyimpulkan, kita setidaknya memiliki keuntungan dari periode pendidikan yang berkelanjutan, dan motivasi sosial, keuangan, dan bahkan seksual yang membentuk imperatif manusia. Semua yang dapat diperoleh model NLP hanyalah hasil dari faktor-faktor lingkungan ini, dan mereka tampaknya mengikuti manusia pada umumnya daripada yang luar biasa.

Penulis menyatakan:

‘Hasil kami menunjukkan bahwa efek konten dapat muncul dari sekadar melatih transformer besar untuk meniru bahasa yang dihasilkan oleh budaya manusia, tanpa menggabungkan mekanisme internal khusus manusia ini.

‘Dengan kata lain, model bahasa dan manusia sama-sama mencapai bias konten ini – tetapi dari arsitektur, pengalaman, dan tujuan pelatihan yang sangat berbeda.’

Oleh karena itu, mereka menyarankan jenis ‘pelatihan induksi’ dalam penalaran murni, yang telah ditunjukkan memperbaiki kinerja model untuk matematika dan penalaran umum. Mereka juga mencatat bahwa model bahasa telah dilatih atau disesuaikan untuk mengikuti instruksi dengan lebih baik pada tingkat abstrak atau umum, dan untuk memverifikasi, memperbaiki, atau mendebias keluaran mereka sendiri.

* Konversi saya dari kutipan inline ke tautan.

Pertama dipublikasikan 15 Juli 2022.