Penelitian Mengungkap LLM Menggunakan Penalaran Sederhana Saat Kompleksitas Meningkat

Sebuah tim peneliti menerbitkan sebuah studi komprehensif pada 20 November dengan menganalisis lebih dari 192.000 jejak penalaran dari model bahasa besar (LLM), mengungkap bahwa sistem AI bergantung pada strategi linier yang dangkal daripada proses kognitif hierarkis yang secara alami digunakan manusia.

Tim peneliti memeriksa 18 model yang berbeda di seluruh tugas penalaran teks, visi, dan audio, membandingkan pendekatan mereka dengan 54 jejak pemikiran manusia yang dikumpulkan secara khusus untuk studi ini. Analisis ini membangun taksonomi 28 elemen kognitif yang mencakup konstrain komputasi, kontrol meta-kognitif, representasi pengetahuan, dan operasi transformasi—memberikan kerangka untuk mengevaluasi tidak hanya apakah model menghasilkan jawaban yang benar, tetapi bagaimana mereka mencapai kesimpulan tersebut.

Perbedaan Mendasar dalam Arsitektur Kognitif

Penalaran manusia secara konsisten menunjukkan nesting hierarkis dan pemantauan meta-kognitif—kemampuan untuk merefleksikan dan mengatur proses berpikir sendiri. Manusia dengan mudah mengorganisir informasi ke dalam struktur yang bersarang sambil secara aktif melacak kemajuan mereka melalui masalah yang kompleks.

LLM sebagian besar menggunakan rantai maju yang dangkal, bergerak langkah demi langkah melalui masalah tanpa organisasi hierarkis atau refleksi diri yang merupakan ciri khas kognisi manusia. Perbedaan ini menjadi paling jelas ketika tugas tidak terstruktur atau ambigu, di mana kemampuan adaptasi manusia secara signifikan mengungguli pendekatan AI.

Studi ini menemukan bahwa model bahasa memiliki komponen perilaku yang terkait dengan penalaran yang sukses tetapi sering gagal untuk menerapkannya secara spontan. Kinerja bervariasi secara dramatis tergantung pada jenis masalah: penalaran dilemma menunjukkan variansi tertinggi, dengan model yang lebih kecil mengalami kesulitan yang signifikan, sementara penalaran logis menunjukkan kinerja yang moderat dengan model yang lebih besar umumnya mengungguli model yang lebih kecil. Model menunjukkan kelemahan yang tidak terduga, berhasil dalam tugas yang kompleks sementara gagal dalam varian yang lebih sederhana.

Perbaikan Kinerja Melalui Penalaran yang Terarah

Tim peneliti mengembangkan panduan penalaran waktu pengujian yang secara otomatis membangun struktur kognitif yang sukses, menunjukkan perbaikan kinerja hingga 66,7% pada masalah yang kompleks ketika model dipandu untuk mengadopsi pendekatan penalaran yang lebih manusiawi. Temuan ini menunjukkan bahwa LLM memiliki kemampuan laten untuk penalaran yang lebih canggih tetapi memerlukan panduan eksplisit untuk menerapkannya secara efektif.

Gap antara penalaran manusia dan AI tumbuh lebih lebar ketika kompleksitas tugas meningkat. Sementara model dapat menangani masalah yang sederhana melalui rantai maju saja, mereka bergelut dengan strategi yang rekursif, self-monitoring yang diterapkan manusia secara alami ketika menghadapi tantangan yang ambigu atau berlapis-lapis.

Dataset yang tersedia secara publik dari studi ini memberikan baseline untuk penelitian masa depan yang membandingkan kecerdasan buatan dan manusia. Dengan memetakan 28 elemen kognitif yang berbeda, kerangka ini memungkinkan peneliti untuk menunjukkan dengan tepat di mana penalaran AI gagal daripada hanya mengukur skor akurasi.

Implikasi bagi Pengembangan AI

Temuan ini menyoroti keterbatasan mendasar dalam sistem AI saat ini: gap antara kemampuan komputasi dan kesophistikan kognitif yang sebenarnya. Model yang dilatih pada dataset yang besar dapat mencocokkan pola untuk mencapai jawaban yang benar pada banyak tugas, tetapi kekurangan pemikiran yang reflektif dan hierarkis yang merupakan ciri khas pemecahan masalah manusia.

Penelitian ini membangun pada kekhawatiran yang tumbuh tentang keterbatasan penalaran AI yang diidentifikasi di seluruh domain. Perbaikan kinerja dari penalaran yang terarah menunjukkan bahwa strategi pemandum yang lebih baik dan modifikasi arsitektur bisa membantu model mengakses kemampuan penalaran laten mereka lebih efektif.

Sumbangsih terbesar dari studi ini mungkin adalah taksonomi terperinci dari elemen kognitif, memberikan peneliti dan pengembang dengan target spesifik untuk perbaikan. Daripada mengobati penalaran sebagai kemampuan monolitik, kerangka ini memecahnya menjadi komponen yang dapat diukur yang dapat ditangani secara individual melalui modifikasi pelatihan atau teknik rekayasa prompt.