Ilusi AI Reasoning: Mengapa Chain-of-Thought Mungkin Tidak Seperti Yang Kita Pikir

Model bahasa besar (LLM) telah mengesankan kita dengan kemampuan mereka untuk memecahkan masalah kompleks langkah demi langkah. Ketika kita meminta LLM untuk menyelesaikan masalah matematika, mereka sekarang menunjukkan pekerjaan mereka, berjalan melalui setiap langkah logis sebelum mencapai jawaban. Pendekatan ini, disebut Chain-of-Thought (CoT) reasoning, telah membuat sistem AI tampak lebih seperti manusia dalam proses berpikir mereka. Tapi apa jika kemampuan reasoning yang mengesankan ini sebenarnya adalah ilusi? Penelitian baru dari Arizona State University menunjukkan bahwa apa yang tampak seperti pemikiran logis yang sebenarnya mungkin adalah teknik pencocokan pola yang canggih. Dalam artikel ini, kita akan menjelajahi penemuan ini dan menganalisis implikasinya pada cara kita merancang, mengevaluasi, dan mempercayai sistem AI.

Masalah dengan Pemahaman Saat Ini

Chain-of-thought prompting telah menjadi salah satu kemajuan yang paling diakui dalam reasoning AI. Ini memungkinkan model untuk menangani semua hal, dari masalah matematika hingga teka-teki logis, dengan menunjukkan pekerjaan mereka melalui langkah-langkah intermediate. Kemampuan reasoning yang tampak ini telah membuat banyak orang percaya bahwa sistem AI sedang mengembangkan kemampuan inferensial yang mirip dengan pemikiran manusia. Namun, peneliti telah mulai mempertanyakan keyakinan ini.

Dalam sebuah studi baru-baru ini, mereka mengamati bahwa ketika diminta pertanyaan seperti apakah Amerika Serikat didirikan pada tahun kabisat atau tahun biasa, LLM memberikan jawaban yang tidak konsisten. Sementara mereka mengidentifikasi alasan bahwa 1776 dapat dibagi oleh 4 dan menyatakan bahwa itu adalah tahun kabisat, model masih menyimpulkan bahwa Amerika Serikat didirikan pada tahun biasa. Dalam kasus ini, model menunjukkan pengetahuan tentang aturan dan menunjukkan langkah logis, tetapi mencapai kesimpulan yang bertentangan.

Contoh seperti ini menunjukkan bahwa mungkin ada kesenjangan fundamental antara apa yang tampak seperti reasoning dan inferensi logis yang sebenarnya.

Sudut Pandang Baru untuk Memahami Reasoning AI

Inovasi kunci dari penelitian ini adalah pengenalan “lensa distribusi data” untuk memeriksa Chain-of-Thought (CoT) reasoning. Peneliti menghipotesiskan bahwa CoT adalah teknik pencocokan pola yang canggih yang beroperasi pada regularitas statistik dalam data pelatihan, bukan reasoning logis yang sebenarnya. Model menghasilkan jalur reasoning yang mendekati apa yang telah mereka lihat sebelumnya, bukan melakukan operasi logis.

Untuk menguji hipotesis ini, peneliti menciptakan DataAlchemy, sebuah lingkungan eksperimental yang terkendali. Sebagai gantinya untuk menguji model LLM yang telah dilatih sebelumnya dengan sejarah pelatihan yang kompleks, mereka melatih model yang lebih kecil dari awal pada tugas yang dirancang dengan hati-hati. Pendekatan ini menghilangkan kompleksitas pelatihan besar-besaran dan memungkinkan pengujian sistematis tentang bagaimana pergeseran distribusi mempengaruhi kinerja reasoning.

Peneliti fokus pada tugas transformasi sederhana yang melibatkan urutan huruf. Misalnya, mereka mengajarkan model untuk menerapkan operasi seperti memutar huruf dalam abjad (A menjadi N, B menjadi O) atau memindahkan posisi dalam urutan (APPLE menjadi EAPPL). Dengan menggabungkan operasi ini, peneliti telah menciptakan rantai reasoning multi-langkah dengan kompleksitas yang bervariasi. Pendekatan ini memberi mereka keuntungan presisi. Mereka dapat mengontrol secara tepat apa yang model pelajari selama pelatihan dan kemudian menguji bagaimana mereka menggeneralisasi ke situasi baru. Tingkat kontrol ini tidak mungkin dengan sistem AI komersial besar yang dilatih pada dataset besar dan beragam.

Ketika Reasoning AI Gagal

Peneliti menguji CoT reasoning di tiga dimensi kritis di mana aplikasi dunia nyata mungkin berbeda dari data pelatihan.

Generalisasi Tugas memeriksa bagaimana model menangani masalah baru yang belum pernah mereka temui sebelumnya. Ketika diuji pada transformasi yang identik dengan data pelatihan, model mencapai kinerja yang sempurna. Namun, variasi kecil menyebabkan kegagalan dramatis dalam kemampuan reasoning mereka. Bahkan ketika tugas baru adalah komposisi dari operasi yang familiar, model gagal menerapkan pola yang telah dipelajari dengan benar.

Salah satu wawasan yang paling mengkhawatirkan adalah bagaimana model sering menghasilkan langkah reasoning yang terformat dengan baik dan tampak logis, tetapi mengarah ke jawaban yang salah. Dalam beberapa kasus, mereka menghasilkan jawaban yang benar melalui kebetulan sementara mengikuti jalur reasoning yang salah. Temuan ini menunjukkan bahwa model pada dasarnya mencocokkan pola permukaan daripada memahami logika yang mendasarinya.

Generalisasi Panjang menguji apakah model dapat menangani rantai reasoning yang lebih panjang atau lebih pendek dari yang ada dalam data pelatihan. Peneliti menemukan bahwa model yang dilatih pada panjang 4 gagal total ketika diuji pada panjang 3 atau 5, meskipun perubahan ini relatif kecil. Selain itu, model akan mencoba memaksakan reasoning mereka ke dalam pola panjang yang familiar dengan menambah atau menghapus langkah secara tidak tepat, bukan beradaptasi dengan persyaratan baru.

Generalisasi Format menilai sensitivitas terhadap variasi permukaan dalam presentasi masalah. Bahkan perubahan kecil seperti memasukkan token noise atau sedikit memodifikasi struktur prompt menyebabkan penurunan kinerja yang signifikan. Ini mengungkapkan seberapa bergantung model pada pola format yang tepat dari data pelatihan.

Masalah Kerapuhan

Di seluruh tiga dimensi, penelitian mengungkapkan pola yang konsisten: CoT reasoning bekerja dengan baik ketika diterapkan pada data yang mirip dengan contoh pelatihan, tetapi menjadi rapuh dan rentan gagal bahkan pada pergeseran distribusi yang sedang. Kemampuan reasoning yang tampak ini pada dasarnya adalah “ilusi rapuh” yang menghilang ketika model menghadapi situasi yang tidak familiar.

Kerapuhan ini dapat manifestasikan diri dalam beberapa cara. Model dapat menghasilkan rantai reasoning yang terformat dengan baik dan salah, tetapi mengikuti bentuk logis yang sempurna sementara melewatkan koneksi logis yang mendasarinya. Terkadang mereka menghasilkan jawaban yang benar melalui kebetulan matematika sementara menunjukkan proses reasoning yang bermasalah.

Penelitian juga menunjukkan bahwa pelatihan yang diawasi pada sejumlah kecil data baru dapat dengan cepat memulihkan kinerja, tetapi ini hanya memperluas repertoar pencocokan pola model, bukan mengembangkan kemampuan reasoning yang sebenarnya. Ini seperti belajar menyelesaikan jenis masalah matematika baru dengan menghafal contoh spesifik, bukan memahami prinsip matematika yang mendasarinya.

Implikasi Dunia Nyata

Temuan ini dapat memiliki implikasi serius bagi cara kita menerapkan dan mempercayai sistem AI. Dalam domain yang memiliki risiko tinggi seperti kedokteran, keuangan, atau analisis hukum, kemampuan menghasilkan reasoning yang terdengar masuk akal tetapi pada dasarnya salah dapat lebih berbahaya daripada jawaban yang salah sederhana. Kedatangan pemikiran logis dapat menyebabkan pengguna mempercayai kesimpulan AI yang tidak tepat.

Penelitian ini menyarankan beberapa pedoman penting bagi praktisi AI. Pertama, organisasi tidak boleh menganggap CoT sebagai solusi universal untuk memecahkan masalah. Pendekatan pengujian standar yang menggunakan data yang mirip dengan set pelatihan tidak cukup untuk mengevaluasi kemampuan reasoning yang sebenarnya. Sebaliknya, pengujian yang ketat di luar distribusi sangat penting untuk memahami keterbatasan model.

Kedua, kecenderungan model untuk menghasilkan “omong kosong yang fasih” memerlukan pengawasan manusia yang cermat, terutama dalam aplikasi kritis. Struktur koheren dari rantai reasoning yang dihasilkan AI dapat menyembunyikan kesalahan logis yang mendasar yang mungkin tidak segera terlihat.

Melihat Diluar Pencocokan Pola

Mungkin yang paling penting, penelitian ini menantang komunitas AI untuk melampaui perbaikan permukaan dan mengembangkan sistem dengan kemampuan reasoning yang sebenarnya. Pendekatan saat ini yang bergantung pada penskalaan data dan parameter mungkin mencapai batas fundamental jika mereka pada dasarnya adalah sistem pencocokan pola yang canggih.

Karya ini tidak mengurangi utilitas praktis dari sistem AI saat ini. Pencocokan pola pada skala besar dapat sangat efektif untuk banyak aplikasi. Namun, ini menekankan pentingnya memahami sifat sebenarnya dari kemampuan ini daripada mengatributkan kemampuan reasoning yang seperti manusia di mana tidak ada.

Jalan Menuju Masa Depan

Penelitian ini membuka pertanyaan penting tentang masa depan reasoning AI. Jika pendekatan saat ini secara fundamental terbatas oleh distribusi pelatihan, apa pendekatan alternatif yang dapat mengarah pada kemampuan reasoning yang lebih kuat? Bagaimana kita dapat mengembangkan metode evaluasi yang membedakan antara pencocokan pola dan inferensi logis yang sebenarnya?

Temuan ini juga menekankan pentingnya transparansi dan evaluasi yang tepat dalam pengembangan AI. Ketika sistem ini menjadi lebih canggih dan output mereka lebih meyakinkan, kesenjangan antara kemampuan yang tampak dan kemampuan yang sebenarnya dapat menjadi semakin berbahaya jika tidak dipahami dengan baik.

Ringkasan

Chain-of-Thought reasoning dalam LLM sering mencerminkan pencocokan pola daripada logika yang sebenarnya. Sementara outputnya mungkin terlihat meyakinkan, mereka dapat gagal dalam kondisi baru, menimbulkan kekhawatiran untuk bidang kritis seperti kedokteran, hukum, dan ilmu. Penelitian ini menekankan pentingnya pengujian yang lebih baik dan pendekatan yang lebih dapat diandalkan untuk reasoning AI.