Mengapa LLMs Berpikir Terlalu Banyak pada Teka-Teki Sederhana tetapi Menyerah pada Yang Sulit

Kecerdasan buatan telah membuat kemajuan yang luar biasa, dengan Model Bahasa Besar (LLMs) dan model lanjutannya, Model Alasan Besar (LRMs), mendefinisikan kembali cara mesin memproses dan menghasilkan teks yang mirip dengan manusia. Model-model ini dapat menulis esai, menjawab pertanyaan, dan bahkan memecahkan masalah matematika. Namun, meskipun kemampuan mereka yang mengesankan, model-model ini menampilkan perilaku yang aneh: mereka sering mempersulit masalah sederhana sementara berjuang dengan masalah yang kompleks. Sebuah studi terbaru oleh peneliti Apple (AAPL ) memberikan wawasan berharga tentang fenomena ini. Artikel ini menjelajahi mengapa LLMs dan LRMs berperilaku seperti ini dan apa yang dimaksudkan untuk masa depan kecerdasan buatan.

Mengenal LLMs dan LRMs

Untuk memahami mengapa LLMs dan LRMs berperilaku seperti ini, kita perlu memahami apa itu model-model ini. LLMs, seperti GPT-3 atau BERT, dilatih pada dataset teks yang besar untuk memprediksi kata berikutnya dalam sebuah urutan. Ini membuat mereka sangat baik dalam tugas seperti generasi teks, terjemahan, dan ringkasan. Namun, mereka tidak dirancang secara inheren untuk alasan, yang melibatkan deduksi logis atau pemecahan masalah.

LRMs adalah kelas model baru yang dirancang untuk mengatasi kesenjangan ini. Mereka mengintegrasikan teknik seperti Chain-of-Thought (CoT) prompting, di mana model menghasilkan langkah-langkah alasan intermediate sebelum memberikan jawaban akhir. Misalnya, ketika memecahkan masalah matematika, LRM mungkin memecahnya menjadi langkah-langkah, seperti yang dilakukan manusia. Pendekatan ini meningkatkan kinerja pada tugas yang kompleks tetapi menghadapi tantangan ketika menangani masalah dengan kompleksitas yang bervariasi, seperti yang ditunjukkan oleh studi Apple.

Studi Penelitian

Tim peneliti Apple mengambil pendekatan yang berbeda untuk mengevaluasi kemampuan alasan LLMs dan LRMs. Alih-alih mengandalkan benchmark tradisional seperti tes matematika atau coding, yang dapat dipengaruhi oleh kontaminasi data (di mana model mengingat jawaban), mereka menciptakan lingkungan teka-teki yang terkendali. Ini termasuk teka-teki terkenal seperti Menara Hanoi, Lompatan Pion, Penyeberangan Sungai, dan Dunia Balok. Misalnya, Menara Hanoi melibatkan memindahkan cakram antara tiang-tiang dengan aturan tertentu, dengan kompleksitas yang meningkat ketika lebih banyak cakram ditambahkan. Dengan mengatur kompleksitas teka-teki secara sistematis sambil mempertahankan struktur logis yang konsisten, peneliti mengamati bagaimana model berkinerja di seluruh spektrum kesulitan. Metode ini memungkinkan mereka untuk menganalisis tidak hanya jawaban akhir tetapi juga proses alasan, yang memberikan pandangan yang lebih dalam tentang bagaimana model-model ini “berpikir.”

Temuan tentang Berpikir Terlalu Banyak dan Menyerah

Studi ini mengidentifikasi tiga rejim kinerja yang berbeda berdasarkan kompleksitas masalah:

• Pada tingkat kompleksitas rendah, LLM standar sering berkinerja lebih baik daripada LRM karena LRM cenderung berpikir terlalu banyak, menghasilkan langkah-langkah tambahan yang tidak perlu, sementara LLM standar lebih efisien.
• Untuk masalah dengan kompleksitas sedang, LRM menunjukkan kinerja yang unggul karena kemampuan mereka untuk menghasilkan jejak alasan yang terperinci yang membantu mereka untuk menangani tantangan ini secara efektif.
• Untuk masalah dengan kompleksitas tinggi, baik LLM maupun LRM gagal total; LRM, khususnya, mengalami keruntuhan total dalam akurasi dan mengurangi upaya alasan mereka meskipun kesulitan yang meningkat.

Untuk teka-teki sederhana, seperti Menara Hanoi dengan satu atau dua cakram, LLM standar lebih efisien dalam memberikan jawaban yang benar. LRM, bagaimanapun, sering berpikir terlalu banyak tentang masalah-masalah ini, menghasilkan jejak alasan yang panjang bahkan ketika solusinya sederhana. Ini menunjukkan bahwa LRM mungkin meniru penjelasan yang berlebihan dari data pelatihan mereka, yang dapat menyebabkan ketidakefisienan.

Di skenario yang kompleks secara moderat, LRM berkinerja lebih baik. Kemampuan mereka untuk menghasilkan langkah-langkah alasan yang terperinci memungkinkan mereka untuk menangani masalah yang memerlukan beberapa langkah logis. Ini memungkinkan mereka untuk mengungguli LLM standar, yang berjuang untuk mempertahankan konsistensi.

Namun, untuk teka-teki yang sangat kompleks, seperti Menara Hanoi dengan banyak cakram, kedua model gagal total. Secara mengejutkan, LRM mengurangi upaya alasan mereka ketika kompleksitas meningkat di luar titik tertentu, meskipun memiliki sumber daya komputasi yang cukup. Perilaku “menyerah” ini menunjukkan keterbatasan fundamental dalam kemampuan mereka untuk meningkatkan kemampuan alasan.

Mengapa Ini Terjadi

Berpikir terlalu banyak tentang teka-teki sederhana kemungkinan berasal dari cara LLMs dan LRMs dilatih. Model-model ini belajar dari dataset yang besar yang mencakup penjelasan yang ringkas dan terperinci. Untuk masalah yang sederhana, mereka mungkin default ke menghasilkan jejak alasan yang panjang, meniru contoh-contoh panjang dalam data pelatihan mereka, bahkan ketika jawaban langsung akan cukup. Perilaku ini tidak selalu merupakan kesalahan tetapi refleksi dari pelatihan mereka, yang mengutamakan alasan daripada efisiensi.

Kegagalan pada teka-teki yang kompleks mencerminkan ketidakmampuan LLMs dan LRMs untuk belajar menggeneralisasi aturan logis. Ketika kompleksitas masalah meningkat, ketergantungan mereka pada pencocokan pola runtuh, menyebabkan alasan yang tidak konsisten dan keruntuhan kinerja. Studi ini menemukan bahwa LRM gagal menggunakan algoritma eksplisit dan beralasan secara tidak konsisten di seluruh teka-teki yang berbeda. Ini menyoroti bahwa meskipun model-model ini dapat mensimulasikan alasan, mereka tidak benar-benar memahami logika yang mendasarinya dengan cara yang sama seperti manusia.

Perspektif Beragam

Studi ini telah memicu diskusi di komunitas kecerdasan buatan. Beberapa ahli berpendapat bahwa temuan ini mungkin salah tafsir. Mereka menyarankan bahwa meskipun LLMs dan LRMs tidak beralasan seperti manusia, mereka masih menunjukkan kemampuan pemecahan masalah yang efektif dalam batas kompleksitas tertentu. Mereka menekankan bahwa “alasan” dalam kecerdasan buatan tidak perlu mencerminkan kognisi manusia untuk menjadi berharga. Demikian pula, diskusi di platform seperti Hacker News memuji pendekatan studi yang ketat tetapi menyoroti kebutuhan akan penelitian lebih lanjut untuk meningkatkan alasan kecerdasan buatan. Perspektif ini menekankan debat yang berkelanjutan tentang apa yang merupakan alasan dalam kecerdasan buatan dan bagaimana kita harus mengevaluasinya.

Implikasi dan Arah Masa Depan

Temuan studi ini memiliki implikasi yang signifikan untuk pengembangan kecerdasan buatan. Meskipun LRMs mewakili kemajuan dalam meniru alasan manusia, keterbatasan mereka dalam menangani masalah yang kompleks dan meningkatkan upaya alasan menunjukkan bahwa model-model saat ini masih jauh dari mencapai alasan yang dapat digeneralisasi. Ini menyoroti kebutuhan akan metode evaluasi baru yang fokus pada kualitas dan adaptabilitas proses alasan, bukan hanya akurasi jawaban akhir.

Penelitian di masa depan harus bertujuan untuk meningkatkan kemampuan model untuk melaksanakan langkah-langkah logis dengan akurat dan menyesuaikan upaya alasan mereka berdasarkan kompleksitas masalah. Mengembangkan benchmark yang mencerminkan tugas alasan dunia nyata, seperti diagnosis medis atau argumen hukum, bisa memberikan wawasan yang lebih berarti tentang kemampuan kecerdasan buatan. Selain itu, mengatasi ketergantungan model pada pengenalan pola dan meningkatkan kemampuan mereka untuk menggeneralisasi aturan logis akan sangat penting untuk kemajuan alasan kecerdasan buatan.

Intinya

Studi ini memberikan analisis kritis tentang kemampuan alasan LLMs dan LRMs. Ini menunjukkan bahwa meskipun model-model ini menganalisis teka-teki sederhana secara berlebihan, mereka berjuang dengan teka-teki yang lebih kompleks, mengekspos kekuatan dan keterbatasan mereka. Meskipun mereka berkinerja baik dalam situasi tertentu, ketidakmampuan mereka untuk menangani masalah yang sangat kompleks menyoroti kesenjangan antara alasan yang disimulasikan dan pemahaman yang sebenarnya. Studi ini menekankan kebutuhan untuk mengembangkan sistem kecerdasan buatan yang dapat beralasan secara adaptif di berbagai tingkat kompleksitas, memungkinkan mereka untuk menangani masalah dengan kompleksitas yang bervariasi, seperti yang dilakukan manusia.