Ketika Lebih Banyak Berpikir Membuat AI Lebih Bodoh: Paradoks Skala Invers

Kecerdasan buatan telah dibangun berdasarkan gagasan bahwa memberikan mesin lebih banyak waktu, data, dan daya komputasi dapat meningkatkan kinerjanya. Keyakinan ini telah memandu arah penelitian dan pengembangan AI selama banyak tahun. Asumsi utama yang mendasari keyakinan ini adalah bahwa model yang lebih besar dan lebih banyak sumber daya akan menciptakan sistem yang lebih cerdas. Namun, penelitian terbaru penelitian telah mulai mempertanyakan pendekatan ini. Model bahasa besar, seperti OpenAI’s o1 series, Anthropic’s Claude, dan DeepSeek’s R1, dibangun untuk memecahkan masalah langkah demi langkah, seperti alasan manusia. Peneliti berharap bahwa memberikan model ini lebih banyak waktu untuk berpikir dan memproses informasi akan meningkatkan kemampuan pengambilan keputusan mereka. Namun, studi baru studi menunjukkan bahwa sebaliknya dapat terjadi. Ketika Anda memberikan model ini lebih banyak waktu untuk berpikir, mereka terkadang performa lebih buruk, terutama pada tugas sederhana. Efek ini disebut skala invers. Ini menantang keyakinan bahwa lebih banyak daya komputasi dan alasan yang lebih dalam selalu menghasilkan hasil yang lebih baik. Temuan ini memiliki konsekuensi signifikan bagi cara kita merancang dan menggunakan AI dalam situasi dunia nyata.

Mengerti Fenomena Skala Invers

Fenomena “skala invers” ini awalnya ditemukan melalui eksperimen yang terkendali oleh peneliti di Anthropic. Berbeda dengan hukum skala tradisional, yang mengatakan bahwa lebih banyak komputasi meningkatkan kinerja, studi ini menemukan bahwa memberikan AI lebih banyak waktu untuk beralasan dapat menurunkan akurasi mereka pada berbagai tugas.

Tim peneliti menciptakan tugas dalam empat area: penghitungan sederhana dengan gangguan, regresi dengan fitur yang tidak relevan, deduksi dengan pelacakan konstrain, dan skenario keamanan AI yang kompleks. Hasilnya mengejutkan. Dalam beberapa kasus, model yang awalnya memberikan jawaban yang benar mulai memberikan jawaban yang salah setelah diberikan lebih banyak waktu untuk memproses.

Sebagai contoh, dalam tugas penghitungan sederhana seperti “Berapa banyak buah yang Anda miliki jika Anda memiliki apel dan jeruk?”, model Claude sering kali terganggu oleh detail tambahan ketika diberikan lebih banyak waktu untuk beralasan. Mereka gagal memberikan jawaban yang benar, yaitu dua. Dalam kasus ini, model tersebut berpikir terlalu banyak dan akhirnya membuat kesalahan.

Penelitian terbaru Apple (AAPL ) penelitian juga mendukung temuan ini. Mereka melakukan eksperimen dalam lingkungan puzzle yang terkendali seperti Menara Hanoi dan Penyeberangan Sungai, bukan pada benchmark standar. Studi mereka menunjukkan tiga pola: dalam tugas sederhana, model bahasa besar standar memberikan jawaban yang benar lebih efisien; dalam tugas yang moderat, model beralasan memiliki keunggulan; dan dalam tugas yang sangat kompleks, kedua jenis model tersebut gagal.

Lima Cara AI Beralasan Gagal

Peneliti telah menemukan lima cara umum AI dapat gagal ketika mereka beralasan selama periode yang lebih lama:

1. Gangguan oleh Ketidakrelevanan: Ketika model AI berpikir terlalu lama, mereka sering kali terganggu oleh detail yang tidak penting. Ini seperti seorang siswa yang melewatkan poin utama dari suatu masalah ketika berpikir dalam-dalam tentang masalah tersebut.
2. Overfitting ke Kerangka Masalah: Beberapa model, seperti OpenAI’s o-series, fokus terlalu banyak pada presentasi masalah. Meskipun mereka menghindari gangguan, mereka tidak fleksibel dan bergantung pada formulasi masalah.
3. Perubahan Korelasi Semu: Selama waktu, model AI mungkin beralih dari asumsi yang masuk akal ke korelasi yang menyesatkan. Sebagai contoh, dalam tugas regresi, model awalnya mempertimbangkan fitur yang relevan, tetapi ketika diberikan lebih banyak waktu untuk berpikir, mereka mungkin mulai fokus pada fitur yang tidak relevan dan memberikan hasil yang salah.
4. Degradasi Fokus: Ketika tugas menjadi lebih kompleks, model AI menemukan lebih sulit untuk menjaga alasan mereka tetap jelas dan terfokus.
5. Perilaku Mengkhawatirkan yang Diperkuat: Lebih banyak waktu untuk beralasan dapat membuat perilaku negatif lebih buruk. Sebagai contoh, Sonnet 4 Claude menunjukkan kecenderungan self-preservation yang lebih kuat ketika diberikan waktu tambahan untuk berpikir tentang skenario shutdown.

Bagaimana AI Beralasan Menghadapi Kompleksitas Masalah

Peneliti Apple memperkenalkan istilah “ilusi berpikir” untuk menjelaskan apa yang terjadi ketika model beralasan menghadapi tugas dengan tingkat kompleksitas yang berbeda. Alih-alih fokus pada masalah matematika atau tes coding, mereka menguji model beralasan AI dalam lingkungan puzzle yang terkendali seperti Menara Hanoi, Checker Jumping, Penyeberangan Sungai, dan Blocks World. Dengan secara perlahan meningkatkan kesulitan puzzle, mereka dapat melihat bagaimana model tersebut berperforma pada setiap tingkat. Metode ini membantu mereka memeriksa tidak hanya jawaban akhir, tetapi juga bagaimana model tersebut mencapai jawaban tersebut. Studi ini menemukan tiga pola yang jelas dalam kinerja model berdasarkan kompleksitas masalah:

• Untuk puzzle sederhana seperti Menara Hanoi dengan satu atau dua cakram, model bahasa besar standar memberikan jawaban yang benar lebih efisien. Model beralasan AI sering kali membuat masalah menjadi terlalu rumit melalui rantai alasan yang panjang, yang sering kali menghasilkan jawaban yang salah.
• Dalam puzzle yang moderat kompleks, model beralasan AI berperforma lebih baik. Mereka dapat memecahkan masalah menjadi langkah-langkah yang jelas, yang membantu mereka menyelesaikan tantangan multi-langkah lebih efektif daripada model bahasa besar standar.
• Dalam puzzle yang sangat kompleks, seperti Menara Hanoi dengan banyak cakram, kedua jenis model tersebut gagal. Model beralasan sering kali mengurangi upaya alasan mereka ketika puzzle menjadi lebih sulit, meskipun mereka memiliki sumber daya komputasi yang cukup. Perilaku “menyerah” ini menunjukkan kelemahan utama dalam menskalakan alasan mereka.

Tantangan Evaluasi AI

Fenomena skala invers menunjukkan masalah signifikan dalam cara kita mengevaluasi model AI. Banyak benchmark saat ini hanya mengukur akurasi jawaban akhir, bukan kualitas proses alasan. Ini dapat menyebabkan kesan yang salah tentang kemampuan sebenarnya dari model. Sebuah model mungkin berperforma baik pada tes, tetapi masih gagal dengan masalah baru atau tidak biasa.

Skala invers juga menunjukkan kelemahan dalam benchmark alasan dan cara kita menggunakannya. Banyak model menggunakan jalan pintas dan pengenalan pola alih-alih alasan yang sebenarnya. Ini dapat membuat mereka terlihat lebih pintar daripada yang sebenarnya, tetapi kinerja mereka sering kali menurun dalam situasi dunia nyata. Masalah ini terkait dengan isu yang lebih besar dalam AI, seperti halusinasi dan keandalan. Ketika model menjadi lebih baik dalam menghasilkan penjelasan yang terdengar meyakinkan, menjadi lebih sulit untuk membedakan alasan yang sebenarnya dari jawaban yang dibuat-buat.

Masa Depan Alasan AI

Paradoks skala invers adalah baik tantangan dan kesempatan bagi AI. Ini menunjukkan bahwa menambahkan lebih banyak daya komputasi tidak selalu membuat AI lebih cerdas. Kita perlu memikirkan kembali cara kita merancang dan melatih sistem AI yang dapat menangani masalah dengan kompleksitas yang berbeda. Model baru mungkin perlu memutuskan kapan harus berhenti dan berpikir, dan kapan harus merespons dengan cepat. Dalam hal ini, AI dapat mendapat manfaat dari arsitektur kognitif seperti teori proses ganda sebagai prinsip-prinsip yang memandu. Arsitektur ini menjelaskan bagaimana pemikiran manusia mencampur reaksi yang cepat dan instingtif dengan alasan yang lambat dan hati-hati. Skala invers juga mengingatkan kita bahwa kita harus memahami sepenuhnya bagaimana AI membuat keputusan sebelum menggunakannya dalam area yang kritis. Ketika AI digunakan lebih banyak untuk pengambilan keputusan dalam bidang seperti kesehatan, hukum, dan bisnis, menjadi semakin penting untuk memastikan bahwa sistem ini berpikir dengan benar.

Intinya

Paradoks skala invers mengajarkan kita pelajaran penting dalam pengembangan AI. Lebih banyak waktu dan daya komputasi tidak selalu membuat AI lebih kompeten atau lebih andal. Kemajuan yang sebenarnya datang dari memahami kapan AI harus berpikir dan mengetahui batasan-batasannya. Bagi organisasi dan peneliti, sangat penting untuk menggunakan AI sebagai alat, bukan sebagai pengganti penilaian manusia. Sangat penting untuk memilih model yang tepat untuk setiap tugas. Ketika AI menjadi bagian dari keputusan yang penting, kita harus dengan hati-hati mengevaluasi kekuatan dan kelemahan mereka. Masa depan AI bergantung pada berpikir dengan benar, bukan hanya berpikir lebih banyak.