Percaya Salah: Mengapa Model AI Paling Cerdas adalah yang Paling Buruk dalam Membetulkan Diri Sendiri

Banyak di komunitas AI percaya bahwa revolusi besar berikutnya akan menjadi era AI yang dapat memperbaiki diri sendiri tanpa intervensi manusia. Argumennya adalah: ketika model tumbuh lebih kuat, mereka akhirnya akan belajar tidak hanya dari data, tetapi dari diri mereka sendiri. Setiap iterasi akan memperbaiki yang sebelumnya. Kesalahan akan diidentifikasi, diperbaiki, dan dihilangkan. Dalam waktu, komponen perbaikan ini dapat memicu ledakan kecerdasan di mana AI memulai membangun AI. Visi ini membentuk sebagian besar kegembiraan sekitar AI rekursif, agen otonom, dan ledakan kecerdasan yang telah lama dinantikan. Di pusat visi ini terletak kemampuan sistem AI untuk secara andal memperbaiki kesalahan mereka sendiri. Namun, tanpa koreksi diri yang kuat, perbaikan diri tidak dapat dicapai. Sistem yang tidak dapat mengenali ketika mereka salah tidak dapat belajar secara bermakna dari output mereka sendiri, tidak peduli seberapa kuat mereka tampak.

Asumsi yang berlaku sebelumnya adalah bahwa koreksi diri akan secara alami muncul ketika model tumbuh lebih kuat. Keyakinan ini terasa intuitif. Setelah semua, model yang lebih kuat tahu lebih banyak, bernalar lebih baik, dan berkinerja dengan baik di seluruh tugas. Namun, penelitian terbaru mengungkapkan temuan yang tidak terduga bahwa model yang lebih maju sering berjuang dalam memperbaiki kesalahan mereka sendiri, sedangkan model yang lebih lemah berkinerja lebih baik dalam koreksi diri. Fenomena ini, yang dikenal sebagai Paradoks Akurasi-Koreksi, memaksa kita untuk memikirkan kembali tidak hanya bagaimana sistem AI bernalar, tetapi juga seberapa siap kita untuk AI yang dapat memperbaiki diri sendiri.

Mengenal AI yang Dapat Memperbaiki Diri Sendiri

AI yang dapat memperbaiki diri sendiri mengacu pada sistem AI yang dapat mengidentifikasi kesalahan mereka sendiri, belajar dari kesalahan tersebut, dan memperbaiki perilaku mereka secara berulang. Tidak seperti model tradisional, yang hanya bergantung pada data pelatihan yang dikurasi oleh manusia, AI yang dapat memperbaiki diri sendiri secara aktif akan mengevaluasi output mereka sendiri dan beradaptasi seiring waktu. Dalam teori, ini menciptakan umpan balik di mana setiap siklus pembelajaran membangun pada yang sebelumnya, memberikan-rise pada apa yang sering digambarkan sebagai ledakan kecerdasan.

Tetapi mencapai tujuan ini jauh dari trivial. Perbaikan diri memerlukan lebih dari kekuatan komputasi mentah atau dataset yang lebih besar. Ini memerlukan penilaian diri yang dapat diandalkan, termasuk kemampuan untuk mendeteksi kesalahan, mengidentifikasi sumber kesalahan, dan menghasilkan solusi yang diperbaiki. Tanpa kemampuan ini, model tidak dapat membedakan antara jalur penalaran yang benar dan yang rusak. Mengulangi solusi yang salah, tidak peduli seberapa cepat, hanya memperkuat kesalahan daripada memperbaiki kinerja.

Perbedaan ini sangat penting. Pada manusia, belajar dari kesalahan sering melibatkan refleksi, pengujian hipotesis, dan koreksi arah. Untuk AI, proses ini harus dikodekan dalam sistem itu sendiri. Jika model tidak dapat secara andal mengenali dan memperbaiki kesalahan mereka, maka model tersebut tidak dapat berpartisipasi secara bermakna dalam loop perbaikan diri, dan janji kecerdasan rekursif tetap teoretis daripada praktis.

Paradoks Akurasi-Koreksi

Koreksi diri sering diperlakukan sebagai kemampuan tunggal, tetapi pada kenyataannya, ini menggabungkan beberapa kemampuan yang berbeda yang harus dipertimbangkan secara terpisah. Paling tidak, kita dapat memisahkannya menjadi tiga kemampuan yang dapat diukur: deteksi kesalahan, lokalisisasi kesalahan atau deteksi sumber, dan koreksi kesalahan. Deteksi kesalahan menanyakan apakah model dapat mengenali bahwa output mereka salah. Lokalisasi kesalahan berfokus pada mengidentifikasi di mana kesalahan terjadi. Koreksi kesalahan mengacu pada kemampuan untuk menghasilkan solusi yang diperbaiki.

Dengan mengukur kemampuan ini secara terpisah, peneliti mengungkapkan wawasan penting tentang keterbatasan sistem saat ini. Mereka menunjukkan bahwa model bervariasi secara luas di seluruh kemampuan ini. Beberapa model baik dalam mendeteksi kesalahan tetapi buruk dalam memperbaikinya. Yang lain hampir tidak mengenali kesalahan tetapi masih dapat memperbaikinya melalui upaya berulang. Lebih penting lagi, wawasan ini menunjukkan bahwa perbaikan dalam satu area tidak menjamin perbaikan dalam area lain.

Ketika peneliti menguji model yang lebih maju pada tugas penalaran matematika yang kompleks, model tersebut membuat lebih sedikit kesalahan. Bagian itu diharapkan. Apa yang tidak terduga adalah temuan bahwa: ketika model tersebut membuat kesalahan, mereka kurang mungkin memperbaikinya sendiri. Sebaliknya, model yang lebih lemah, meskipun membuat lebih banyak kesalahan, secara signifikan lebih baik dalam memperbaiki kesalahan mereka tanpa umpan balik eksternal. Dengan kata lain, peneliti menemukan bahwa akurasi dan koreksi diri bergerak dalam arah yang berlawanan, paradoks yang mereka sebut sebagai paradoks akurasi-koreksi. Temuan ini menantang keyakinan yang sangat dalam dalam pengembangan AI. Kami sering mengasumsikan bahwa penskalaan model memperbaiki setiap aspek kecerdasan. Paradoks menunjukkan bahwa asumsi ini tidak selalu berlaku, terutama untuk kemampuan introspektif.

Hipotesis Kedalaman Kesalahan

Paradoks ini menimbulkan pertanyaan yang jelas: mengapa model yang lebih lemah mengungguli model yang lebih kuat dalam koreksi diri? Peneliti menemukan jawaban ini dengan memeriksa jenis kesalahan yang dilakukan model. Mereka menemukan bahwa model yang lebih kuat membuat lebih sedikit kesalahan, tetapi kesalahan yang mereka lakukan lebih “dalam” dan lebih resisten terhadap koreksi. Sebaliknya, model yang lebih lemah membuat kesalahan yang “dangkal” yang dapat diperbaiki dengan mudah selama lulus kedua.

Peneliti menyebut wawasan ini sebagai hipotesis kedalaman kesalahan. Mereka mengategorikan kesalahan menjadi kesalahan pengaturan, logika, dan perhitungan. Kesalahan pengaturan melibatkan salah menginterpretasikan masalah. Kesalahan logika terjadi ketika jalur penalaran secara struktural rusak. Kesalahan perhitungan adalah slip aritmatika sederhana. Untuk GPT-3.5, sebagian besar kesalahan (62%) adalah kesalahan perhitungan sederhana. Ini adalah kesalahan dangkal. Ketika diminta untuk “memeriksa dengan hati-hati,” model dapat sering menemukan slip matematika dan memperbaikinya. Untuk DeepSeek, bagaimanapun, 77% kesalahan adalah kesalahan pengaturan atau logika. Kesalahan ini memerlukan model untuk secara fundamental mengubah pendekatan mereka. Model yang kuat berjuang dengan ini karena mereka cenderung mengaitkan diri dengan jalur penalaran awal mereka. Ketika kecerdasan model meningkat, hanya kesalahan yang paling resisten dan sulit yang tersisa.

Mengapa Mendeteksi Kesalahan Tidak Menjamin Memperbaiki Mereka

Salah satu temuan paling mengejutkan dari penelitian ini adalah bahwa deteksi kesalahan tidak berkorelasi dengan kemampuan untuk memperbaiki kesalahan. Model dapat dengan benar mengidentifikasi bahwa jawaban mereka salah tetapi masih gagal memperbaikinya. Model lain mungkin hampir tidak mendeteksi kesalahan tetapi masih memperbaiki melalui upaya berulang. Claude-3-Haiku menyediakan contoh yang paling dramatis. Claude mendeteksi hanya 10,1% dari kesalahan mereka sendiri, yang terendah di antara semua model yang diuji. Meskipun deteksi yang lemah ini, model tersebut mencapai tingkat koreksi intrinsik tertinggi sebesar 29,1%. Dibandingkan dengan GPT-3.5 yang mendeteksi 81,5% dari kesalahan mereka tetapi hanya memperbaiki 26,8%.

Ini menunjukkan bahwa beberapa model mungkin “tidak sengaja” memperbaiki kesalahan mereka dengan hanya menyelesaikan kembali masalah melalui jalur sampling yang berbeda, bahkan jika mereka tidak mengenali bahwa upaya pertama salah. Penghubung ini berbahaya untuk penerapan dunia nyata. Ketika model terlalu percaya diri dan gagal mendeteksi kesalahan logika mereka sendiri, model tersebut dapat menyajikan penjelasan yang masuk akal tetapi sepenuhnya salah sebagai kebenaran. Dalam beberapa kasus, meminta model untuk mengidentifikasi kesalahan mereka sendiri dapat memperburuk keadaan. Ketika model salah mengidentifikasi di mana mereka salah, model tersebut mengaitkan diri dengan penjelasan yang rusak dan memperkuat kesalahan. Sebaliknya, petunjuk yang dihasilkan sendiri dapat mengunci model ke jalur penalaran yang salah. Perilaku ini mirip dengan bias kognitif manusia. Setelah kita percaya kita tahu apa yang salah, kita berhenti mencari penyebab yang lebih dalam.

Iterasi Membantu, Tetapi Tidak Sama

Penelitian juga menunjukkan bahwa refleksi berulang sering memperbaiki hasil, tetapi tidak semua model mendapat manfaat dengan cara yang sama. Model yang lebih lemah mendapat manfaat secara signifikan dari beberapa putaran pemikiran ulang karena setiap iterasi memberi mereka kesempatan lain untuk memperbaiki masalah mereka yang berada di permukaan. Model yang lebih kuat menunjukkan keuntungan yang jauh lebih kecil dari iterasi. Kesalahan mereka tidak mudah diselesaikan dengan pengulangan. Tanpa bimbingan eksternal, upaya tambahan sering menghasilkan penalaran yang rusak dengan kata-kata yang berbeda. Wawasan ini menunjukkan bahwa teknik perbaikan diri tidak efektif secara universal. Keberhasilan mereka bergantung pada sifat kesalahan yang dilakukan, bukan hanya kecerdasan model.

Apa yang Ini Maksudkan untuk Desain Sistem AI

Wawasan ini membawa implikasi praktis. Pertama, kita harus berhenti mengasumsikan bahwa akurasi yang lebih tinggi berarti koreksi diri yang lebih baik. Sistem yang bergantung pada perbaikan diri otonom perlu diuji secara eksplisit untuk perilaku koreksi, bukan hanya kinerja akhir. Kedua, model yang berbeda mungkin memerlukan strategi intervensi yang berbeda. Model yang lebih lemah mungkin mendapat manfaat dari verifikasi sederhana dan iterasi. Model yang lebih kuat mungkin memerlukan umpan balik eksternal, verifikasi terstruktur, atau pemeriksaan berbasis alat untuk mengatasi kesalahan penalaran yang dalam. Ketiga, pipa koreksi diri harus menyadari kesalahan. Memahami apakah tugas rentan terhadap kesalahan dangkal atau dalam dapat memandu apakah koreksi diri kemungkinan akan berhasil. Terakhir, benchmark evaluasi harus memisahkan deteksi, lokalisisasi, dan koreksi. Mengobati mereka sebagai satu ukuran menyembunyikan kelemahan kritis yang penting dalam penerapan dunia nyata.

Intinya

AI yang dapat memperbaiki diri sendiri bergantung tidak hanya pada menghasilkan jawaban yang benar, tetapi juga pada kemampuan untuk mengenali, mendiagnosis, dan merevisi jawaban yang salah. Paradoks akurasi-koreksi mengungkapkan bahwa model yang lebih kuat tidak secara otomatis lebih baik dalam tugas ini. Ketika model menjadi lebih kuat, kesalahan mereka tumbuh lebih dalam, lebih sulit dideteksi, dan lebih resisten terhadap koreksi diri. Ini berarti bahwa kemajuan dalam penskalaan model saja tidak cukup. Jika kita ingin sistem AI yang dapat benar-benar belajar dari kesalahan mereka sendiri, koreksi diri harus dianggap sebagai kemampuan yang berbeda, diukur secara eksplisit, dilatih, dan didukung.