Kecerdasan buatan
Meta’s COCONUT: Metode AI yang Berpikir Tanpa Bahasa
Ketika peneliti pertama kali menemukan bahwa model bahasa besar (LLM) dapat “berpikir” langkah demi langkah melalui chain-of-thought prompting, itu adalah momen pemecahan – akhirnya, kita bisa mengintip proses penalaran dari kotak hitam ini. Tapi bagaimana jika saya memberitahu Anda bahwa membuat model AI berpikir dalam bahasa alami mungkin membatasi mereka?
Itulah yang ditemukan oleh peneliti di Meta dan UC San Diego dengan metode COCONUT (Chain of Continuous Thought) baru mereka.
Bayangkan mencoba menyelesaikan masalah matematika kompleks sambil dipaksa untuk menceritakan setiap langkah secara lisan. Mengganggu, kan? Sekarang Anda semakin dekat untuk memahami tantangan inti yang dihadapi model bahasa.
Ketika kita membuat model AI berpikir melalui bahasa alami:
- Sebagian besar token yang dihasilkan hanya lem bahasa – kata-kata seperti “oleh karena itu,” “berikutnya,” dan “akibatnya” yang tidak menambah nilai penalaran
- Titik keputusan kritis terjebak oleh kebutuhan untuk berkomitmen pada kata-kata tertentu
- Model menghabiskan upaya komputasi yang signifikan untuk mempertahankan kohesi gramatikal daripada pemecahan masalah yang sebenarnya
Peneliti menemukan sesuatu yang menarik dalam studi neuroimaging mereka: ketika manusia menangani tugas penalaran kompleks, pusat bahasa otak kita sering kali tetap diam. Namun kita telah membangun sistem AI yang melakukan sebaliknya – memaksa mereka menerjemahkan setiap langkah penalaran menjadi kata-kata.
Pikirkan tentang bagaimana Anda menyelesaikan teka-teki. Pikiran Anda mungkin menjelajahi beberapa kemungkinan secara bersamaan, mempertahankan hipotesis yang kabur, dan hanya mengkristalkan pikiran Anda menjadi bahasa ketika berbagi solusi. Tapi pendekatan chain-of-thought tradisional memaksa model AI untuk mengucapkan setiap langkah intermediate, menciptakan “botol leher linguistik.”
Wawasan ini mengarah pada pertanyaan yang menarik: Apa yang terjadi jika kita bisa membiarkan model AI berpikir dalam “bahasa” aslinya – ruang kontinu, multidimensi dari keadaan tersembunyi mereka – daripada memaksa mereka menerjemahkan semuanya menjadi token?
Memahami Inovasi COCONUT
Bayangkan perbedaan antara mengucapkan pikiran Anda dengan proses mental yang sebenarnya terjadi di otak Anda. Jarak antara pikiran yang diucapkan dan aktivitas neural – itulah yang ditangkap oleh peneliti Meta dengan COCONUT.
Terobosan nyata dari COCONUT terletak pada bagaimana ia membiarkan model AI berpikir dalam dua cara yang berbeda, seperti yang dilakukan manusia. Pikirkan saat Anda menyelesaikan teka-teki kompleks – Anda tidak menceritakan setiap gerakan yang mungkin di kepala Anda, kan? Sebaliknya, Anda:
- Mengabsorpsi Masalah: Anda mengambil informasi (seperti membaca aturan teka-teki)
- Berpikir Diam-Diam: Otak Anda menjelajahi beberapa kemungkinan tanpa mengucapkannya
- Berbagi Solusi: Hanya kemudian Anda menjelaskan pemikiran Anda kepada orang lain
COCONUT memberi model AI fleksibilitas alami yang sama. Sebagai gantinya memaksa mereka “berbicara” setiap pikiran secara lisan (seperti metode tradisional), ia membiarkan mereka berpikir dalam ruang neural alami – apa yang disebut peneliti sebagai “ruang laten.”
Model dengan lancar beralih antara dua mode:
- Ketika perlu memahami pertanyaan atau memberikan jawaban, ia menggunakan bahasa biasa
- Tapi untuk proses berpikir yang sebenarnya? Ia menggunakan pola neural murni, bebas dari keterbatasan kata-kata
Gambar: Meta
Perjalanan Pelatihan
Salah satu aspek paling menarik dari COCONUT adalah kurikulum pelatihannya. Apa yang membuat ini istimewa adalah bagaimana ia meniru progresi pembelajaran alami. Pikirkan tentang bagaimana kita mengajarkan keterampilan kompleks – Anda tidak melemparkan seseorang ke dalam air dalam sekejap. Anda membangun secara bertahap, menambah kompleksitas ketika mereka menguasai setiap tingkat.
Peneliti mengambil pendekatan yang sama dengan COCONUT:
Tahap 1: Dasar
Pertama, model belajar seperti AI lain – melalui penalaran chain-of-thought tradisional. Ini memberinya pemahaman dasar yang solid.
Tahap 2: Transisi
Di sinilah hal itu menjadi menarik. Secara bertahap, langkah-langkah penalaran yang ditulis digantikan oleh pikiran kontinu. Bayangkan perlahan-lahan melepas roda pelatihan, membiarkan model mengembangkan pola berpikir internalnya sendiri.
Tahap 3: Keseimbangan
Akhirnya, model belajar untuk beralih dengan lancar antara berpikir dalam ruang laten dan mengkomunikasikan wawasan dalam bahasa yang jelas.
Selama pelatihan, model mengembangkan kemampuan yang tidak pernah diprogram secara eksplisit – seperti mempertimbangkan beberapa jalur penalaran secara bersamaan. Perilaku yang muncul ini sangat menarik karena menunjukkan kita mungkin semakin dekat dengan bentuk penalaran AI yang lebih alami. Ini adalah perkembangan yang tidak terduga yang sering mengarah pada terobosan terbesar.
Ingat studi neuroimaging yang saya sebutkan sebelumnya? Mereka menunjukkan bahwa otak manusia sering memproses tugas penalaran kompleks tanpa mengaktifkan pusat bahasa secara kuat. COCONUT tampaknya mengembangkan pola yang sama – berpikir dalam ruang neural alami dan hanya mengubahnya menjadi bahasa ketika diperlukan untuk komunikasi.
Angka-Angka Menceritakan Cerita
Beberapa temuan kunci lainnya menonjol dari penelitian:
- Masalah Kata Matematika (GSM8k): Di sini, COCONUT mencapai akurasi 34,1%. Meskipun ini di bawah Chain-of-Thought tradisional (42,9%), itu jauh lebih baik daripada pendekatan baseline.
- Penarikan Logis (ProntoQA): COCONUT mencapai akurasi 99,8%, mengungguli Chain-of-Thought tradisional (98,8%). Tapi ini adalah pukulan – ia melakukannya dengan menggunakan hanya 9 token dibandingkan dengan CoT yang 92,5.
- Perencanaan Kompleks (ProsQA): Hasil paling mengesankan datang dari tes penalaran lanjutan ini. COCONUT mencapai akurasi 97% sementara metode tradisional hanya mencapai 77,5%. Dan lagi, ia melakukannya dengan efisiensi yang luar biasa – 14,2 token versus 49,4.
Apa yang membuat hasil ini menjanjikan bukan hanya angka-angka mentah – itu adalah apa yang mereka ungkapkan tentang jenis pemikiran yang berbeda. Sementara COCONUT mungkin masih menemukan jejaknya dalam penalaran matematika, ia unggul dalam tugas yang memerlukan perencanaan logis dan deduksi kompleks.
COCONUT mewakili pemikiran ulang tentang bagaimana sistem AI dapat berpikir, dan ini membawa kita lebih dekat ke bentuk AI yang lebih alami, efisien, dan kuat. Perjalanan dari penalaran berbasis bahasa ke pemikiran kontinu adalah langkah menuju sistem AI yang lebih mampu dan efisien.
