Dari OpenAI O3 ke DeepSeek R1: Bagaimana Simulated Thinking Membuat LLM Berpikir Lebih Dalam

Model bahasa besar (LLM) telah berkembang secara signifikan. Yang dimulai sebagai alat generasi teks dan terjemahan sederhana sekarang digunakan dalam penelitian, pengambilan keputusan, dan pemecahan masalah kompleks. Faktor kunci dalam perubahan ini adalah kemampuan LLM yang semakin meningkat untuk berpikir lebih sistematis dengan memecahkan masalah, mengevaluasi beberapa kemungkinan, dan memperbarui respons mereka secara dinamis. Daripada hanya memprediksi kata berikutnya dalam sebuah urutan, model-model ini sekarang dapat melakukan penalaran terstruktur, membuatnya lebih efektif dalam menangani tugas kompleks. Model-model terkemuka seperti OpenAI O3, Google Gemini (GOOGL ), dan DeepSeek R1 mengintegrasikan kemampuan ini untuk meningkatkan kemampuan mereka dalam memproses dan menganalisis informasi lebih efektif.

Mengerti Simulated Thinking

Manusia secara alami menganalisis berbagai pilihan sebelum membuat keputusan. Baik merencanakan liburan atau memecahkan masalah, kita sering mensimulasikan rencana yang berbeda dalam pikiran kita untuk mengevaluasi beberapa faktor, menimbang pro dan kontra, dan menyesuaikan pilihan kita sesuai dengan itu. Peneliti mengintegrasikan kemampuan ini ke dalam LLM untuk meningkatkan kemampuan penalaran mereka. Di sini, simulated thinking secara esensial merujuk pada kemampuan LLM untuk melakukan penalaran sistematis sebelum menghasilkan jawaban. Ini berbeda dengan hanya mengambil respons dari data yang disimpan. Analogi yang berguna adalah memecahkan masalah matematika:

• AI dasar mungkin mengenali pola dan menghasilkan jawaban dengan cepat tanpa memverifikasinya.
• AI yang menggunakan penalaran simulatif akan bekerja melalui langkah-langkah, memeriksa kesalahan, dan memastikan logika sebelum merespons.

Rantai Pemikiran: Mengajar AI untuk Berpikir dalam Langkah-Langkah

Jika LLM harus melakukan simulated thinking seperti manusia, mereka harus dapat memecahkan masalah kompleks menjadi langkah-langkah yang lebih kecil dan berurutan. Ini adalah tempat di mana teknik Rantai Pemikiran (CoT) memainkan peran penting.

CoT adalah pendekatan pemanggilan yang memandu LLM untuk bekerja melalui masalah secara metodis. Daripada melompat ke kesimpulan, proses penalaran terstruktur ini memungkinkan LLM untuk membagi masalah kompleks menjadi langkah-langkah yang lebih sederhana dan dapat dikelola, dan memecahkannya langkah demi langkah.

Misalnya, ketika memecahkan masalah kata dalam matematika:

• AI dasar mungkin mencoba mencocokkan masalah dengan contoh yang telah dilihat sebelumnya dan memberikan jawaban.
• AI yang menggunakan penalaran Rantai Pemikiran akan menggarisbawahi setiap langkah, secara logis bekerja melalui perhitungan sebelum mencapai solusi akhir.

Pendekatan ini efektif dalam bidang yang memerlukan deduksi logis, pemecahan masalah multi-langkah, dan pemahaman kontekstual. Sementara model sebelumnya memerlukan rantai penalaran yang disediakan oleh manusia, LLM canggih seperti OpenAI O3 dan DeepSeek R1 dapat belajar dan menerapkan penalaran CoT secara adaptif.

Bagaimana LLM Terkemuka Mengimplementasikan Simulated Thinking

LLM yang berbeda mengimplementasikan simulated thinking dengan cara yang berbeda. Berikut adalah gambaran tentang bagaimana OpenAI O3, Google DeepMind, dan DeepSeek-R1 mengimplementasikan simulated thinking, beserta kekuatan dan keterbatasan mereka.

OpenAI O3: Berpikir ke Depan seperti Pemain Catur

Sementara detail tentang model O3 OpenAI masih belum dipublikasikan, peneliti percaya bahwa O3 menggunakan teknik yang mirip dengan Monte Carlo Tree Search (MCTS), strategi yang digunakan dalam permainan AI seperti AlphaGo. Seperti pemain catur yang menganalisis beberapa gerakan sebelum memutuskan, O3 menjelajahi solusi yang berbeda, mengevaluasi kualitasnya, dan memilih yang paling menjanjikan.

Tidak seperti model sebelumnya yang bergantung pada pengenalan pola, O3 secara aktif menghasilkan dan memperbarui jalur penalaran menggunakan teknik CoT. Selama inferensi, O3 melakukan langkah komputasi tambahan untuk membangun beberapa rantai penalaran. Rantai-rantai ini kemudian dievaluasi oleh model evaluator—mungkin model hadiah yang dilatih untuk memastikan kohesi logis dan kebenaran. Respons akhir dipilih berdasarkan mekanisme skoring untuk memberikan output yang terstruktur dengan baik.

O3 mengikuti proses multi-langkah yang terstruktur. Awalnya, O3 diperhalus pada dataset besar rantai penalaran manusia, menginternalisasi pola pikir logis. Pada saat inferensi, O3 menghasilkan beberapa solusi untuk masalah yang diberikan, menilai mereka berdasarkan kebenaran dan kohesi, dan memperbarui yang terbaik jika perlu. Sementara metode ini memungkinkan O3 untuk memperbaiki diri sebelum merespons dan meningkatkan akurasi, tradeoff-nya adalah biaya komputasi—menjelajahi kemungkinan yang berbeda memerlukan daya pengolahan yang signifikan, membuatnya lebih lambat dan lebih intensif sumber daya. Namun, O3 unggul dalam analisis dinamis dan pemecahan masalah, memposisikannya di antara model AI paling canggih saat ini.

Google DeepMind: Memperbarui Jawaban seperti Editor

DeepMind telah mengembangkan pendekatan baru yang disebut “evolusi pikiran,” yang memperlakukan penalaran sebagai proses penyempurnaan iteratif. Daripada menganalisis beberapa skenario masa depan, model ini bertindak lebih seperti editor yang memperbarui draf esai yang berbeda. Model ini menghasilkan beberapa jawaban yang mungkin, menilai kualitasnya, dan memperbarui yang terbaik.

Terinspirasi oleh algoritma genetik, proses ini memastikan respons yang berkualitas tinggi melalui iterasi. Ini khusus efektif untuk tugas yang terstruktur seperti teka-teki logika dan tantangan pemrograman, di mana kriteria yang jelas menentukan jawaban yang terbaik.

Namun, metode ini memiliki keterbatasan. Karena bergantung pada sistem skoring eksternal untuk menilai kualitas respons, model ini mungkin berjuang dengan penalaran abstrak tanpa jawaban yang jelas benar atau salah. Tidak seperti O3, yang secara dinamis melakukan penalaran dalam waktu nyata, model DeepMind fokus pada memperbarui jawaban yang ada, membuatnya kurang fleksibel untuk pertanyaan terbuka.

DeepSeek-R1: Belajar Berpikir seperti Siswa

DeepSeek-R1 menggunakan pendekatan berbasis pembelajaran penguatan yang memungkinkan model ini mengembangkan kemampuan penalaran seiring waktu, bukan mengevaluasi respons yang berbeda dalam waktu nyata. Daripada bergantung pada data penalaran yang telah dibuat sebelumnya, DeepSeek-R1 belajar dengan memecahkan masalah, menerima umpan balik, dan memperbaiki diri secara iteratif—mirip dengan cara siswa memperbaiki keterampilan pemecahan masalah mereka melalui latihan.

Model ini mengikuti loop pembelajaran penguatan yang terstruktur. Dimulai dengan model dasar, seperti DeepSeek-V3, dan dipanggil untuk memecahkan masalah matematika langkah demi langkah. Setiap jawaban diverifikasi melalui eksekusi kode langsung, melewati kebutuhan akan model tambahan untuk memvalidasi kebenaran. Jika solusi benar, model diberi hadiah; jika salah, model dihukum. Proses ini diulangi secara ekstensif, memungkinkan DeepSeek-R1 untuk memperbaiki keterampilan penalaran logis dan memprioritaskan masalah yang lebih kompleks seiring waktu.

Kelebihan utama dari pendekatan ini adalah efisiensi. Tidak seperti O3, yang melakukan penalaran ekstensif pada saat inferensi, DeepSeek-R1 mengintegrasikan kemampuan penalaran selama pelatihan, membuatnya lebih cepat dan lebih hemat biaya. Ini sangat skalabel karena tidak memerlukan dataset yang besar atau model verifikasi yang mahal.

Namun, pendekatan berbasis pembelajaran penguatan ini memiliki tradeoff. Karena bergantung pada tugas dengan hasil yang dapat diverifikasi, DeepSeek-R1 unggul dalam matematika dan pemrograman. Namun, model ini mungkin berjuang dengan penalaran abstrak dalam hukum, etika, atau pemecahan masalah kreatif. Sementara penalaran matematika mungkin berlaku untuk domain lain, aplikasi yang lebih luas masih belum pasti.

Tabel: Perbandingan antara OpenAI O3, DeepMind Mind Evolution, dan DeepSeek R1

Masa Depan Penalaran AI

Penalaran simulatif adalah langkah penting menuju membuat AI lebih dapat diandalkan dan cerdas. Ketika model-model ini berkembang, fokus akan bergeser dari sekadar menghasilkan teks ke pengembangan kemampuan pemecahan masalah yang kuat yang menyerupai pemikiran manusia. Kemajuan di masa depan kemungkinan akan fokus pada membuat model AI yang dapat mengidentifikasi dan memperbaiki kesalahan, mengintegrasikan mereka dengan alat eksternal untuk memverifikasi respons, dan mengenali ketidakpastian ketika dihadapkan dengan informasi yang ambigu. Namun, tantangan kunci adalah menyeimbangkan kedalaman penalaran dengan efisiensi komputasi. Tujuan akhir adalah mengembangkan sistem AI yang secara hati-hati mempertimbangkan respons mereka, memastikan akurasi dan keandalan, mirip dengan ahli manusia yang dengan hati-hati mengevaluasi setiap keputusan sebelum bertindak.