Bagaimana Phi-4-Reasoning Mengubah Penalaran AI dengan Menantang Mitos “Lebih Besar adalah Lebih Baik”

Rilis terbaru Microsoft (MSFT ) dari Phi-4-reasoning menantang asumsi kunci dalam membangun sistem kecerdasan buatan yang mampu melakukan penalaran. Sejak diperkenalkannya penalaran rantai pikiran pada tahun 2022, peneliti percaya bahwa penalaran lanjutan memerlukan model bahasa besar dengan ratusan miliar parameter. Namun, model 14 miliar parameter Microsoft yang baru, Phi-4-reasoning, mempertanyakan keyakinan ini. Dengan menggunakan pendekatan data-sentris daripada mengandalkan kekuatan komputasi murni, model ini mencapai kinerja yang setara dengan sistem yang jauh lebih besar. Terobosan ini menunjukkan bahwa pendekatan data-sentris dapat sama efektif untuk pelatihan model penalaran seperti halnya pelatihan AI konvensional. Ini membuka kemungkinan bagi model AI yang lebih kecil untuk mencapai penalaran lanjutan dengan mengubah cara pengembang AI melatih model penalaran, beralih dari “lebih besar adalah lebih baik” menjadi “data yang lebih baik adalah lebih baik.”

Paradigma Penalaran Tradisional

Penalaran rantai pikiran telah menjadi standar untuk memecahkan masalah kompleks dalam kecerdasan buatan. Teknik ini memandu model bahasa melalui penalaran langkah demi langkah, memecahkan masalah sulit menjadi langkah-langkah yang lebih kecil dan dapat dikelola. Ini meniru cara berpikir manusia dengan membuat model “berpikir keras” dalam bahasa alami sebelum memberikan jawaban.

Namun, kemampuan ini datang dengan keterbatasan penting. Peneliti secara konsisten menemukan bahwa penalaran rantai pikiran bekerja dengan baik hanya ketika model bahasa sangat besar. Kemampuan penalaran tampaknya terkait langsung dengan ukuran model, dengan model yang lebih besar melakukan lebih baik pada tugas penalaran kompleks. Temuan ini menyebabkan persaingan dalam membangun model penalaran besar, di mana perusahaan fokus pada mengubah model bahasa besar mereka menjadi mesin penalaran yang kuat.

Gagasan mengintegrasikan kemampuan penalaran ke dalam model AI awalnya datang dari pengamatan bahwa model bahasa besar dapat melakukan pembelajaran kontekstual. Peneliti mengamati bahwa ketika model diberikan contoh cara memecahkan masalah langkah demi langkah, mereka belajar mengikuti pola ini untuk masalah baru. Ini menyebabkan keyakinan bahwa model yang lebih besar yang dilatih pada data besar secara alami mengembangkan penalaran yang lebih maju. Hubungan kuat antara ukuran model dan kinerja penalaran menjadi kebijaksanaan yang diterima. Tim menginvestasikan sumber daya besar dalam menskalakan kemampuan penalaran menggunakan pembelajaran penguatan, percaya bahwa kekuatan komputasi adalah kunci untuk penalaran lanjutan.

Mengenal Pendekatan Data-Sentris

Munculnya kecerdasan buatan data-sentris menantang mentalitas “lebih besar adalah lebih baik”. Pendekatan ini memindahkan fokus dari arsitektur model ke pengembangan data yang digunakan untuk melatih sistem AI dengan hati-hati. Alih-alih menganggap data sebagai input tetap, metodologi data-sentris melihat data sebagai bahan yang dapat ditingkatkan dan dioptimalkan untuk meningkatkan kinerja AI.

Andrew Ng, seorang pemimpin di bidang ini, mempromosikan membangun praktik rekayasa sistematis untuk meningkatkan kualitas data daripada hanya menyesuaikan kode atau menskalakan model. Filosofi ini mengakui bahwa kualitas data dan kurasi sering lebih penting daripada ukuran model. Perusahaan yang mengadopsi pendekatan ini menunjukkan bahwa model yang lebih kecil dan terlatih dengan baik dapat mengungguli model yang lebih besar jika dilatih pada dataset yang berkualitas tinggi dan disiapkan dengan hati-hati.

Pendekatan data-sentris meminta pertanyaan yang berbeda: “Bagaimana kita dapat meningkatkan data kita?” bukan “Bagaimana kita dapat membuat model lebih besar?” Ini berarti menciptakan dataset pelatihan yang lebih baik, meningkatkan kualitas data, dan mengembangkan rekayasa data sistematis. Dalam kecerdasan buatan data-sentris, fokusnya adalah pada memahami apa yang membuat data efektif untuk tugas tertentu, bukan hanya mengumpulkan lebih banyak data.

Pendekatan ini telah menunjukkan janji besar dalam melatih model AI kecil tapi kuat menggunakan dataset kecil dan komputasi yang jauh lebih sedikit. Model Phi Microsoft adalah contoh yang baik dari pelatihan model bahasa kecil menggunakan pendekatan data-sentris. Model ini dilatih menggunakan pembelajaran kurikulum yang terinspirasi oleh cara anak-anak belajar melalui contoh yang semakin sulit. Awalnya, model dilatih pada contoh yang mudah, yang kemudian secara bertahap digantikan dengan contoh yang lebih sulit. Microsoft membangun dataset dari buku pelajaran, seperti yang dijelaskan dalam makalah mereka “Textbooks Are All You Need.” Ini membantu Phi-3 mengungguli model seperti Google’s (GOOGL ) Gemma dan GPT 3.5 dalam tugas seperti pemahaman bahasa, pengetahuan umum, masalah matematika sekolah dasar, dan pertanyaan medis.

Meskipun kesuksesan pendekatan data-sentris, penalaran umumnya tetap menjadi fitur dari model AI besar. Ini karena penalaran memerlukan pola dan pengetahuan yang kompleks yang lebih mudah ditangkap oleh model besar. Namun, keyakinan ini baru-baru ini telah ditantang oleh pengembangan model Phi-4-reasoning.

Strategi Terobosan Phi-4-Reasoning

Phi-4-reasoning menunjukkan bagaimana pendekatan data-sentris dapat digunakan untuk melatih model penalaran kecil. Model ini dibangun dengan melakukan fine-tuning terarah pada model dasar Phi-4 pada prompt dan contoh penalaran yang dipilih dengan hati-hati dan dihasilkan dengan o3-mini OpenAI. Fokusnya adalah pada kualitas dan spesifisitas daripada ukuran dataset. Model ini dilatih menggunakan sekitar 1,4 juta prompt berkualitas tinggi bukan miliaran prompt generik. Peneliti menyaring contoh untuk menutupi berbagai tingkat kesulitan dan jenis penalaran, memastikan keanekaragaman. Kurasi yang hati-hati ini membuat setiap contoh pelatihan memiliki tujuan, mengajarkan model pola penalaran spesifik daripada hanya meningkatkan volume data.

Dalam fine-tuning terarah, model dilatih dengan demonstrasi penalaran lengkap yang melibatkan proses berpikir lengkap. Rantai penalaran langkah demi langkah ini membantu model belajar bagaimana membangun argumen logis dan memecahkan masalah secara sistematis. Untuk lebih meningkatkan kemampuan penalaran model, model ini diperbarui dengan pembelajaran penguatan pada sekitar 6.000 masalah matematika berkualitas tinggi dengan solusi yang diverifikasi. Ini menunjukkan bahwa bahkan jumlah kecil pembelajaran penguatan yang terfokus dapat secara signifikan meningkatkan penalaran ketika diterapkan pada data yang dikurasi dengan baik.

Kinerja Melampaui Harapan

Hasilnya membuktikan bahwa pendekatan data-sentris ini berhasil. Phi-4-reasoning mengungguli model yang jauh lebih besar seperti DeepSeek-R1-Distill-Llama-70B dan hampir menyamai model penuh DeepSeek-R1, meskipun memiliki ukuran yang jauh lebih kecil. Pada tes AIME 2025 (sebuah kualifikasi Olimpiade Matematika AS), Phi-4-reasoning mengungguli DeepSeek-R1, yang memiliki 671 miliar parameter.

Peningkatan ini melampaui matematika untuk pemecahan masalah ilmiah, pengkodean, algoritma, perencanaan, dan tugas spasial. Perbaikan dari kurasi data yang hati-hati bertransfer dengan baik ke benchmark umum, menunjukkan bahwa metode ini membangun keterampilan penalaran dasar daripada trik tugas-spesifik.

Phi-4-reasoning menantang gagasan bahwa penalaran lanjutan memerlukan komputasi masif. Model dengan 14 miliar parameter dapat mencapai kinerja model yang jauh lebih besar ketika dilatih pada data yang dikurasi dengan hati-hati. Efisiensi ini memiliki konsekuensi penting untuk penerapan AI penalaran di mana sumber daya terbatas.

Implikasi untuk Pengembangan AI

Kesuksesan Phi-4-reasoning menandai pergeseran dalam cara model penalaran AI harus dibangun. Alih-alih fokus utama pada meningkatkan ukuran model, tim dapat mendapatkan hasil yang lebih baik dengan berinvestasi pada kualitas data dan kurasi. Ini membuat penalaran lanjutan lebih dapat diakses oleh organisasi tanpa anggaran komputasi yang besar.

Pendekatan data-sentris juga membuka jalur penelitian baru. Pekerjaan masa depan dapat fokus pada menemukan prompt pelatihan yang lebih baik, membuat demonstrasi penalaran yang lebih kaya, dan memahami data mana yang paling membantu penalaran. Arah ini mungkin lebih produktif daripada hanya membangun model yang lebih besar.

Lebih luas, ini dapat membantu mendemokratisasikan AI. Jika model yang lebih kecil yang dilatih pada data yang dikurasi dapat menyamai model yang lebih besar, AI lanjutan menjadi tersedia untuk lebih banyak pengembang dan organisasi. Ini juga dapat mempercepat adopsi dan inovasi AI di area di mana model yang sangat besar tidak praktis.

Masa Depan Model Penalaran

Phi-4-reasoning menetapkan standar baru untuk pengembangan model penalaran. Sistem AI masa depan kemungkinan akan menyeimbangkan kurasi data yang hati-hati dengan perbaikan arsitektur. Pendekatan ini mengakui bahwa baik kualitas data maupun desain model penting, tetapi perbaikan data mungkin memberikan keuntungan yang lebih cepat dan lebih efektif biaya.

Ini juga memungkinkan model penalaran khusus yang dilatih pada data spesifik domain. Alih-alih raksasa umum, tim dapat membangun model yang fokus dan unggul dalam bidang tertentu melalui kurasi data yang terarah. Ini akan menciptakan AI yang lebih efisien untuk penggunaan khusus.

Ketika AI berkembang, pelajaran dari Phi-4-reasoning akan mempengaruhi tidak hanya pelatihan model penalaran tetapi pengembangan AI secara keseluruhan. Kesuksesan kurasi data yang mengatasi keterbatasan ukuran menunjukkan bahwa kemajuan masa depan terletak pada menggabungkan inovasi model dengan rekayasa data yang cerdas, bukan hanya membangun arsitektur yang lebih besar.

Ringkasan

Phi-4-reasoning Microsoft mengubah keyakinan umum bahwa penalaran AI lanjutan memerlukan model yang sangat besar. Alih-alih mengandalkan ukuran yang lebih besar, model ini menggunakan pendekatan data-sentris dengan data pelatihan yang berkualitas tinggi dan dipilih dengan hati-hati. Phi-4-reasoning hanya memiliki 14 miliar parameter tetapi performa setara dengan model yang jauh lebih besar pada tugas penalaran yang sulit. Ini menunjukkan bahwa fokus pada data yang lebih baik lebih penting daripada hanya meningkatkan ukuran model.

Pendekatan baru ini membuat AI penalaran lanjutan lebih efisien dan tersedia untuk organisasi yang tidak memiliki sumber daya komputasi besar. Kesuksesan Phi-4-reasoning menunjukkan arah baru dalam pengembangan AI. Ini fokus pada meningkatkan kualitas data, pelatihan yang cerdas, dan rekayasa yang hati-hati daripada hanya membuat model lebih besar.

Pendekatan ini dapat membantu AI berkembang lebih cepat, mengurangi biaya, dan memungkinkan lebih banyak orang dan perusahaan untuk menggunakan alat AI yang kuat. Di masa depan, AI kemungkinan akan tumbuh dengan menggabungkan model yang lebih baik dengan data yang lebih baik, membuat AI lanjutan berguna di banyak bidang khusus.