Akhir Era Penskalaan: Mengapa Terobosan Algoritmik Lebih Penting Daripada Ukuran Model

Selama dekade terakhir, kemajuan dalam kecerdasan buatan didorong oleh skala. Dataset yang lebih besar, lebih banyak parameter, dan daya komputasi yang lebih besar menjadi formula untuk kesuksesan. Tim-tim bersaing untuk menciptakan model yang lebih besar, mengukur kemajuan dalam triliunan parameter dan petabyte data pelatihan. Kami menyebut ini sebagai era penskalaan. Ini telah memicu banyak kemajuan AI yang kita lihat hari ini, tetapi kita sekarang mendekati batas di mana hanya membuat model lebih besar tidak lagi menjadi pendekatan yang paling efisien, cerdas, atau berkelanjutan. Sebagai hasilnya, fokus beralih dari skala mentah ke terobosan dalam algoritma. Dalam artikel ini, kita akan membahas mengapa penskalaan saja tidak cukup dan bagaimana fase berikutnya dari pengembangan AI akan bergantung pada inovasi algoritmik.

Hukum Pengembalian yang Menurun dalam Penskalaan Model

Era penskalaan dibangun di atas fondasi empiris yang kuat. Peneliti mengamati bahwa meningkatkan ukuran model dan dataset dapat menghasilkan peningkatan kinerja yang dapat diprediksi. Pola ini dikenal sebagai hukum penskalaan. Hukum-hukum ini dengan cepat menjadi buku pedoman untuk laboratorium AI terkemuka, memicu perlombaan untuk membangun sistem yang lebih besar. Perlombaan itu menghasilkan model bahasa besar dan model fondasi yang sekarang menggerakkan banyak AI hari ini. Namun, seperti setiap kurva eksponensial, penskalaan AI ini mulai melambat sekarang. Biaya mengembangkan model yang lebih besar tumbuh secara tajam. Melatih sistem mutakhir sekarang mengonsumsi energi sebanyak kota kecil, menimbulkan kekhawatiran lingkungan yang serius. Biaya keuangan sangat tinggi sehingga hanya segelintir organisasi yang dapat bersaing. Sementara itu, kita mengamati tanda-tanda pengembalian yang menurun. Meningkatkan jumlah parameter dua kali lipat tidak lagi meningkatkan kemampuan dua kali lipat. Peningkatan juga inkremental, hanya memperbaiki pengetahuan yang ada dan tidak membuka kemampuan baru. Nilai yang diperoleh untuk setiap dolar dan watt tambahan semakin berkurang. Strategi penskalaan mencapai batas ekonomi dan teknis.

Batasan Baru: Efisiensi Algoritmik

Batasan hukum penskalaan mendorong peneliti untuk memfokuskan kembali pada efisiensi algoritmik. Daripada mengandalkan kekuatan bruto, mereka telah mulai memfokuskan pada merancang algoritma yang lebih cerdas yang menggunakan sumber daya lebih efektif. Kemajuan terbaru menggambarkan kekuatan perubahan ini. Misalnya, arsitektur Transformer, yang didorong oleh mekanisme perhatian, telah mendominasi AI selama bertahun-tahun. Namun, perhatian datang dengan kelemahan: tuntutan komputasionalnya tumbuh secara cepat dengan panjang urutan. Model Ruang Keadaan (SSM), seperti Mamba, muncul sebagai alternatif yang menjanjikan untuk Transformer. Dengan memungkinkan penalaran selektif yang lebih efisien, SSM dapat mencapai kinerja yang sama dengan Transformer yang jauh lebih besar sambil berjalan lebih cepat dan menggunakan memori yang jauh lebih sedikit.

Contoh lain dari efisiensi algoritmik adalah munculnya Model Campuran Pakar (MoE). Alih-alih mengaktifkan seluruh jaringan besar untuk setiap input, sistem MoE mengarahkan tugas ke subset yang paling relevan dari jaringan yang lebih kecil, atau “pakar”. Model tersebut mungkin memiliki miliaran parameter secara total, tetapi setiap komputasi hanya menggunakan sebagian kecil dari mereka. Ini seperti memiliki perpustakaan besar tetapi hanya membuka beberapa buku yang Anda butuhkan untuk menjawab pertanyaan, bukan membaca setiap buku di bangunan setiap kali. Hasilnya adalah kapasitas pengetahuan model raksasa dengan efisiensi model yang jauh lebih kecil.

Contoh lain yang menggabungkan ide-ide ini adalah DeepSeek-V3, Model Campuran Pakar yang ditingkatkan dengan Perhatian Laten Multi-Kepala (MLA). MLA memperbaiki perhatian tradisional dengan mengompresi negara kunci-nilai, memungkinkan model untuk menangani urutan panjang secara efisien, mirip dengan SSM, sambil mempertahankan kekuatan Transformer. Dengan 236 miliar parameter secara total tetapi hanya sebagian kecil diaktifkan per tugas, DeepSeek-V3 memberikan kinerja kelas atas di bidang seperti pengkodean dan penalaran, semuanya sambil menjadi lebih mudah diakses dan kurang intensif sumber daya daripada model yang setara besar, yang diskalakan.

Ini bukan hanya contoh terisolasi. Mereka mewakili tren yang lebih luas menuju desain yang lebih cerdas dan efisien. Peneliti sekarang fokus pada bagaimana membuat model lebih cepat, lebih kecil, dan kurang lapar data tanpa mengorbankan kinerja.

Mengapa Perubahan Ini Penting

Perubahan dari mengandalkan skala ke fokus pada terobosan algoritmik memiliki efek signifikan pada bidang AI. Pertama, ini membuat AI lebih mudah diakses oleh semua orang. Kesuksesan tidak lagi bergantung hanya pada memiliki komputer yang paling kuat. Sebuah kelompok kecil peneliti dapat menciptakan desain baru yang mengungguli model yang dibangun dengan anggaran yang jauh lebih besar. Ini mengubah inovasi dari perlombaan sumber daya menjadi perlombaan ide dan keahlian. Sebagai hasilnya, universitas, startup, dan laboratorium independen sekarang dapat memainkan peran yang lebih besar, di luar hanya perusahaan teknologi besar.

Kedua, ini membantu membuat AI lebih berguna dalam pengaturan sehari-hari. Model dengan 500 miliar parameter mungkin terlihat mengesankan dalam studi, tetapi ukurannya yang besar membuatnya sulit dan mahal untuk digunakan dalam praktik. Sebaliknya, pilihan yang efisien seperti Mamba atau Model Campuran Pakar dapat berjalan di perangkat keras standar, termasuk perangkat di ujung jaringan. Kemudahan penggunaan ini kunci untuk membawa AI ke aplikasi umum, seperti alat diagnostik di bidang kesehatan atau fitur terjemahan instan di smartphone.

Ketiga, ini menangani masalah keberlanjutan. Tuntutan energi untuk membangun dan mengoperasikan model AI raksasa menjadi tantangan besar bagi lingkungan. Dengan menekankan efisiensi, kita dapat mengurangi emisi karbon dari pekerjaan AI secara signifikan.

Apa yang Datang Berikutnya: Era Desain Kecerdasan

Kita memasuki apa yang mungkin kita sebut era desain kecerdasan. Pertanyaannya tidak lagi bagaimana membuat model lebih besar, tetapi bagaimana merancang model yang secara inheren lebih cerdas dan efisien.

Perubahan ini akan membawa inovasi di beberapa bidang inti penelitian. Salah satu bidang di mana kita dapat mengharapkan kemajuan adalah arsitektur model AI. Model baru seperti model ruang keadaan yang telah disebutkan sebelumnya mungkin akan mengubah cara jaringan saraf memproses data. Misalnya, arsitektur yang terinspirasi oleh sistem dinamis terbukti lebih kuat dalam eksperimen. Fokus lain akan ada pada metode pelatihan yang membantu model belajar secara efektif dengan jauh lebih sedikit data. Misalnya, kemajuan dalam pembelajaran zero-shot dan few-shot membuat AI lebih efisien data, sementara teknik seperti pengarahan aktivasi memungkinkan perbaikan perilaku tanpa pelatihan ulang. Pemurnian pasca-pelatihan dan penggunaan data sintetis mengurangi kebutuhan pelatihan secara dramatis, kadang-kadang dengan faktor 10.000.

Kita juga akan melihat minat yang meningkat pada model hibrida, seperti AI neuro-simbolis. AI neuro-simbolis muncul sebagai tren utama pada 2025, menggabungkan pengenalan pola pembelajaran neural dengan kekuatan logis sistem simbolik untuk penjelasan yang lebih baik dan ketergantungan data yang lebih sedikit. Contoh termasuk AlphaGeometry 2 dan AlphaProof, yang memungkinkan Google DeepMind untuk mendapatkan kinerja medali emas di IMO 2025. Tujuannya adalah mengembangkan sistem yang tidak hanya memprediksi kata berikutnya berdasarkan statistik tetapi juga memahami dan menalar tentang dunia dengan cara yang mirip dengan manusia.

Bagian Bawah Garis

Era penskalaan sangat penting dan membawa pertumbuhan luar biasa bagi AI. Ini memperluas batas apa yang mungkin dan memberikan teknologi dasar yang kita andalkan hari ini. Namun, seperti teknologi yang matang, strategi awal akhirnya kehabisan potensinya. Terobosan besar di depan tidak akan datang dari menambahkan lapisan lain ke tumpukan. Sebaliknya, mereka akan muncul dari merancang ulang tumpukan itu sendiri.

Masa depan milik mereka yang berinovasi dalam algoritma, arsitektur, dan ilmu pengetahuan dasar pembelajaran mesin. Ini adalah masa depan di mana kecerdasan diukur tidak oleh jumlah parameter, tetapi oleh keeleganan desain. Dorongan untuk menciptakan algoritma yang lebih cerdas baru saja dimulai. Transisi ini membuka pintu bagi AI yang lebih mudah diakses, berkelanjutan, dan benar-benar cerdas.