Hukum Penskalaan AI Berikutnya: Bukan Lebih Banyak Data, tapi Model Dunia yang Lebih Baik

Selama bertahun-tahun, industri kecerdasan buatan telah mengikuti aturan sederhana dan kejam: lebih besar lebih baik. Kami melatih model pada dataset besar, meningkatkan jumlah parameter, dan melemparkan daya komputasi yang besar ke masalah tersebut. Rumus ini berhasil selama beberapa waktu. Dari GPT-3 ke GPT-4, dan dari chatbot kasar ke mesin penalaran, “hukum penskalaan” menunjukkan bahwa jika kita terus memberi mesin lebih banyak teks, itu akan menjadi cerdas pada akhirnya.

Tapi sekarang kita menghadapi tembok. Internet itu terbatas. Data publik berkualitas tinggi semakin habis, dan pengembalian dari hanya membuat model lebih besar semakin menurun. Peneliti AI terkemuka berpendapat bahwa lompatan besar berikutnya dalam kecerdasan buatan tidak akan datang dari membaca lebih banyak teks saja. Ini akan datang dari memahami kenyataan di balik teks. Keyakinan ini menandai pergeseran mendasar dalam fokus AI, membawa era Model Dunia.

Batasan Prediksi Token Berikutnya

Untuk memahami mengapa kita memerlukan pendekatan baru, kita harus melihat apa yang sebenarnya dilakukan oleh sistem AI saat ini. Meskipun kemampuan mereka yang mengesankan, model seperti ChatGPT atau Claude pada dasarnya adalah mesin statistik. Mereka memprediksi kata berikutnya dalam sebuah urutan berdasarkan probabilitas apa yang terjadi sebelumnya. Mereka tidak memahami bahwa gelas yang jatuh akan pecah; mereka hanya tahu bahwa dalam jutaan cerita, kata “pecah” sering mengikuti frasa “gelas jatuh.”

Pendekatan ini, yang dikenal sebagai model autoregresif, memiliki kelemahan kritis. Ini bergantung sepenuhnya pada korelasi, bukan kausalitas. Jika Anda melatih LLM pada seribu deskripsi kecelakaan mobil, itu belajar bahasa kecelakaan. Tapi itu tidak pernah mempelajari fisika momentum, gesekan, atau kerapuhan. Ini adalah penonton, bukan peserta.

Keterbatasan ini menjadi “Tembok Data.” Kami hampir menghabiskan seluruh internet publik. Untuk menskala lebih lanjut dengan metode saat ini, kita memerlukan data secara eksponensial lebih banyak dari yang ada. Data sintetis (yaitu teks yang dihasilkan oleh AI) menawarkan solusi sementara, tapi sering kali menyebabkan “keruntuhan model,” di mana sistem memperkuat bias dan kesalahan sendiri. Kita tidak bisa menskala kecerdasan buatan umum (AGI) menggunakan teks saja karena teks adalah kompresi bandwidth rendah dari dunia. Ini menggambarkan kenyataan, tapi bukan kenyataan itu sendiri.

Mengapa Model Dunia Penting

Pemimpin AI seperti Yann LeCun telah lama berpendapat bahwa sistem AI saat ini kekurangan aspek fundamental dari kognisi manusia yang bahkan anak kecil miliki secara alami. Ini adalah kemampuan kita untuk mempertahankan model internal tentang bagaimana dunia bekerja, yang mereka sebut sebagai Model Dunia. Model Dunia tidak hanya memprediksi kata berikutnya; itu membangun peta mental internal tentang bagaimana lingkungan fisik beroperasi. Ketika kita melihat bola bergulir di belakang sofa, kita tahu itu masih ada. Kita tahu itu akan muncul di sisi lain kecuali jika dihentikan. Kita tidak perlu membaca buku teks untuk memahami ini; kita menjalankan simulasi mental berdasarkan “model dunia” kita tentang fisika dan kekalnya objek.

Untuk AI maju, itu harus bergerak dari imitasi statistik ke simulasi internal ini. Itu perlu memahami penyebab-penyebab kejadian, bukan hanya deskripsi teks mereka.

Arsitektur Prediktif Embedding Gabungan (JEPA) adalah contoh utama pergeseran paradigma ini. Tidak seperti LLM, yang mencoba memprediksi setiap piksel atau kata (proses yang komputasional mahal dan bising), JEPA memprediksi representasi abstrak. Ini mengabaikan detail yang tidak dapat diprediksi seperti gerakan daun individu pada pohon dan fokus pada konsep tingkat tinggi seperti pohon, angin, dan musim. Dengan mempelajari bagaimana representasi tingkat tinggi ini berubah seiring waktu, AI mempelajari struktur dunia daripada detail permukaan.

Dari Prediksi ke Simulasi

Kita sudah melihat kilasan pertama dari transisi ini dalam model generasi video. Ketika OpenAI merilis Sora, mereka menjelaskannya tidak hanya sebagai alat video, tapi sebagai “simulator dunia.”

Perbedaan ini sangat penting. Generator video standar mungkin membuat video seseorang berjalan dengan memprediksi piksel berwarna yang biasanya datang bersamaan. Sebaliknya, simulator dunia berusaha mempertahankan konsistensi 3D, pencahayaan, dan kekalnya objek seiring waktu. Ini “memahami” bahwa jika seseorang berjalan di belakang dinding, mereka tidak akan menghilang dari keberadaan.

Model video saat ini masih jauh dari sempurna, tapi mereka mewakili arena pelatihan baru. Dunia fisik mengandung jauh lebih banyak informasi daripada dunia teks. Satu detik video mengandung jutaan titik data visual tentang fisika, cahaya, dan interaksi. Dengan melatih model pada kenyataan visual ini, kita dapat mengajarkan AI “akal sehat” yang saat ini kurang pada LLM.

Ini menciptakan hukum penskalaan baru. Keberhasilan tidak lagi diukur oleh berapa triliun token yang telah dibaca oleh model. Ini akan diukur oleh kesetiaan simulasi dan kemampuan untuk memprediksi keadaan lingkungan di masa depan. AI yang dapat mensimulasikan konsekuensi tindakan tanpa harus melakukan tindakan tersebut adalah AI yang dapat merencanakan, menalar, dan bertindak dengan aman.

Efisiensi dan Jalan Menuju AGI

Pergeseran ini juga menangani biaya energi yang tidak berkelanjutan dari AI saat ini. LLM tidak efisien karena mereka harus memprediksi setiap detail untuk menghasilkan output yang kohesif. Model Dunia lebih efisien karena selektif. Sama seperti pengemudi manusia yang fokus pada jalan dan mengabaikan pola awan di langit, Model Dunia fokus pada faktor kausal yang relevan dari tugas.

LeCun telah berpendapat bahwa pendekatan ini memungkinkan model untuk belajar jauh lebih cepat. Sistem seperti V-JEPA (Arsitektur Prediktif Embedding Gabungan Video) telah menunjukkan bahwa itu dapat mencapai solusi dengan jauh lebih sedikit iterasi pelatihan daripada metode tradisional. Dengan mempelajari “bentuk” data daripada menghafal data itu sendiri, Model Dunia membangun bentuk kecerdasan yang lebih kuat yang umumnya lebih baik untuk situasi baru dan tidak terlihat.

Ini adalah kunci yang hilang untuk AGI. Kecerdasan sejati memerlukan navigasi. Ini memerlukan agen untuk melihat tujuan, mensimulasikan jalur berbeda untuk mencapai tujuan menggunakan model internal dunia, dan kemudian memilih jalur dengan probabilitas keberhasilan tertinggi. Penghasil teks tidak bisa melakukan ini; mereka hanya bisa menulis rencana, mereka tidak bisa memahami kendala pelaksanaannya.

Bagian Bawah Garis

Industri AI berada di titik balik. Strategi “tambahkan lebih banyak data” mencapai akhir logisnya. Kita bergerak dari era Chatbot ke era Simulator.

Generasi penskalaan AI berikutnya tidak akan tentang membaca seluruh internet. Ini akan tentang menonton dunia, memahami aturannya, dan membangun arsitektur internal yang mencerminkan kenyataan. Ini bukan hanya upgrade teknis; ini adalah perubahan mendasar dalam apa yang kita anggap “pembelajaran.”

Untuk perusahaan dan peneliti, fokus harus bergeser. Kita perlu berhenti mengobsesi diri dengan jumlah parameter dan mulai mengevaluasi seberapa baik sistem kita memahami sebab dan akibat. AI di masa depan tidak hanya akan mengatakan apa yang terjadi; itu akan menunjukkan apa yang bisa terjadi, dan mengapa. Itu adalah janji Model Dunia, dan itu adalah satu-satunya jalan ke depan.