Apakah Model Dunia AI Dapat Benar-Benar Memahami Hukum Fisik?

Harapan besar untuk model AI bahasa-visi adalah bahwa mereka suatu hari nanti akan menjadi mampu memiliki otonomi dan fleksibilitas yang lebih besar, mengintegrasikan prinsip-prinsip hukum fisik dengan cara yang sama seperti kita mengembangkan pemahaman bawaan tentang prinsip-prinsip tersebut melalui pengalaman awal.

Sebagai contoh, permainan bola anak-anak cenderung mengembangkan pemahaman tentang kinetika gerak, dan efek berat dan tekstur permukaan pada trajektori. Demikian pula, interaksi dengan skenario umum seperti mandi, tumpahan minuman, lautan, kolam renang, dan berbagai badan cair lainnya akan memberikan kita pemahaman yang serbaguna dan dapat diskalakan tentang cara cairan berperilaku di bawah gravitasi.

Bahkan postulat fenomena yang kurang umum – seperti pembakaran, ledakan, dan distribusi berat arsitektur di bawah tekanan – diserap secara tidak sadar melalui paparan program TV dan film, atau video media sosial.

Saat kita mempelajari prinsip di balik sistem-sistem ini, pada tingkat akademis, kita sebenarnya hanya ‘meretrofit’ model mental kita yang intuitif (tetapi tidak terinformasi) tentang mereka.

Masters of One

Saat ini, sebagian besar model AI adalah, dengan kontras, lebih ‘spesialis’, dan banyak di antaranya baik dihaluskandengan baik atau dilatih dari awal pada dataset gambar atau video yang cukup spesifik untuk kasus penggunaan tertentu, daripada dirancang untuk mengembangkan pemahaman umum tentang hukum yang mengatur.

Yang lain dapat menampilkan penampilan pemahaman tentang hukum fisik; tetapi mereka mungkin sebenarnya mereproduksi sampel dari data pelatihan mereka, daripada benar-benar memahami dasar-dasar bidang seperti fisika gerak dalam cara yang dapat menghasilkan gambaran yang benar-benar baru (dan ilmiah dapat diterima) dari prompt pengguna.

Pada saat yang sangat halus dalam produkisasi dan komersialisasi sistem AI generatif, tersisa bagi kita, dan bagi pengawasan investor, untuk membedakan pemasaran yang dibuat-buat dari kenyataan keterbatasan model AI baru.

Salah satu makalah November yang paling menarik, yang dipimpin oleh Bytedance Research, menangani masalah ini, mengeksplorasi kesenjangan antara kemampuan yang tampak dan kemampuan nyata dari ‘model generatif serba guna’ seperti Sora.

Makalah tersebut menyimpulkan bahwa pada keadaan saat ini, output yang dihasilkan dari model jenis ini lebih cenderung meniru contoh dari data pelatihan daripada benar-benar menunjukkan pemahaman penuh tentang keterbatasan fisik yang mengoperasikan di dunia nyata.

Makalah tersebut menyatakan*:

‘Model ini dapat dengan mudah dipengaruhi oleh “contoh menipu” dari set pelatihan, menyebabkan mereka menggeneralisasi dengan cara “berdasarkan kasus” di bawah kondisi tertentu. Fenomena ini, juga diamati pada model bahasa besar, menggambarkan kecenderungan model untuk merujuk pada kasus pelatihan yang serupa saat menyelesaikan tugas baru.

‘Sebagai contoh, pertimbangkan model video yang dilatih pada data bola bergerak dengan kecepatan tinggi dalam gerak lurus seragam. Jika data augmentasi dilakukan dengan membalik video secara horizontal, sehingga memperkenalkan gerak berlawanan, model tersebut mungkin akan menghasilkan skenario di mana bola berkecepatan rendah membalik arah setelah bingkai awal, meskipun perilaku ini tidak secara fisik benar.’

Kita akan melihat makalah tersebut – yang berjudul Evaluating World Models with LLM for Decision Making – lebih dekat. Tapi pertama-tama, mari kita lihat latar belakang untuk keterbatasan yang tampak ini.

Remembrance of Things Past

Tanpa generalisasi, model AI yang dilatih hanyalah sekumpulan referensi yang mahal untuk bagian-bagian dari data pelatihannya: temukan istilah pencarian yang tepat, dan Anda dapat memanggil contoh dari data tersebut.

Dalam skenario tersebut, model tersebut secara efektif bertindak sebagai ‘mesin pencari neural’, karena tidak dapat menghasilkan interpretasi abstrak atau ‘kreatif’ dari output yang diinginkan, tetapi malah mengulangi variasi kecil dari data yang dilihat selama proses pelatihan.

Ini dikenal sebagai memorasi – masalah kontroversial yang timbul karena model AI yang benar-benar dapat diubah dan dapat diinterpretasikan cenderung kekurangan detail, sementara model yang sangat detail cenderung kekurangan orisinalitas dan fleksibilitas.

Kemampuan model yang terkena memorasi untuk mereproduksi data pelatihan adalah hambatan potensial, dalam kasus di mana pembuat model tidak memiliki hak untuk menggunakan data tersebut; dan di mana manfaat dari data tersebut dapat dibuktikan melalui sejumlah metode ekstraksi.

Karena memorasi, jejak data non-otorisasi dapat bertahan, berantai, melalui beberapa sistem pelatihan, seperti tanda air yang tidak diinginkan dan tidak disengaja – bahkan dalam proyek di mana praktisi pembelajaran mesin telah berhati-hati untuk memastikan bahwa data ‘aman’ digunakan.

World Models

Namun, masalah utama penggunaan memorasi adalah bahwa cenderung menghasilkan ilusi kecerdasan, atau menyiratkan bahwa model AI telah menggeneralisasi hukum atau domain dasar, di mana sebenarnya itu adalah volume besar data yang diingat yang memberikan ilusi ini (yaitu, model memiliki banyak contoh data potensial untuk dipilih sehingga sulit bagi manusia untuk menentukan apakah itu mengulangi konten yang dipelajari atau apakah memiliki pemahaman abstrak tentang konsep yang terkait dengan generasi).

Masalah ini memiliki implikasi untuk minat yang tumbuh dalam model dunia – prospek sistem AI yang sangat beragam dan mahal yang mengintegrasikan beberapa hukum yang diketahui, dan kaya akan penjelajahan.

Model dunia sangat menarik dalam ruang gambar dan video generatif. Pada 2023, RunwayML memulai inisiatif penelitian untuk mengembangkan dan menguji kelayakan model tersebut; DeepMind baru-baru ini mengangkat salah satu pengarang model video generatif Sora yang terkenal untuk bekerja pada model semacam itu; dan perusahaan rintisan seperti Higgsfield berinvestasi secara signifikan dalam model dunia untuk sintesis gambar dan video.

Hard Combinations

Salah satu janji perkembangan baru dalam sistem AI video generatif adalah kemampuan mereka untuk mempelajari hukum fisik dasar, seperti gerak, kinematika manusia (seperti karakteristik gait), dinamika fluida, dan fenomena fisik lain yang secara visual akrab bagi manusia.

Jika AI generatif dapat mencapai tonggak ini, maka dapat menghasilkan efek visual yang sangat realistis yang menggambarkan ledakan, banjir, dan peristiwa tabrakan yang masuk akal di berbagai jenis objek.

Jika, di sisi lain, sistem AI hanya dilatih pada ribuan (atau ratusan ribu) video yang menggambarkan peristiwa tersebut, maka dapat mereproduksi data pelatihan dengan cukup meyakinkan ketika dilatih pada titik data yang serupa dengan kueri target pengguna; namun gagal jika kueri menggabungkan terlalu banyak konsep yang tidak ada dalam data.

Lebih lanjut, keterbatasan ini tidak akan segera tampak, sampai sistem dipaksa dengan kombinasi yang menantang.

Ini berarti bahwa sistem AI generatif baru mungkin dapat menghasilkan konten video viral yang, meskipun mengesankan, dapat menciptakan kesan palsu tentang kemampuan dan kedalaman pemahaman sistem, karena tugas yang diwakilinya tidak benar-benar menantang bagi sistem.

Sebagai contoh, peristiwa yang relatif umum dan tersebar luas, seperti ‘sebuah bangunan dibongkar’, mungkin ada di banyak video dalam dataset yang digunakan untuk melatih model yang seharusnya memiliki beberapa pemahaman tentang fisika. Oleh karena itu, model tersebut dapat memgeneralisasi konsep ini dengan baik, dan bahkan menghasilkan output yang benar-benar baru dalam parameter yang dipelajari dari video yang melimpah.

Ini adalah contoh dalam-distribusi, di mana dataset berisi banyak contoh berguna bagi sistem AI untuk dipelajari.

Namun, jika seseorang meminta contoh yang lebih aneh atau tidak biasa, seperti ‘Menara Eiffel diledakkan oleh penyerang alien’, maka model tersebut harus menggabungkan domain yang beragam seperti ‘sifat metalurgi’, ‘karakteristik ledakan’, ‘gravitasi’, ‘perlawanan angin’ – dan ‘pesawat luar angkasa alien’.

Ini adalah contoh di luar-distribusi (OOD), yang menggabungkan konsep yang sangat berbeda sehingga sistem kemungkinan besar akan gagal menghasilkan contoh yang meyakinkan, atau akan kembali ke contoh semantik terdekat yang pernah dilatih – bahkan jika contoh tersebut tidak sesuai dengan prompt pengguna.

Kecuali bahwa dataset sumber model tersebut berisi efek visual CGI gaya Hollywood yang menggambarkan peristiwa yang sama atau serupa, maka penggambaran seperti itu akan memerlukan model untuk mencapai pemahaman yang baik dan luwes tentang hukum fisik.

Physical Restraints

Makalah baru – kolaborasi antara Bytedance, Universitas Tsinghua, dan Technion – menunjukkan bahwa model seperti Sora tidak hanya tidak benar-benar menginternalisasi hukum fisik deterministik dengan cara ini, tetapi bahwa meningkatkan skala data (pendekatan umum selama 18 bulan terakhir) tampaknya, dalam sebagian besar kasus, tidak menghasilkan perbaikan nyata dalam hal ini.

Makalah tersebut mengeksplorasi tidak hanya keterbatasan ekstrapolasi hukum fisik spesifik – seperti perilaku objek dalam gerak ketika mereka bertabrakan, atau ketika jalur mereka terhalang – tetapi juga kemampuan model untuk generalisasi kombinatorial – contoh di mana representasi dua prinsip fisik yang berbeda digabungkan menjadi satu output generatif.

Rangkuman video dari makalah baru. Sumber: https://x.com/bingyikang/status/1853635009611219019

Tiga hukum fisik yang dipilih untuk dipelajari oleh peneliti adalah gerak parabolik; gerak lurus seragam; dan tumbukan elastik sempurna.

Seperti yang dapat dilihat pada video di atas, temuan menunjukkan bahwa model seperti Sora tidak benar-benar menginternalisasi hukum fisik, tetapi cenderung mereproduksi data pelatihan.

Lebih lanjut, penulis menemukan bahwa aspek seperti warna dan bentuk menjadi sangat terkait pada saat inferensi sehingga bola yang dihasilkan kemungkinan besar akan berubah menjadi persegi, karena gerak serupa dalam contoh dataset menampilkan persegi dan bukan bola (lihat contoh dalam video yang disematkan di atas).

Makalah tersebut menyimpulkan:

‘Studi kami menunjukkan bahwa penskalaan saja tidak cukup untuk model video generatif untuk menemukan hukum fisik dasar, meskipun perannya dalam kesuksesan Sora yang lebih luas…

‘…[Temuan] menunjukkan bahwa penskalaan saja tidak dapat menyelesaikan masalah OOD, meskipun meningkatkan kinerja dalam skenario lain.

‘Analisis kami yang mendalam menunjukkan bahwa generalisasi model video lebih bergantung pada merujuk contoh pelatihan yang serupa daripada belajar aturan universal. Kami mengamati urutan prioritas warna > ukuran > kecepatan > bentuk dalam perilaku “berdasarkan kasus” ini.

‘Studi kami menunjukkan bahwa penskalaan yang naif tidak cukup untuk model video generatif untuk menemukan hukum fisik dasar.’

Ditanya apakah tim peneliti telah menemukan solusi untuk masalah ini, salah satu penulis makalah menyatakan:

‘Sayangnya, kami belum. Sebenarnya, ini mungkin misi dari seluruh komunitas AI.’

Method and Data

Peneliti menggunakan Variational Autoencoder (VAE) dan DiT arsitektur untuk menghasilkan sampel video. Dalam pengaturan ini, representasi laten yang dikompresi yang dihasilkan oleh VAE bekerja bersama dengan pemodelan proses denoising DiT.

Video dilatih lebih dari Stable Diffusion V1.5-VAE. Skema tersebut dibiarkan secara fundamental tidak berubah, dengan hanya peningkatan arsitektur akhir:

‘[Kami mempertahankan] sebagian besar konvolusi 2D asli, normalisasi grup, dan mekanisme perhatian pada dimensi spasial.

‘Untuk mengembangkan struktur ini menjadi auto-encoder spasial-waktu, kami mengubah beberapa blok downsample 2D terakhir dari encoder dan beberapa blok upsample 2D awal dari decoder menjadi 3D, dan menggunakan beberapa lapisan 1D tambahan untuk meningkatkan pemodelan temporal.’

Untuk memungkinkan pemodelan video, VAE yang dimodifikasi dilatih bersama dengan data gambar HQ dan video, dengan komponen Jaringan Adversarial Generatif (GAN) asli arsitektur SD1.5 diperluas untuk 3D.

Dataset gambar yang digunakan adalah sumber asli Stable Diffusion, LAION-Aesthetics, dengan filtering, serta DataComp. Untuk data video, subset dipilih dari Vimeo-90K, Panda-70m dan HDVG dataset.

Data dilatih selama satu juta langkah, dengan random resized crop dan random horizontal flip diterapkan sebagai proses data augmentation.

Flipping Out

Seperti yang disebutkan di atas, proses data augmentation flip horizontal acak dapat menjadi kerugian dalam melatih sistem yang dirancang untuk menghasilkan gerak yang autentik. Ini karena output dari model yang dilatih mungkin mempertimbangkan kedua arah objek, dan menyebabkan pembalikan acak saat mencoba menegosiasikan data yang kontradiktif (lihat video yang disematkan di atas).

Di sisi lain, jika seseorang mematikan flip horizontal, maka model tersebut lebih mungkin menghasilkan output yang hanya mengikuti satu arah yang dipelajari dari data pelatihan.

Jadi tidak ada solusi yang mudah untuk masalah ini, kecuali bahwa sistem benar-benar mengasimilasi semua kemungkinan gerak dari versi asli dan flip – kemampuan yang anak-anak kembangkan dengan mudah, tetapi yang lebih menantang, tampaknya, untuk model AI.

Tests

Untuk rangkaian eksperimen pertama, peneliti merancang simulator 2D untuk menghasilkan video gerak objek dan tabrakan yang sesuai dengan hukum mekanika klasik, yang memberikan dataset yang terkendali dan banyak yang menghilangkan ketidakjelasan video dunia nyata, untuk evaluasi model. Mesin game fisika Box2D digunakan untuk membuat video tersebut.

Tiga skenario dasar yang disebutkan di atas adalah fokus dari tes: gerak lurus seragam, tabrakan elastik sempurna, dan gerak parabolik.

Dataset dengan ukuran yang meningkat (mulai dari 30.000 hingga tiga juta video) digunakan untuk melatih model dengan ukuran dan kompleksitas yang berbeda (DiT-S hingga DiT-L), dengan tiga bingkai pertama dari setiap video digunakan untuk kondisi.

Detail dari model yang berbeda yang dilatih dalam rangkaian eksperimen pertama. Sumber: https://arxiv.org/pdf/2411.02385

Peneliti menemukan bahwa hasil dalam-distribusi (ID) menskala dengan baik dengan meningkatnya jumlah data, sementara generasi OOD tidak membaik, menunjukkan kekurangan dalam generalisasi.

Hasil untuk putaran pertama tes.

Penulis mencatat:

‘Temuan ini menunjukkan ketidakmampuan penskalaan untuk melakukan penalaran dalam skenario OOD.’

Selanjutnya, peneliti menguji dan melatih sistem yang dirancang untuk menunjukkan kemampuan generalisasi kombinatorial, di mana dua gerakan yang berbeda digabungkan untuk (mungkin) menghasilkan gerak yang kohesif yang setia pada hukum fisik di balik setiap gerakan yang terpisah.

Untuk fase tes ini, penulis menggunakan simulator PHYRE, membuat lingkungan 2D yang menggambarkan banyak objek berbentuk berbeda dalam jatuh bebas, bertabrakan satu sama lain dalam berbagai interaksi kompleks.

Metri evaluasi untuk tes kedua ini adalah Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); dan studi manusia (ditandai sebagai ‘abnormal’ dalam hasil).

Tiga skala dataset pelatihan dibuat, pada 100.000 video, 0,6 juta video, dan 3-6 juta video. Model DiT-B dan DiT-XL digunakan, karena kompleksitas video yang meningkat, dengan bingkai pertama digunakan untuk kondisi.

Model dilatih selama satu juta langkah pada resolusi 256×256, dengan 32 bingkai per video.

Hasil untuk putaran kedua tes.

Hasil tes ini menunjukkan bahwa hanya meningkatkan volume data adalah pendekatan yang tidak memadai:

Makalah tersebut menyatakan:

‘Hasil ini menunjukkan bahwa baik kapasitas model dan cakupan ruang kombinasi sangat penting untuk generalisasi kombinatorial. Wawasan ini menyiratkan bahwa hukum penskalaan untuk generasi video harus fokus pada meningkatkan keragaman kombinasi, bukan hanya meningkatkan volume data.’

Akhirnya, peneliti melakukan tes lebih lanjut untuk mencoba menentukan apakah model video generatif dapat benar-benar mengasimilasi hukum fisik, atau apakah hanya mengingat dan mereproduksi data pelatihan pada saat inferensi.

Di sini mereka mengeksplorasi konsep ‘generalisasi berdasarkan kasus’, di mana model cenderung meniru contoh pelatihan yang spesifik saat menghadapi situasi baru, serta mengeksplorasi contoh gerak seragam – khususnya, bagaimana arah gerak dalam data pelatihan mempengaruhi prediksi model yang dilatih.

Dua set data pelatihan, untuk gerak seragam dan tabrakan, dibuat, masing-masing terdiri dari video gerak seragam yang menggambarkan kecepatan antara 2,5 hingga 4 unit, dengan tiga bingkai pertama digunakan sebagai kondisi. Nilai laten seperti kecepatan dihilangkan, dan, setelah pelatihan, pengujian dilakukan pada skenario yang terlihat dan tidak terlihat.

Di bawah ini kita lihat hasil untuk tes generasi gerak seragam:

Hasil untuk tes generasi gerak seragam, di mana variabel ‘kecepatan’ dihilangkan selama pelatihan.

Penulis menyatakan:

‘[Dengan] celah besar dalam set pelatihan, model cenderung menghasilkan video di mana kecepatan adalah tinggi atau rendah untuk menyerupai data pelatihan ketika bingkai awal menunjukkan kecepatan kisaran tengah.’

Untuk tes tabrakan, banyak variabel yang terlibat, dan model harus mempelajari fungsi non-linier dua dimensi.

Tabrakan: hasil untuk putaran ketiga dan terakhir tes.

Penulis mengamati bahwa kehadiran ‘contoh menipu’, seperti gerak terbalik (yaitu bola yang memantul dari permukaan dan membalik arah), dapat menyesatkan model dan menyebabkan menghasilkan prediksi yang tidak secara fisik benar.

Conclusion

Jika algoritma non-AI (yaitu, metode ‘baked’, prosedural) mengandung aturan matematika untuk perilaku fenomena fisik seperti fluida, atau objek di bawah gravitasi, atau di bawah tekanan, ada sekumpulan konstanta yang tidak berubah yang tersedia untuk rendering yang akurat.

Namun, temuan makalah baru menunjukkan bahwa tidak ada hubungan setara atau pemahaman intrinsik tentang hukum fisik klasik yang dikembangkan selama pelatihan model generatif, dan bahwa meningkatkan jumlah data tidak menyelesaikan masalah, tetapi malah mengaburkannya – karena jumlah video pelatihan yang lebih besar tersedia untuk sistem untuk meniru pada saat inferensi.

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada hari Selasa, 26 November 2024