Penelitian Google Mengidentifikasi Bottleneck pada Pendekatan Hyperscale untuk Kecerdasan Buatan

Sebuah makalah baru dari Google Research menunjukkan bahwa tren saat ini dalam kurasi dataset dengan volume sangat tinggi mungkin kontraproduktif untuk mengembangkan sistem kecerdasan buatan yang efektif. Faktanya, penelitian ini menunjukkan bahwa produk mesin pembelajaran yang lebih baik mungkin muncul dari pelatihan pada dataset yang kurang akurat (yaitu secara teknis ‘lebih buruk’).

Jika prinsip-prinsip yang diperoleh oleh peneliti valid, maka berarti ‘dataset hyperscale’ seperti yang baru-baru ini dirilis LAION-400M (yang berisi 400 juta pasangan teks/gambar), dan data di balik mesin bahasa neural GPT-3 (yang berisi 175 miliar parameter), berpotensi tunduk pada jenis ‘batas termal’ dalam arsitektur dan metode pembelajaran mesin tradisional dan populer, di mana volume data yang sangat besar ‘menjenuhkan’ aplikasi hilir dan mencegahnya umum dalam cara yang berguna.

Peneliti juga mengusulkan metode alternatif untuk memikirkan kembali arsitektur dataset hyperscale, untuk mengatasi ketidakseimbangan.

Makalah tersebut menyatakan:

‘Dengan memahami lebih dalam alasan yang menyebabkan fenomena ini, kami menunjukkan bahwa perilaku jenuh yang kami amati erat terkait dengan cara representasi berkembang melalui lapisan model. Kami menampilkan skenario yang lebih ekstrem di mana kinerja pada hulu dan hilir saling bertentangan. Artinya, untuk memiliki kinerja hilir yang lebih baik, kita perlu merugikan akurasi hulu.’

Studi ini berjudul Menggali Batas-Batas Pelatihan Skala Besar, dan berasal dari empat penulis di Google Research.

Menginvestigasi ‘Jenuh’

Penulis menantang asumsi yang berlaku tentang hubungan data mesin pembelajaran dalam era data hyperscale: bahwa penskalaan model dan ukuran data secara signifikan meningkatkan kinerja (keyakinan yang telah ditanamkan dalam hype sekitar GPT-3 sejak peluncurannya); dan bahwa kinerja yang ditingkatkan ini ‘diteruskan’ ke tugas hilir dalam cara yang linier (yaitu diinginkan), sehingga algoritma pada perangkat yang akhirnya diluncurkan ke pasar, yang berasal dari dataset yang sangat besar dan model yang dilatih, sepenuhnya mendapat manfaat dari wawasan arsitektur hulu yang lebih besar.

‘Pandangan ini,’ peneliti mencatat ‘menunjukkan bahwa menghabiskan komputasi dan upaya penelitian untuk meningkatkan kinerja pada satu corpus besar akan membayar karena itu akan memungkinkan kita untuk menyelesaikan banyak tugas hilir hampir secara gratis.’

Tapi makalah tersebut membantah bahwa kurangnya sumber daya komputasi dan metode evaluasi model yang ‘ekonomis’ adalah penyebab kesalahpahaman tentang dinamika hubungan antara volume data dan sistem kecerdasan buatan yang berguna. Penulis mengidentifikasi kebiasaan ini sebagai ‘kelemahan besar’, karena komunitas penelitian biasanya menganggap bahwa hasil lokal (positif) akan diterjemahkan ke dalam implementasi yang berguna kemudian:

‘[Karena] keterbatasan komputasi, kinerja untuk berbagai pilihan nilai hiper-parameter tidak dilaporkan. Plot penskalaan tampak lebih menguntungkan jika hiper-parameter yang dipilih untuk setiap skala tetap atau ditentukan oleh fungsi penskalaan sederhana.’

Peneliti lebih lanjut menyatakan bahwa banyak studi penskalaan diukur bukan melawan skala absolut, tetapi sebagai perbaikan inkremental terhadap keadaan seni (SotA), dengan mengamati bahwa ‘tidak ada alasan, a priori, untuk penskalaan yang berlaku di luar rentang yang dipelajari’.

Pelatihan Sebelumnya

Makalah tersebut membahas praktik ‘pelatihan sebelumnya’, yang dirancang untuk menghemat sumber daya komputasi dan memotong waktu yang dibutuhkan untuk melatih model pada data skala besar dari nol. Snapshots pelatihan sebelumnya menangani ‘ABC’ dari cara data dalam satu domain akan menjadi umum selama pelatihan, dan umum digunakan dalam berbagai sektor dan spesialisasi pembelajaran mesin, dari Pemrosesan Bahasa Alami (NLP) hingga deepfakes.

Penelitian akademis sebelumnya telah menemukan bahwa pelatihan sebelumnya dapat secara signifikan meningkatkan ketahanan dan akurasi model, tetapi makalah baru ini menunjukkan bahwa kompleksitas fitur, bahkan dalam template pelatihan sebelumnya yang relatif singkat, mungkin lebih bermanfaat jika dipindahkan ke proses selanjutnya dalam pipa.

Namun, ini tidak dapat terjadi jika peneliti terus mengandalkan model pra-dilatih yang menggunakan praktik terbaik saat ini dalam penerapan tarif pembelajaran, yang, menurut penelitian, dapat secara signifikan memengaruhi akurasi akhir aplikasi pekerjaan. Dalam hal ini, penulis mencatat bahwa ‘tidak mungkin menemukan satu titik pra-dilatih yang berkinerja baik pada semua tugas hilir yang mungkin’.

Studi

Untuk menetapkan efek jenuh, penulis melakukan 4800 eksperimen pada Vision Transformers, ResNets, dan MLP-Mixers, masing-masing dengan jumlah parameter yang bervariasi, dari 10 juta hingga 10 miliar, semua dilatih pada dataset dengan volume tertinggi yang tersedia di sektor yang bersangkutan, termasuk ImageNet21K dan JFT-300M milik Google.

Hasilnya, menurut makalah, menunjukkan bahwa keberagaman data harus dipertimbangkan sebagai sumbu tambahan ketika mencoba ‘menskala’ data, parameter model, dan waktu komputasi. Seperti yang ada sekarang, konsentrasi sumber daya pelatihan (dan perhatian peneliti) pada bagian hulu pipa kecerdasan buatan secara efektif membombardir aplikasi hilir dengan avalanche parameter hingga titik ‘jenuh’, menurunkan kemampuan algoritma yang diterapkan untuk menavigasi fitur dan melakukan inferensi atau transformasi.

Makalah tersebut menyimpulkan:

‘Melalui studi ekstensif, kami menetapkan bahwa ketika kami meningkatkan kinerja tugas hulu dengan menskala atau memilih hiper-parameter dan arsitektur, kinerja tugas hilir menunjukkan perilaku jenuh. Selain itu, kami menyediakan bukti empiris kuat bahwa, bertentangan dengan narasi umum, penskalaan tidak mengarah pada solusi satu-model-untuk-semua.’