GPU Mungkin Lebih Baik, Bukan Cuma Lebih Cepat, dalam Melatih Jaringan Saraf Dalam

Peneliti dari Polandia dan Jepang, bekerja sama dengan Sony, telah menemukan bukti bahwa sistem pembelajaran mesin yang dilatih pada GPU daripada CPU mungkin mengandung lebih sedikit kesalahan selama proses pelatihan, dan menghasilkan hasil yang lebih baik, bertentangan dengan pemahaman umum bahwa GPU hanya melakukan operasi tersebut lebih cepat, bukan lebih baik.

Penelitian, yang berjudul Dampak Ketidakpastian GPU pada Pelatihan Jaringan Saraf Dalam Prediktif, berasal dari Fakultas Psikologi dan Ilmu Kognitif Universitas Adam Mickiewicz dan dua universitas Jepang, bersama dengan SONY Computer Science Laboratories.

Studi tersebut menunjukkan bahwa ‘ketidakpastian’ yang ditunjukkan oleh jaringan saraf dalam dalam menghadapi berbagai konfigurasi perangkat keras dan perangkat lunak lebih menguntungkan prosesor grafis yang lebih mahal (dan semakin langka) dan menemukan dalam tes bahwa jaringan saraf dalam yang dilatih secara eksklusif pada CPU menghasilkan tingkat kesalahan yang lebih tinggi selama jumlah epoch (jumlah kali sistem memproses data pelatihan selama sesi) yang sama.

Dalam contoh tambahan dari makalah ini, kita melihat (baris bawah), kualitas hasil yang serupa diperoleh dari berbagai GPU, dan (baris atas), hasil yang lebih rendah diperoleh dari berbagai CPU yang sebenarnya sangat mampu. Sumber: https://arxiv.org/pdf/2109.01451.pdf

Fenomena Aneh

Temuan awal ini tidak berlaku seragam di seluruh algoritma pembelajaran mesin yang populer, dan dalam kasus arsitektur autoencoder sederhana, fenomena ini tidak muncul.

Meskipun demikian, penelitian ini menunjukkan kemungkinan ‘kecepatan pelarian’ untuk efektivitas pelatihan dalam jaringan saraf dalam yang kompleks, di mana melakukan operasi yang sama dengan kecepatan yang lebih rendah dan waktu pelatihan yang lebih lama tidak mencapai kesetaraan kinerja yang diharapkan dari rutinitas iterasi matematis.

Peneliti tersebut menyarankan bahwa perbedaan kinerja ini mungkin khas untuk jenis jaringan saraf tertentu, dan bahwa aspek tidak menentu dari pemrosesan GPU, yang sering dianggap sebagai hambatan yang harus diatasi, mungkin tidak hanya memberikan manfaat yang signifikan, tetapi juga dapat dengan sengaja dimasukkan ke dalam sistem yang lebih baru. Makalah tersebut juga menyarankan bahwa temuan ini dapat menawarkan wawasan yang lebih dalam tentang pemrosesan komputasi yang terkait dengan otak.

Mengidentifikasi kekhasan yang meningkatkan efisiensi dan kualitas hasil dalam cara ini pada GPU memiliki potensi untuk memperoleh wawasan yang lebih dalam tentang arsitektur ‘black box’ AI, dan bahkan untuk meningkatkan kinerja CPU – meskipun saat ini, penyebab yang mendasarinya masih belum jelas.

Autoencoder Vs. PredNet

Dalam mempelajari anomali tersebut, peneliti menggunakan autoencoder dasar dan juga Jaringan Saraf Prediktif Harvard University PredNet, penelitian dari 2016 yang dirancang untuk mengeksplorasi dan mencoba mereplikasi perilaku korteks serebral manusia.

Kedua sistem adalah jaringan saraf dalam yang dirancang untuk mensintesis gambar yang sesuai melalui pembelajaran tidak terawasi (dengan data yang labelnya dihilangkan), meskipun autoencoder menangani secara linier satu gambar per batch, yang kemudian menghasilkan output sebagai gambar berikutnya dalam pipa yang berulang. Autoencoder tersebut dilatih pada database MNIST penulisan tangan.

Autoencoder dalam tes peneliti dilatih pada database MNIST, yang terdiri dari 60.000 gambar pelatihan dengan ukuran 28×28 piksel, anti-alias untuk induksi skala abu-abu, serta 10.000 gambar tes.

Sebaliknya, PredNet mengevaluasi input video yang kompleks, dan dalam kasus penelitian ini, dilatih pada dataset FPSI, yang menampilkan ekstensif video yang diambil dari kamera yang dipasang di tubuh pada hari di Disney World, Orlando, Florida (Disney adalah salah satu rekan penelitian pada makalah 2012).

Urutan gambar dari FPSI, menampilkan pandangan pertama pada hari di Disney World.

Kedua arsitektur sangat berbeda dalam hal kompleksitas. Autoencoder dirancang untuk merekonstruksi gambar daripada memprediksi nilai target. Sebaliknya, PredNet memiliki empat lapisan, masing-masing terdiri dari neuron representasi yang menggunakan memori jangka panjang konvolusional (LSTM).

Lapisan tersebut menghasilkan prediksi kontekstual yang kemudian dibandingkan dengan target untuk menghasilkan istilah kesalahan yang dipropagasikan ke seluruh jaringan. Kedua model tersebut menggunakan pembelajaran tidak terawasi.

Arsitektur sederhana dan linier dari autoencoder, dan jaringan PredNet yang lebih labirin dan rekursif.

Kedua sistem tersebut diuji pada berbagai konfigurasi perangkat keras dan perangkat lunak, termasuk CPU tanpa GPU (Intel i5-4590, i7-6800K, i5-7600K, atau AMD Ryzen-5-3600) dan CPU dengan GPU (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5-3600 + RTX-2070 super, atau i5-9400 + Titan-RTX).

Penggunaan pemrosesan interaktif htop memastikan bahwa semua pelatihan terjadi pada satu thread (pada Intel i7-6800K), empat thread (pada Intel i5-4590 dan i5-7600K), atau enam thread (pada AMD Ryzen-5-3600).

Titik Sadel

Pada autoencoder, perbedaan rata-rata di seluruh konfigurasi, dengan dan tanpa cuDNN, tidak signifikan. Untuk PredNet, hasilnya lebih mengejutkan, dengan perbedaan yang signifikan dalam evaluasi kerugian dan kualitas antara pelatihan CPU dan GPU.

Hasil rata-rata kerugian untuk pelatihan PredNet di empat CPU dan delapan GPU, dengan jaringan yang dilatih pada 5000 bingkai video dalam 250 batch, dengan kerugian rata-rata untuk 1000 bingkai terakhir (50 batch) digambarkan. cuDNN dimatikan.

Peneliti tersebut menyimpulkan bahwa ‘Meskipun mekanismenya tidak jelas, perangkat keras GPU tampaknya memiliki kemampuan untuk meningkatkan pelatihan jaringan saraf dalam.’

Hasil tersebut menunjukkan bahwa GPU mungkin lebih baik dalam menghindari titik sadel – area dalam turunan gradien yang menjelaskan dasar lereng.

Titik terendah dari lereng dalam turunan gradien adalah ‘titik sadel’, dinamai karena alasan yang jelas. Sumber: https://www.pinterest.com.au/pin/436849232581124086/

Titik sadel, meskipun merupakan hambatan, telah sebagian besar diabaikan sebagai sesuatu yang dapat dengan mudah diatasi dalam pemikiran terkini tentang optimasi gradien stokastik (SGD), tetapi makalah baru ini menunjukkan bahwa tidak hanya GPU mungkin memiliki kemampuan unik untuk menghindari titik sadel, tetapi juga bahwa pengaruh titik sadel sebaiknya direvisi.