Peneliti Membuat Alternatif untuk GPU

Ilmuwan komputer dari Universitas Rice, bersama dengan kolaborator dari Intel (INTC ), telah mengembangkan alternatif yang lebih efisien biaya untuk GPU. Algoritma baru ini disebut “mesin pembelajaran dalam sub-linear” (SLIDE), dan menggunakan unit pemrosesan pusat (CPU) umum tanpa perangkat keras akselerasi khusus.

Hasilnya dipresentasikan di Pusat Konvensi Austin, yang menyelenggarakan konferensi sistem pembelajaran mesin MLSys.

Salah satu tantangan terbesar dalam kecerdasan buatan (AI) adalah perangkat keras akselerasi khusus seperti unit pemrosesan grafis (GPU). Sebelum pengembangan baru, diyakini bahwa untuk mempercepat teknologi pembelajaran dalam, penggunaan perangkat keras akselerasi khusus diperlukan.

Banyak perusahaan telah menempatkan pentingnya dalam berinvestasi pada GPU dan perangkat keras khusus untuk pembelajaran dalam, yang bertanggung jawab atas teknologi seperti asisten digital, pengenalan wajah, dan sistem rekomendasi produk. Salah satu perusahaan tersebut adalah Nvidia (NVDA ), yang menciptakan GPU Tensor Core Tesla (TSLA ) V100. Nvidia baru-baru ini melaporkan peningkatan 41% dalam pendapatan kuartal keempatnya dibandingkan dengan tahun sebelumnya.

Pengembangan SLIDE membuka kemungkinan baru.

Anshumali Shrivastava adalah asisten profesor di Sekolah Teknik Brown Universitas Rice dan membantu menciptakan SLIDE dengan mahasiswa pascasarjana Beidi Chen dan Tharun Medini.

“Tes kami menunjukkan bahwa SLIDE adalah implementasi algoritma pintar pertama dari pembelajaran dalam pada CPU yang dapat mengungguli perangkat keras akselerasi GPU pada dataset rekomendasi skala industri dengan arsitektur terhubung penuh yang besar,” kata Shrivastava.

SLIDE melewati tantangan GPU karena pendekatannya yang sangat berbeda terhadap pembelajaran dalam. Saat ini, teknik pelatihan standar untuk jaringan saraf dalam adalah “propagasi balik,” dan memerlukan perkalian matriks. Beban kerja ini memerlukan penggunaan GPU, sehingga peneliti mengubah pelatihan jaringan saraf sehingga dapat diselesaikan dengan tabel hash.

Pendekatan baru ini sangat mengurangi beban komputasi untuk SLIDE. Platform GPU terbaik saat ini yang digunakan oleh perusahaan seperti Amazon (AMZN ) dan Google (GOOGL ) untuk pembelajaran dalam berbasis cloud memiliki delapan Tesla V100, dan harga tagihannya sekitar $100.000.

“Kami memiliki satu di laboratorium, dan dalam kasus tes kami, kami mengambil beban kerja yang ideal untuk V100, satu dengan lebih dari 100 juta parameter dalam jaringan terhubung penuh yang besar yang sesuai dengan memori GPU,” kata Shrivastava. “Kami melatihnya dengan paket perangkat lunak terbaik di luar sana, TensorFlow Google, dan membutuhkan waktu 3 1/2 jam untuk melatih.

“Kami kemudian menunjukkan bahwa algoritma baru kami dapat melakukan pelatihan dalam satu jam, tidak pada GPU tetapi pada CPU Xeon-kelas 44-inti,” lanjutnya.

Hashing adalah metode pengindeksan data yang ditemukan pada 1990-an untuk pencarian internet. Metode numerik digunakan untuk mengkodekan sejumlah besar informasi sebagai string digit, yang disebut hash. Hash diatur untuk membuat tabel yang dapat dicari dengan cepat.

“Tidak akan masuk akal untuk mengimplementasikan algoritma kami pada TensorFlow atau PyTorch karena hal pertama yang mereka lakukan adalah mengubah apa yang Anda lakukan menjadi masalah perkalian matriks,” kata Chen. “Itulah tepatnya apa yang kami ingin hindari. Jadi kami menulis kode C++ kami dari awal.”

Menurut Shrivastava, keuntungan terbesar dari SLIDE adalah bahwa itu paralel data.

“Dengan paralel data, saya maksud bahwa jika saya memiliki dua contoh data yang ingin saya latih, misalnya satu adalah gambar kucing dan yang lainnya adalah bus, mereka kemungkinan akan mengaktifkan neuron yang berbeda, dan SLIDE dapat memperbarui, atau melatih keduanya secara independen,” katanya. “Ini adalah pemanfaatan paralelisme yang jauh lebih baik untuk CPU.”

“Kelemahan, dibandingkan dengan GPU, adalah bahwa kami memerlukan memori yang besar,” katanya. “Ada hierarki cache di memori utama, dan jika Anda tidak berhati-hati dengan itu, Anda dapat mengalami masalah yang disebut cache thrashing, di mana Anda mendapatkan banyak cache miss.”

SLIDE telah membuka pintu untuk cara baru mengimplementasikan pembelajaran dalam, dan Shrivastava percaya bahwa itu hanya awal.

“Kami baru saja menyentuh permukaan,” katanya. “Masih banyak yang dapat kami lakukan untuk mengoptimalkan. Kami belum menggunakan vektorisasi, misalnya, atau akselerator bawaan di CPU, seperti Intel Deep Learning Boost. Ada banyak trik lain yang dapat kami gunakan untuk membuat ini lebih cepat.”