Panalungtik Jieun Alternatif pikeun GPU

Élmuwan komputer ti Rice University, sareng kolaborator ti Intel, parantos ngembangkeun alternatif anu langkung éfisién pikeun GPU. Algoritma anyar disebut "sub-linear deep learning engine" (SLIDE), sarta ngagunakeun unit processing sentral-tujuan umum (CPU) tanpa hardware akselerasi husus. 

Hasilna diwakilan di Austin Convention Center, anu ngayakeun konferensi sistem pembelajaran mesin MLSys. 

Salah sahiji tantangan pangbadagna dina intelijen buatan (AI) ngurilingan hardware akselerasi khusus sapertos unit pangolahan grafik (GPU). Sateuacan pamekaran énggal, éta dipercaya yén pikeun nyepetkeun téknologi diajar jero, panggunaan hardware akselerasi khusus ieu diperyogikeun. 

Seueur perusahaan anu penting pisan pikeun investasi dina GPU sareng hardware khusus pikeun diajar jero, anu tanggung jawab pikeun téknologi sapertos asisten digital, pangenal raray, sareng sistem rekomendasi produk. Salah sahiji perusahaan sapertos Nvidia, anu nyiptakeun Tesla V100 Tensor Core GPUs. Nvidia nembe ngalaporkeun paningkatan 41% dina pendapatan saparapat kaopat dibandingkeun taun ka tukang. 

Pangembangan SLIDE muka kamungkinan anu énggal.

Anshumali Shrivastava mangrupikeun asistén dosen di Rice's Brown School of Engineering sareng ngabantosan nyiptakeun SLIDE sareng mahasiswa pascasarjana Beidi Chen sareng Tharun Medini. 

"Tés kami nunjukkeun yén SLIDE mangrupikeun palaksanaan algoritma pinter anu munggaran pikeun diajar jero dina CPU anu tiasa ngalangkungan akselerasi hardware GPU dina set data rekomendasi skala industri sareng arsitéktur anu nyambung pinuh," saur Shrivastava.

SLIDE ngalangkungan tangtangan GPU kusabab pendekatan anu béda-béda pikeun diajar jero. Ayeuna, téknik latihan standar pikeun jaringan saraf jero nyaéta "rambatan balik," sareng peryogi multiplikasi matriks. Beban kerja ieu ngabutuhkeun panggunaan GPU, ku kituna panaliti ngarobih pelatihan jaringan saraf supados tiasa direngsekeun ku tabel hash. 

pendekatan anyar ieu greatly ngurangan overhead komputasi pikeun SLIDE. Platform GPU pangsaéna ayeuna anu dianggo ku perusahaan sapertos Amazon sareng Google pikeun diajar jero dumasar-awan ngagaduhan dalapan Tesla V100s, sareng hargana sakitar $ 100,000. 

"Kami ngagaduhan hiji di lab, sareng dina hal uji kami nyandak beban kerja anu sampurna pikeun V100, anu ngagaduhan langkung ti 100 juta parameter dina jaringan anu ageung sareng lengkep anu pas dina mémori GPU," saur Shrivastava. "Kami ngalatih éta nganggo pakét (software) pangsaéna, TensorFlow Google, sareng ngalatih 3 1/2 jam.

"Kami teras nunjukkeun yén algoritma anyar kami tiasa ngalaksanakeun latihan dina sajam, sanés dina GPU tapi dina CPU kelas Xeon 44-inti," saur anjeunna.

Hashing mangrupikeun jinis metode indéks data anu diciptakeun dina taun 1990-an pikeun milarian internét. Métode numerik dipaké pikeun encode jumlah badag informasi salaku string of digit, nu disebut Hash a. Hashes dibéréndélkeun pikeun nyieun tabel nu bisa searched gancang. 

"Éta moal aya gunana pikeun nerapkeun algoritma kami dina TensorFlow atanapi PyTorch sabab hal kahiji anu aranjeunna hoyong laksanakeun nyaéta ngarobih naon waé anu anjeun lakukeun kana masalah multiplikasi matriks," saur Chen. "Éta persis anu urang hoyong ngajauhan. Janten urang nyerat kode C ++ urang sorangan ti mimiti.

Numutkeun Shrivastava, kaunggulan pangbadagna SLIDE téh nya éta data paralel. 

"Ku data paralel hartosna upami kuring ngagaduhan dua data anu kuring hoyong ngalatih, hayu urang sebutkeun hiji gambar ucing sareng anu sanésna beus, aranjeunna kamungkinan bakal ngaktifkeun neuron anu béda, sareng SLIDE tiasa ngamutahirkeun, atanapi ngalatih. dina dua ieu sacara mandiri, ”saurna. "Ieu mangrupikeun panggunaan paralelisme anu langkung saé pikeun CPU."

"Flipside The, dibandingkeun GPU, nyaeta urang merlukeun memori badag,"Cenah. "Aya hierarki cache dina mémori utama, sareng upami anjeun henteu ati-ati, anjeun tiasa ngalaman masalah anu disebut cache thrashing, dimana anjeun seueur cache miss."

SLIDE parantos muka panto pikeun cara-cara énggal pikeun ngalaksanakeun pangajaran anu jero, sareng Shrivastava yakin éta ngan ukur awal.

"Kami nembé ngagores permukaan," saurna. "Aya seueur anu masih tiasa urang laksanakeun pikeun ngaoptimalkeun. Kami henteu nganggo vektorisasi, contona, atanapi akselerator anu diwangun dina CPU, sapertos Intel Deep Learning Boost. Aya seueur trik sanés anu masih tiasa dianggo pikeun ngajantenkeun ieu langkung gancang.