Araştırmacılar GPU’ye Alternatif Oluşturdu

Rice Üniversitesi’nden bilgisayar bilimcileri, Intel’ (INTC ) dan işbirlikçilerle birlikte daha maliyet hiệu alternatif bir GPU geliştirdiler. Yeni algoritma “sub-linear deep learning engine” (SLIDE) olarak adlandırılmaktadır ve özel hızlandırma donanımı olmadan genel amaçlı merkezi işlem birimleri (CPU’lar) kullanır.

Sonuçlar, makine öğrenimi sistemleri konferansı MLSys’in düzenlendiği Austin Kongre Merkezi’nde sunuldu.

Yapay zeka (AI) içinde en büyük zorluklardan biri, grafik işlem birimleri (GPU’lar) gibi özel hızlandırma donanımıdır. Yeni gelişmelerden önce, derin öğrenme teknolojisini hızlandırmak için bu özel hızlandırma donanımının kullanılması gerektiği düşünülüyordu.

Çok sayıda şirket, derin öğrenme için GPU’lar ve özel donanıma yatırım yapmıştır. Bu teknoloji, dijital asistanlar, yüz tanıma ve ürün öneri sistemleri gibi teknolojilerden sorumludur. Nvidia (NVDA ) gibi şirketler, Tesla (TSLA ) V100 Tensor Core GPU’lar üretmektedir. Nvidia, geçen yılın aynı dönemine kıyasla dördüncü çeyrekte gelirlerinde %41’lik bir artış bildirdi.

SLIDE’nin geliştirilmesi, tamamen yeni olanaklar sunmaktadır.

Anshumali Shrivastava, Rice’ın Brown Mühendislik Okulu’nda yardımcı profesör ve SLIDE’yi geliştiren kişilerden biridir. Araştırma ekibinde lisansüstü öğrencileri Beidi Chen ve Tharun Medini de yer almıştır.

“Testlerimiz, SLIDE’nin endüstri ölçekli öneri veri setleri ve büyük, tam olarak bağlı mimarilerde GPU hızlandırma donanımını geride bırakabilen ilk akıllı algoritmik derin öğrenme uygulaması olduğunu gösteriyor” dedi Shrivastava.

SLIDE, tamamen farklı bir yaklaşım sayesinde GPU’ların zorluğunu aşmaktadır. Şu anda, derin sinir ağları için standart eğitim tekniği “geri yayılım”dır ve matris çarpımı gerektirir. Bu iş yükü, GPU’ların kullanılmasını gerektirir, bu nedenle araştırmacılar, sinir ağı eğitimini değiştirdiler ve hash tabloları ile çözülebilecek şekilde düzenlediler.

Bu yeni yaklaşım, SLIDE için hesaplamalı yükü büyük ölçüde azaltmaktadır. Şirketler gibi Amazon (AMZN ) ve Google’un kullandığı当前 en iyi GPU platformu, sekiz Tesla V100’den oluşmaktadır ve fiyat etiketi yaklaşık 100.000 dolar civarındadır.

“Laboratuvarımızda bir tane var ve test durumunda, V100 için mükemmel bir iş yükü aldık, yani büyük, tam olarak bağlı ağlarda 100 milyondan fazla parametre bulunan bir iş yükü” dedi Shrivastava. “Google’ın TensorFlow adlı en iyi yazılım paketi ile eğittik ve eğitim 3,5 saat sürdü.”

“Sonra, yeni algoritmamızın bu eğitimi 1 saatte, GPU değil, 44 çekirdekli Xeon sınıfı bir CPU ile yapabileceğini gösterdik” diye devam etti.

Hashing, 1990’larda internet araması için geliştirilen bir veri dizinleme yöntemidir. Büyük miktarda bilgi, bir dizi rakam olarak kodlanabilir ve bu, bir “hash” olarak adlandırılır. Hash’ler, hızlı bir şekilde aranabilecek tablolar oluşturmak için listelenir.

“Algoritmamızı TensorFlow veya PyTorch üzerinde uygulamak anlamsız olurdu, çünkü ilk olarak yaptığınız her şeyi matris çarpımı problemine dönüştürmek isterler” dedi Chen. “Tam da bundan kaçınmaya çalışıyorduk. Bu nedenle, sıfırdan kendi C++ kodumuzu yazdık.”

Shrivastava’ya göre, SLIDE’nin en büyük avantajı, veri paralel olmasıdır.

“Veri paralelinden kastım, iki veri örneğim varsa, örneğin biri bir kedinin resmi, diğeri bir otobüsün resmi olsun, bunlar muhtemelen farklı nöronları etkinleştirecek ve SLIDE, bu iki örnek üzerinde bağımsız olarak eğitim yapabilir” dedi. “Bu, CPU’lar için çok daha iyi bir paralellik kullanımıdır.”

“GPU’ya kıyasla diğer taraf, büyük miktarda belleğe ihtiyacımız olmasıdır” dedi. “Ana bellekte bir önbellek hiyerarşisi vardır ve dikkatli olmazsanız, önbellek çatışması olarak bilinen bir problema rastlayabilirsiniz, bu da çok sayıda önbellek kaçırmasına neden olur.”

SLIDE, derin öğrenmenin uygulanması için yeni yollar açmıştır ve Shrivastava, bunun sadece başlangıç olduğunu düşünmektedir.

“Yalnızca yüzeyini kazıdık” dedi. “Hala optimize edebileceğimiz çok şey var. Örneğin, vektörleştirme veya CPU’daki Intel Deep Learning Boost gibi yerleşik hızlandırıcıları kullanmadık. Hızlandırmasını daha da artırmak için kullanabileceğimiz birçok başka numaralar var.”