Araştırmacılar GPU’ye Alternatif Oluşturdu

Rice Üniversitesi’nden bilgisayar bilimcileri, Intel’den işbirlikçilerle birlikte, daha maliyet etkin bir GPU alternatifi geliştirdiler. Yeni algoritma “alt-lineer derin öğrenme motoru” (SLIDE) olarak adlandırılmaktadır ve özel hızlandırma donanımı olmadan genel amaçlı merkezi işlem birimleri (CPU’lar) kullanır.

Sonuçlar, makine öğrenimi sistemleri konferansı MLSys’in düzenlendiği Austin Kongre Merkezi’nde sunuldu.

Yapay zeka (AI) içinde en büyük zorluklardan biri, grafik işlem birimleri (GPU’lar) gibi özel hızlandırma donanımıdır. Yeni gelişmelerden önce, derin öğrenme teknolojisini hızlandırmak için bu özel hızlandırma donanımının gerekli olduğu düşünülüyordu.

Çok sayıda şirket, dijital asistanlar, yüz tanıma ve ürün öneri sistemleri gibi teknolojilerden sorumlu olan derin öğrenme için GPU’lar ve özel donanım yatırımlarına büyük önem vermiştir. Bu şirketlerden biri olan Nvidia, Tesla V100 Tensor Core GPU’ları üretmektedir. Nvidia, geçen yılın aynı dönemine kıyasla dördüncü çeyrekte gelirlerinde %41’lik bir artış bildirdi.

SLIDE’nin geliştirilmesi, tamamen yeni olanaklar sunmaktadır.

Anshumali Shrivastava, Rice’ın Brown Mühendislik Okulu’nda yardımcı profesör olup, lisansüstü öğrencileri Beidi Chen ve Tharun Medini ile birlikte SLIDE’yi icat etti.

“Testlerimiz, SLIDE’in, büyük, tam olarak bağlı mimarilere sahip endüstri ölçekli öneri veri kümelerinde GPU donanım hızlandırmasını geçen ilk akıllı algoritmik CPU tabanlı derin öğrenme uygulaması olduğunu gösteriyor” dedi Shrivastava.

SLIDE, tamamen farklı bir yaklaşım sayesinde GPU’ların zorluğunu aşmaktadır. Şu anda, derin sinir ağları için standart eğitim tekniği “geri yayılım” olup, matris çarpımı gerektirir. Bu iş yükü, GPU’ların kullanılmasını gerektirir, bu nedenle araştırmacılar, sinir ağı eğitimini, hash tablolarıyla çözülebilecek şekilde değiştirdiler.

Bu yeni yaklaşım, SLIDE için hesaplamalı yükü büyük ölçüde azaltmaktadır. Şirketler gibi Amazon ve Google’un bulut tabanlı derin öğrenme için kullandığı mevcut en iyi GPU platformu, sekiz Tesla V100’den oluşmakta ve fiyat etiketi yaklaşık 100.000 dolar civarındadır.

“Laboratuvarımızda bir tanesi var ve test durumunda, V100 için mükemmel olan, büyük, tam olarak bağlı ağlarda 100 milyondan fazla parametreye sahip bir iş yükünü aldık” dedi Shrivastava. “Google’un TensorFlow adlı en iyi (yazılım) paketi ile eğittik ve eğitim 3,5 saat sürdü.”

“Ardından, yeni algoritmamızın bu eğitimi 1 saatte, GPU değil, 44 çekirdekli bir Xeon sınıfı CPU’da yapabileceğini gösterdik” diye devam etti.

Hashing, internet araması için 1990’larda icat edilmiş bir tür veri dizinleme yöntemidir. Büyük miktarda bilgi, bir dizi rakam olarak kodlanmak üzere numerik yöntemler kullanılır ve bu, bir “hash” olarak adlandırılır. Hash’ler, hızlı bir şekilde aranabilen tablolar oluşturmak için listelenir.

“Algoritmamızı TensorFlow veya PyTorch üzerinde uygulamak hiçbir anlam ifade etmezdi, çünkü yaptığınız her şeyi matris çarpımı problemine dönüştürmek isterler” dedi Chen. “Tam da bundan kaçınmaya çalışıyorduk. Bu nedenle, kendi C++ kodumuzu sıfırdan yazdık.”

Shrivastava’ya göre, SLIDE’in en büyük avantajı, veri paralel olmasıdır.

“Veri paralelinden kastım, iki veri örneğimizin olduğunu varsayalım, biri bir kedi resmi, diğeri bir otobüs resmi olsun, bunlar muhtemelen farklı nöronları etkinleştirecek ve SLIDE, bu ikisini bağımsız olarak güncelleyebilir veya eğitebilir” dedi. “Bu, CPU’lar için çok daha iyi bir paralellik kullanımıdır.”

“Öte yandan, GPU’ya kıyasla, büyük bir hafızaya ihtiyacımız var” dedi. “Ana bellekte bir önbellek hiyerarşisi vardır ve dikkatli olmazsanız, önbellek çakışması olarak adlandırılan ve çok fazla önbellek kaçırma ile karşılaşırsınız.”

SLIDE, derin öğrenmenin uygulanması için yeni yolların kapılarını aralamıştır ve Shrivastava, bunun sadece başlangıç olduğunu düşünmektedir.

“Yalnızca yüzeyini kazıdık” dedi. “Hala optimize edilebilecek çok şey var. Vektörleştirme veya CPU’daki yerleşik hızlandırıcılar gibi Intel Deep Learning Boost’u kullanmadık. Bunu daha da hızlı hale getirmek için kullanabileceğimiz birçok başka hile var.”