Sürekli Cihazda Öğrenme Yaklaşır Yeni Eğitim Tekniği ile

MIT ve MIT-IBM Watson AI Lab’daki bir araştırma ekibi, menosdan 250 kilobayt Bellek kullanarak cihazda eğitim yapmayı sağlayan yeni bir teknik geliştirdi. Yeni gelişme, diğer eğitim çözümlerinin genellikle 500 megabaytın üzerinde bellek gerektirdiği ve çoğu mikrodenetleyicinin 256 kilobayt kapasitesini aştığı için etkileyici bir başarıdır.

Akıllı bir kenar cihazında bir makine öğrenimi modelini eğitmek, cihazın yeni verilere uyum sağlaması ve daha iyi tahminler yapmasını sağlar. Bununla birlikte, eğitim süreci genellikle çok fazla bellek gerektirir, bu nedenle genellikle model cihazda dağıtılmadan önce bir veri merkezindeki bilgisayarlarda gerçekleştirilir. Bu процесс, yeni teknikten daha fazla maliyetlidir ve gizlilik endişeleri yaratır.

Araştırmacılar, algoritmaları ve çerçeveyi, modeli eğitmek için gereken hesaplama miktarını azaltarak geliştirdiler, bu da süreci daha hızlı ve daha bellek verimli hale getirdi. Teknik, bir mikrodenetleyicide bir makine öğrenimi modelini sadece birkaç dakika içinde eğitmeye yardımcı olabilir.

Yeni teknik ayrıca, verilerin cihaza kalması nedeniyle gizlilik açısından da yardımcı olur, bu da hassas veriler söz konusu olduğunda önemlidir. Aynı zamanda, çerçeve, diğer yaklaşımlarla karşılaştırıldığında modelin doğruluğunu da geliştirir.

Song Han, Elektrik Mühendisliği ve Bilgisayar Bilimi (EECS) bölümünde yardımcı doçent, MIT-IBM Watson AI Lab’ın bir üyesi ve araştırma makalesinin kıdemli yazarıdır.

“Çalışmamız, IoT cihazlarının yalnızca çıkarımı gerçekleştirmesini değil, aynı zamanda sürekli olarak yeni toplanan verilere AI modellerini güncellemesini sağlar, böylece cihazda sürekli öğrenme için yolu açar” dedi Han. “Küçük kaynak kullanımı, derin öğrenmeyi daha erişilebilir hale getirir ve özellikle düşük güç kenar cihazları için daha geniş bir etki alanı olabilir.”

Araştırma makalesi, ilk yazarlar ve EECS doktora öğrencileri Ji Lin ve Ligeng Zhu, ve MIT doktora sonrası araştırmacıları Wei-Ming Chen ve Wei-Chen Wang’ı içeriyordu. Ayrıca, MIT-IBM Watson AI Lab’ın bir baş araştırma personeli olan Chuang Gan da dahil edildi.

Eğitim Sürecini Daha Verimli Hale Getirmek

Eğitim sürecini daha verimli ve daha az bellek yoğun hale getirmek için, ekip iki algoritmik çözüme başvurdu. İlk çözüm, sparse güncelleme olarak bilinen bir algoritmadır, bu algoritma her eğitim turu sırasında güncellenmesi gereken en önemli ağırlıkları belirler. Algoritma, ağırlıkları birer birer dondurur ve doğruluk belirli bir eşiğe düşene kadar durur, bu noktada durur. Kalan ağırlıklar güncellenir ve dondurulan ağırlıklara karşılık gelen aktivasyonlar bellekte depolanması gerekmez.

“Tüm modeli güncellemek çok pahalıdır, çünkü çok fazla aktivasyon vardır, bu nedenle insanlar genellikle sadece son katmanı günceller, ancak bunu yapmanın doğruluğu nasıl etkileyeceğini hayal edebilirsiniz” dedi Han. “Yöntemimiz için, önemli ağırlıkları seçerek günceller ve doğruluğun tamamen korunmasını sağlar.”

Ekibin geliştirdiği ikinci çözüm, nicelleştirilmiş eğitim ve ağırlıkları basitleştirmeyi içerir. Bir algoritma, ağırlıkları ilk olarak nicelleştirme süreciyle 8 bite yuvarlar, bu da eğitim ve çıkarım için gereken belleği keser, burada çıkarım, bir modeli bir veri kümesine uygulamak ve bir tahmin oluşturmak sürecidir. Algoritma, nicelleştirme-aşınmaya karşı ölçeklendirme (QAS) olarak bilinen bir tekniğe dayanır, bu, ağırlık ve gradyan arasındaki oranı ayarlamak için bir çarpan gibi davranır. Bu, nicelleştirilmiş eğitimden kaynaklanabilecek herhangi bir doğruluk kaybını önler.

Araştırmacılar, algoritma yeniliklerini bir mikrodenetleyici上的 basit bir işletim sistemine sahip olmayan bir tiny eğitim motoru olarak çalıştırdılar. Modeli kenar cihazında dağıtmadan önce, derleme aşamasında daha fazla iş做mek için eğitim sürecindeki adımların sırasını değiştirdiler.

“Derleme zamanında, örneğin otomatik diferansiyasyon ve grafik optimizasyonu gibi çok fazla hesaplama işini gerçekleştiriyoruz. Ayrıca, sparse güncellemeleri desteklemek için gereksiz operatörleri agresif bir şekilde buduyoruz. Çalışma zamanında, cihazda çok daha az iş yükü yapıyoruz” diyor Han.

Çok Verimli Teknik

Geleneksel teknikler, hafif eğitim için tasarlandıkları halde, yaklaşık 300 ila 600 megabayt bellek gerektirirken, ekibin optimizasyonu, bir makine öğrenimi modelini bir mikrodenetleyicide eğitmek için yalnızca 157 kilobayt gerektiriyordu.

Çerçeve, bir bilgisayar görme modelini görüntülerde insanları tespit etmek için eğitmek için test edildi ve bu görevi sadece 10 dakika içinde öğrendi. Yöntem, diğer yöntemlerden daha fazla 20 kat daha hızlı bir modeli eğitmeyi başardı.

Araştırmacılar, şimdi bu teknikleri dil modellerine ve farklı veri türlerine uygulamaya çalışacaklar. Ayrıca, daha büyük modelleri doğruluk kaybı olmadan küçültmek için bu kazanılan bilgiyi kullanmak istiyorlar, bu da büyük ölçekli makine öğrenimi modellerinin eğitiminin karbon ayak izini azaltmaya da yardımcı olabilir.