Yeni eğitim tekniğiyle cihazda yaşam boyu öğrenme daha yakın

MIT ve MIT-IBM Watson AI Lab’daki bir araştırma ekibi, çeyrek megabayttan daha az bellek kullanarak cihazda eğitim yapmayı sağlayan yeni bir teknik geliştirdi. Yeni gelişme, diğer eğitim çözümlerinin genellikle 500 megabaytın üzerinde bellek gerektirdiği ve çoğu mikrodenetleyicinin 256 kilobayt kapasitesini aştığı için etkileyici bir başarıdır.

Akıllı bir kenar cihazında bir makine öğrenimi modelini eğitmek, modelin yeni verilere uyum sağlaması ve daha iyi tahminler yapmasını sağlar. Bununla birlikte, eğitim süreci genellikle çok fazla bellek gerektirir, bu nedenle genellikle model cihazda dağıtılmadan önce bir veri merkezindeki bilgisayarlarda gerçekleştirilir. Bu süreç, yeni teknikten daha fazla maliyetlidir ve gizlilik endişeleri yaratır.

Araştırmacılar, algoritmaları ve çerçeveyi, modeli eğitmek için gereken hesaplama miktarını azaltarak geliştirdiler, bu da süreci daha hızlı ve daha bellek verimli hale getirdi. Teknik, bir mikrodenetleyicide bir makine öğrenimi modelini sadece birkaç dakika içinde eğitmeye yardımcı olabilir.

Yeni teknik ayrıca, verilerin cihazda kalması nedeniyle gizlilik açısından da yardımcı olur, bu da hassas veriler söz konusu olduğunda önemlidir. Aynı zamanda, çerçeve, diğer yaklaşımlarla karşılaştırıldığında modelin doğruluğunu da geliştirir.

Song Han, Elektrik Mühendisliği ve Bilgisayar Bilimi (EECS) bölümünde doçent, MIT-IBM Watson AI Lab’ın bir üyesi ve araştırma makalesinin kıdemli yazarıdır.

“Çalışmamız, IoT cihazlarının yalnızca çıkarımı gerçekleştirmesini değil, aynı zamanda sürekli olarak yeni toplanan verilerle AI modellerini güncellemesini sağlar, böylece cihazda yaşam boyu öğrenme için yolu açar” dedi Han. “Küçük kaynak kullanımı, derin öğrenmeyi daha erişilebilir hale getirir ve özellikle düşük güç tüketimli uç cihazlar için daha geniş bir etki alanı olabilir.”

Araştırma makalesi, ortak birinci yazarlar ve EECS doktora öğrencileri Ji Lin ve Ligeng Zhu, ve MIT doktora sonrası araştırmacıları Wei-Ming Chen ve Wei-Chen Wang’ı içeriyordu. Ayrıca, MIT-IBM Watson AI Lab’ın bir baş araştırma personeli olan Chuang Gan da dahil edildi.

Eğitim Sürecini Daha Verimli Hale Getirmek

Eğitim sürecini daha verimli ve daha az bellek yoğun hale getirmek için, ekip iki algoritmik çözüme başvurdu. İlk çözüm, seyrek güncelleme olarak bilinen bir algoritmadır, bu algoritma her eğitim turu sırasında güncellenmesi gereken en önemli ağırlıkları belirler. Algoritma, doğruluk belirli bir eşiğe düşene kadar ağırlıkları birer birer dondurur, ardından durur. Kalan ağırlıklar güncellenir ve dondurulan ağırlıklara karşılık gelen aktivasyonların bellekte depolanması gerekmez.

“Tüm modeli güncellemek çok pahalıdır, çünkü çok fazla aktivasyon vardır, bu nedenle insanlar genellikle sadece son katmanı günceller, ancak tahmin edebileceğiniz gibi bu, doğruluğu düşürür” dedi Han. “Yöntemimiz için, önemli ağırlıkları seçerek güncelliyor ve doğruluğun tamamen korunmasını sağlıyoruz.”

Ekibin geliştirdiği ikinci çözüm, nicelleştirilmiş eğitim ve ağırlıkları basitleştirmeyi içerir. Bir algoritma, ağırlıkları ilk olarak nicelleştirme süreciyle 8 bite yuvarlar, bu da eğitim ve çıkarım için gereken belleği keser, burada çıkarım, bir modeli bir veri kümesine uygulamak ve bir tahmin oluşturmak sürecidir. Algoritma, nicelleştirmeyi dikkate alan ölçeklendirme (QAS) olarak bilinen bir tekniğe dayanır, bu, ağırlık ve gradyan arasındaki oranı ayarlamak için bir çarpan gibi davranır. Bu, nicelleştirilmiş eğitimden kaynaklanabilecek herhangi bir doğruluk kaybını önler.

Araştırmacılar, algoritmik yenilikleri işletim sistemi olmayan basit bir mikrodenetleyicide çalıştıran, küçük eğitim motoru adında bir sistem geliştirdiler. Modeli kenar cihazında dağıtmadan önce, derleme aşamasında daha fazla iş yapmak için eğitim sürecindeki adımların sırasını değiştirdiler.

“Derleme zamanında, örneğin otomatik diferansiyasyon ve çizge optimizasyonu gibi çok fazla hesaplama işini gerçekleştiriyoruz. Ayrıca, seyrek güncellemeleri desteklemek için gereksiz operatörleri agresif bir şekilde buduyoruz. Çalışma zamanında, cihazda çok daha az iş yükü yapıyoruz” diyor Han.

Çok Verimli Teknik

Geleneksel teknikler, hafif eğitim için tasarlandıkları halde, yaklaşık 300 ila 600 megabayt bellek gerektirirken, ekibin optimizasyonu, bir makine öğrenimi modelini bir mikrodenetleyicide eğitmek için yalnızca 157 kilobayt gerektiriyordu.

Çerçeve, bir bilgisayar görme modelini görüntülerde insanları tespit etmek için eğitmek için test edildi ve bu görevi sadece 10 dakika içinde öğrendi. Yöntem, diğer yöntemlerden 20 kattan fazla daha hızlı bir şekilde model eğitmeyi başardı.

Araştırmacılar, şimdi bu teknikleri dil modellerine ve farklı veri türlerine uygulamaya çalışacaklar. Ayrıca, daha büyük modelleri doğruluk kaybı olmadan küçültmek için bu kazanılan bilgiyi kullanmak istiyorlar, bu da büyük ölçekli makine öğrenimi modellerinin eğitiminin karbon ayak izini azaltmaya da yardımcı olabilir.