Mühendisler, Derin Sinir Ağlarını Eğitmek İçin Enerji Verimli "Early Bird" Yöntemi Geliştiriyor

Rice Üniversitesi'ndeki mühendisler, normalde gereken enerjinin bir kısmıyla derin sinir ağlarını (DNN'ler) eğitmek için yeni bir yöntem geliştirdiler. DNN'ler, sürücüsüz arabalar, akıllı asistanlar, yüz tanıma ve diğer uygulamalar gibi teknolojilerin geliştirilmesinde kilit rol oynayan yapay zekanın (AI) biçimidir.

Early Bird ayrıntılı olarak açıklandı Kağıt 29 Nisan'da Rice ve Texas A&M Üniversitesi'nden araştırmacılar tarafından. Şurada gerçekleşti: Uluslararası Öğrenme Temsilcileri Konferansıveya ICLR 2020. 

Çalışmanın baş yazarları, Rice'ın Verimli ve Akıllı Bilgi İşlem (EIC) Laboratuvarı'ndan Haoran You ve Chaojian Li idi. Bir çalışmada, yöntemin bir DNN'yi günümüz yöntemleriyle aynı seviyede ve doğrulukta, ancak 10.7 kat daha az enerji kullanarak nasıl eğitebileceğini gösterdiler. 

Araştırma, EIC Lab direktörü Yingyan Lin, Rice'tan Richard Baraniuk ve Texas A&M'den Zhangyang Wang tarafından yönetildi. Diğer ortak yazarlar arasında Pengfei Xu, Yonggan Fu, Yue Wang ve Xiaohan Chen bulunmaktadır. 

Lin, "Son dönemdeki yapay zeka buluşlarındaki en büyük itici güç, daha büyük, daha pahalı DNN'lerin kullanıma sunulmasıdır" dedi. "Ancak bu DNN'leri eğitmek önemli miktarda enerji gerektiriyor. Daha fazla yeniliğin ortaya çıkması için hem çevresel kaygıları ele alan hem de yapay zeka araştırmalarının mali engellerini azaltan 'daha yeşil' eğitim yöntemlerinin bulunması zorunludur."

DNN'leri Eğitmek Pahalı

Dünyanın en iyi DNN'lerini eğitmek çok pahalı olabilir ve fiyat etiketi artmaya devam ediyor. 2019'da, Seattle'daki Allen Yapay Zeka Enstitüsü tarafından yönetilen bir araştırma, üst düzey bir derin sinir ağını eğitmek için 300,000-2012'e kıyasla 2018 kat daha fazla hesaplamaya ihtiyaç duyulduğunu buldu. Bu kez Massachusetts Amherst Üniversitesi'ndeki araştırmacılar tarafından yönetilen başka bir 2019 araştırması, tek bir seçkin DNN'yi eğiterek, beş ABD otomobiliyle yaklaşık aynı miktarda karbondioksit emisyonunun salındığını buldu. 

DNN'lerin son derece uzmanlaşmış görevlerini yerine getirebilmeleri için en az milyonlarca yapay nörondan oluşurlar. Çok sayıda örneği gözlemleyerek, bazen insanlardan daha iyi performans göstererek nasıl karar vereceklerini öğrenme yeteneğine sahiptirler. Bunu açık programlamaya ihtiyaç duymadan yapabilirler. 

Budama ve Tren

Lin, Rice's Brown School of Engineering'de elektrik ve bilgisayar mühendisliğinde yardımcı doçenttir. 

Lin, "DNN eğitimini gerçekleştirmenin en gelişmiş yöntemine aşamalı budama ve eğitim denir," dedi. "Önce yoğun, devasa bir ağı eğitirsiniz, ardından önemli görünmeyen kısımları kaldırırsınız - tıpkı bir ağacı budamak gibi. Ardından, budanan ağı yeniden eğiterek performansını geri kazanırsınız çünkü budama sonrası performans düşer. Pratikte ise iyi bir performans elde etmek için birçok kez budama ve yeniden eğitim yapmanız gerekir."

Özel görevi tamamlamak için tüm yapay nöronlara ihtiyaç duyulmadığından bu yöntem kullanılır. Eğitim nedeniyle nöronlar arasındaki bağlantılar güçlendirilir ve diğerleri atılabilir. Bu budama yöntemi, hesaplama maliyetlerini düşürür ve tam eğitimli DNN'leri daha uygun maliyetli hale getiren model boyutunu azaltır. 

Lin, "İlk adım olan yoğun, dev ağı eğitmek en pahalı adımdır" dedi. "Bu çalışmadaki fikrimiz, bu maliyetli ilk adımın başlangıç ​​aşamasında, 'erken rezervasyon bileti' dediğimiz nihai, tamamen işlevsel budanmış ağı tanımlamaktır."

Araştırmacılar bunu, önemli ağ bağlantı modellerini arayarak yapıyorlar ve bu erken kuş biletlerini keşfetmeyi başardılar. Bu, DNN eğitimini hızlandırmalarını sağladı. 

Early Bird Eğitimin Başlangıç ​​Aşamasında

Lin ve diğer araştırmacılar, Early Bird'ün eğitimin başlangıç ​​aşamasında yolun onda biri veya daha azı kadar görünebileceğini keşfettiler. 

Lin, "Yöntemimiz, yoğun, dev ağların eğitiminin ilk %10'unda veya daha azında erken kuş biletlerini otomatik olarak tanımlayabilir" dedi. "Bu, bir DNN'yi belirli bir görev için geleneksel eğitim için gereken zamanın yaklaşık %10'unda veya daha azında aynı veya daha iyi doğruluğu elde edecek şekilde eğitebileceğiniz anlamına gelir; bu da hem hesaplama hem de enerjide birden fazla sipariş tasarrufu sağlayabilir."

Daha hızlı ve daha enerji verimli olmasının yanı sıra, araştırmacılar çevresel etkiye güçlü bir şekilde odaklanmaktadır. 

“Amacımız, yapay zekayı hem daha çevre dostu hem de daha kapsayıcı hale getirmek” dedi. “Karmaşık AI sorunlarının büyüklüğü, daha küçük oyuncuları dışarıda tuttu. Yeşil AI, bir dizüstü bilgisayara veya sınırlı hesaplama kaynaklarına sahip araştırmacıların AI yeniliklerini keşfetmelerine olanak tanıyan kapıyı açabilir."

Araştırma, Ulusal Bilim Vakfı'ndan destek aldı.