Mühendisler Enerji Verimliliğine Sahip “Erken Kuş” Yöntemini Derin Sinir Ağlarını Eğitmek için Geliştirdiler

Rice Üniversitesi’ndeki mühendisler, derin sinir ağlarını (DNN’ler) genellikle gerekli olan enerji miktarının bir kısmıyla eğitmek için yeni bir yöntem geliştirdiler. DNN’ler, otonom araçlar, akıllı asistanlar, yüz tanıma ve diğer uygulamalar gibi teknolojilerin geliştirilmesinde kilit rol oynayan yapay zeka (AI) formudur.

Erken Kuş, 29 Nisan’da Rice ve Texas A&M Üniversitesi’nden araştırmacılar tarafından bir makalede detaylandırıldı. Bu, Uluslararası Temsil Öğrenimi Konferansı veya ICLR 2020’de gerçekleşti.

Çalışmanın baş yazarları, Rice’ın Verimli ve Akıllı Hesaplama (EIC) Laboratuvarı’ndan Haoran You ve Chaojian Li idi. Bir çalışmada, yöntemin bir DNN’i bugün kullanılan yöntemlerle aynı seviyede ve doğrulukta eğitebileceğini, ancak 10,7 kat daha az enerji kullanarak gösterdiler.

Araştırma, EIC Laboratuvarı direktörü Yingyan Lin, Rice’ın Richard Baraniuk ve Texas A&M’in Zhangyang Wang tarafından yürütüldü. Diğer ortak yazarlar arasında Pengfei Xu, Yonggan Fu, Yue Wang ve Xiaohan Chen yer alıyor.

“Son AI atılımlarının arkasındaki büyük bir itici güç, daha büyük, daha pahalı DNN’lerin tanıtılmasıdır” dedi Lin. “Ancak bu DNN’leri eğitmek önemli miktarda enerji gerektirir. Daha fazla inovasyon ortaya çıkarmak için, hem çevresel endişeleri hem de AI araştırmalarının finansal engellerini azaltan ‘daha yeşil’ eğitim yöntemlerini bulmak zorunludur.”

Pahalı DNN’ler Eğitimi

Dünya’nın en iyi DNN’lerini eğitmek çok pahalı olabilir ve fiyat etiketi sürekli artmaktadır. 2019’da Seattle’daki Allen Enstitüsü için AI tarafından yürütülen bir çalışmada, bir üst düzey derin sinir ağını eğitmek için 2012-2018’e kıyasla 300.000 kat daha fazla hesaplama yapılması gerektiği bulundu. 2019’da University of Massachusetts Amherst’ten araştırmacılar tarafından yürütülen bir başka çalışmada, tek bir elit DNN’yi eğitmekle yaklaşık beş ABD otomobilinin aynı miktarda karbon dioksit emisyonu ortaya çıktığı bulundu.

DNN’lerin yüksek uzmanlık görevlerini gerçekleştirmeleri için, en az milyonlarca yapay nöron içermeleri gerekir. Büyük örnek sayılarına bakarak karar verme şeklini öğrenebilmekte ve bazen insanları geride bırakabilmektedirler. Bunu açık programlama gerektirmeden yapabilirler.

Püskürt ve Eğit

Lin, Rice’ın Brown Mühendislik Okulu’nda elektrik ve bilgisayar mühendisliği asistan profesörüdür.

“DNN eğitiminin güncel yöntemi ilerleyici budama ve eğittir” dedi Lin. “Önce, bir dense, devasa ağ eğitirsiniz, sonra önemli görünmeyen kısımları kaldırırsınız – bir ağacı budamak gibi. Sonra, performansı geri yüklemek için budanmış ağı yeniden eğitirsiniz, çünkü budama之后 performansı düşer. Uygulamada, iyi performans elde etmek için birçok kez budamak ve yeniden eğitmek gerekir.”

Bu yöntem, tüm yapay nöronların özel görevi gerçekleştirmek için gerekli olmadığının fark edilmesi nedeniyle kullanılır. Nöronlar arasındaki bağlantılar, eğitimin güçlendirilmesiyle ve diğerlerinin atılabilmesiyle güçlendirilir. Bu budama yöntemi, hesaplama maliyetlerini azaltır ve model boyutunu azaltır, böylece tamamen eğitilmiş DNN’ler daha uygun fiyatlı hale gelir.

“İlk adım, dense, devasa ağı eğitmek, en pahalısıdır” dedi Lin. “Bu çalışmadaki fikrimiz, tam olarak işlevsel budanmış ağı, ‘erken kuş biletini’ bu pahalı ilk adımın başlangıcında tanımlamaktır.”

Araştırmacılar, anahtar ağ bağlantı kalıplarını arayarak bunları erken kuş biletlerini keşfederler. Bu, DNN eğitiminin hızlandırılmasına olanak tanır.

Erken Kuş Eğitim Başlangıcında

Lin ve diğer araştırmacılar, Erken Kuş’un eğitim başlangıcının onda birinden az bir kısmında ortaya çıkabileceğini buldular.

“Yöntemimiz, dense, devasa ağların eğitiminin ilk %10’unda veya daha azında erken kuş biletlerini otomatik olarak tanımlayabilir” dedi Lin. “Bu, bir DNN’yi geleneksel eğitim yöntemine kıyasla aynı veya daha iyi bir doğrulukla belirli bir görevi gerçekleştirmek için yaklaşık %10 veya daha az zaman içinde eğitebileceğiniz anlamına gelir, bu da hesaplama ve enerji açısından bir sipariş tasarrufu sağlar.”

Daha hızlı ve daha enerji verimli olmasının yanı sıra, araştırmacılar çevre etkisine güçlü bir odaklanma içindedir.

“Hedefimiz, AI’yi hem daha çevreci hem de daha kapsayıcı hale getirmektir” dedi. “Karmaşık AI sorunlarının büyüklüğü, daha küçük oyuncuları dışladı. Yeşil AI, AI inovasyonlarına araştırma için sınırlı hesaplama kaynaklarına veya bir dizüstü bilgisayara sahip araştırmacılara kapı açarak olanak tanıyabilir.”

Araştırma, Ulusal Bilim Vakfı’ndan destek aldı.