Mühendisler Enerji Verimliliği Yüksek “Erken Kuş” Yöntemini Derin Sinir Ağlarını Eğitmek için Geliştirdiler

Rice Üniversitesi mühendisleri, normalde gereken enerji’nin bir kısmıyla derin sinir ağları (DNN’ler) eğitmek için yeni bir yöntem geliştirdiler. DNN’ler, self-driving arabalar, akıllı asistanlar, yüz tanıma ve diğer uygulamalar gibi teknolojilerin geliştirilmesinde önemli bir rol oynayan yapay zeka (AI) formudur.

Erken Kuş, 29 Nisan’da Rice ve Texas A&M Üniversitesi’nden araştırmacılar tarafından bir makalede ayrıntılı olarak açıklanmıştır. Bu, Uluslararası Öğrenme Temsilleri Konferansı’nda (ICLR 2020) gerçekleşmiştir.

Çalışmanın baş yazarları, Rice’ın Etkin ve Akıllı Hesaplama (EIC) Laboratuvarı’ndan Haoran You ve Chaojian Li idi. Bir çalışmada, yöntemin bir DNN’yi mevcut yöntemler gibi aynı seviyede ve doğrulukta eğitebileceğini, ancak 10,7 kat daha az enerji kullanarak gösterdiler.

Araştırma, EIC Laboratuvarı direktörü Yingyan Lin, Rice’ın Richard Baraniuk’u ve Texas A&M’nin Zhangyang Wang tarafından yönetildi. Diğer ortak yazarlar arasında Pengfei Xu, Yonggan Fu, Yue Wang ve Xiaohan Chen yer alıyor.

“Son AI’deki büyük bir itici güç, daha büyük, daha pahalı DNN’lerin tanıtılmasıdır” dedi Lin. “Ancak bu DNN’leri eğitmek önemli miktarda enerji gerektirir. Daha fazla inovasyon ortaya çıkarmak için, hem çevresel endişeleri adresleyen hem de AI araştırmasının mali engellerini azaltan ‘daha yeşil’ eğitim yöntemleri bulmak zorunludur.”

DNN’leri Eğitmek Pahalı

Dünya’nın en iyi DNN’lerini eğitmek çok pahalı olabilir ve fiyat etiketi sürekli artmaktadır. 2019’da Seattle’daki Allen Enstitüsü için AI tarafından yürütülen bir çalışmada, bir üst düzey derin sinir ağını eğitmek için 2012-2018’e kıyasla 300.000 kat daha fazla hesaplama gerektiği bulundu. Aynı yıl, Massachusetts Amherst Üniversitesi’nden araştırmacılar tarafından yürütülen bir başka çalışmada, bir tek elit DNN’yi eğitmek, beş ABD arabasının çıkardığı kadar karbon dioksit emisyonuna neden oldu.

DNN’ler, yüksek uzmanlaşmış görevlerini gerçekleştirebilmeleri için en az milyonlarca yapay nöron içerir. Büyük örnek sayılarını gözlemleyerek, bazen insanları geride bırakarak karar verme şekillerini öğrenebilirler. Bu, açık programlama gerektirmez.

Seçme ve Eğitime

Lin, Rice’ın Brown Mühendislik Okulu’nda elektrik ve bilgisayar mühendisliği yardımcı profesörüdür.

“DNN eğitimini gerçekleştirmek için güncel yöntem, ilerici seçme ve eğitime denir” dedi Lin. “İlk olarak, yoğun, devasa bir ağ eğitirsiniz, sonra önemli görünmeyen kısımları çıkarırsınız – bir ağacı budama gibi. Ardından, performansını geri yüklemek için budanmış ağı yeniden eğitirsiniz, çünkü budama之后 performansı düşer. Uygulamada, iyi performans elde etmek için birçok kez budama ve yeniden eğitime ihtiyacınız vardır.”

Bu yöntem, tüm yapay nöronların görevi tamamlamak için gerekli olmadığının farkında olarak kullanılır. Nöronlar arasındaki bağlantılar, eğitim sayesinde güçlendirilir ve diğerleri atılabilir. Bu budama yöntemi, hesaplama maliyetlerini azaltır ve model boyutunu küçültür, böylece tamamen eğitilmiş DNN’ler daha uygun fiyatlı hale gelir.

“İlk adım, yoğun, devasa ağı eğitmek, en pahalı adımdır” dedi Lin. “Bu çalışmadaki fikrimiz, pahalı ilk adımın başlangıç aşamasında, tamamen işlevsel budanmış ağı, ‘erken kuş biletini’ tanımlamaktır.”

Araştırmacılar, anahtar ağ bağlantı kalıplarını arayarak, bu erken kuş biletlerini keşfetmeyi başardılar. Bu, DNN eğitimini hızlandırmalarına olanak tanıdı.

Eğitim Başlangıç Aşamasındaki Erken Kuş

Lin ve diğer araştırmacılar, Erken Kuş’un eğitim başlangıç aşamasında, onda biri veya daha azında ortaya çıkabileceğini buldular.

“Yöntemimiz, yoğun, devasa ağların eğitiminin ilk %10’u veya daha azında erken kuş biletlerini otomatik olarak tanımlayabilir” dedi Lin. “Bu, bir DNN’yi geleneksel eğitim için gereken sürenin %10’u veya daha azında, aynı veya daha iyi doğrulukta eğitebileceğiniz anlamına gelir, bu da hesaplama ve enerji açısından bir order daha fazla tasarruf sağlayabilir.”

Araştırmacılar, daha hızlı ve daha enerji verimli olmanın yanı sıra, çevresel etkiye güçlü bir odaklanma içindedir.

“Hedefimiz, AI’yi hem daha çevreye duyarlı hem de daha kapsayıcı hale getirmektir” dedi. “Karmaşık AI sorunlarının büyüklüğü, daha küçük oyuncuları dışarıda bıraktı. Yeşil AI, sınırlı hesaplama kaynaklarına sahip araştırmacıların AI yeniliklerini keşfetmesine olanak tanıyan kapıyı açabilir.”

Araştırma, Ulusal Bilim Vakfı’ndan destek aldı.