AI Enerji Tüketimini Azaltmak İçin Büyüt ve Budama Stratejisi

İnsan beyni, ilk olarak çok sayıda nöral bağlantı ile başlar ve sonra zamanla kullanılmayan bağlantıları budar.最近, bir grup AI araştırmacısı bu yaklaşımı AI sistemlerine uyguladı ve bunun AI’yi eğitmek için gereken enerji miktarını önemli ölçüde azaltabileceğini keşfetti.

Princeton Üniversitesi’nden bir grup araştırmacı yeni bir yöntemle yapay zeka sistemlerini eğitmek için bir yöntem geliştirdi. Bu yeni eğitim yöntemi, endüstri standartlarını karşılayabiliyor veya aşabiliyor, ancak bunu geleneksel makine öğrenimi modellerinden daha az hesaplama gücü ve dolayısıyla daha az enerji tüketerek başarmaktadır. İki farklı makale boyunca, Princeton araştırmacıları, bir ağın nöronlar ve bağlantılar eklenerek büyütülmesini gösterdi. Kullanılmayan bağlantılar zamanla budandı, yalnızca modelin en etkili ve verimli kısımları kaldı.

Princeton Üniversitesi’nden Elektrik Mühendisliği profesörü Niraj Jha, Princeton haberlerine, araştırmacıların geliştirdiği modelin “büyüt ve budama” paradigması üzerine çalıştığını açıkladı. Jha, bir insanın beyninin en karmaşık olduğu zamanın yaklaşık üç yaşındayken olduğunu ve bu noktadan sonra beynin gereksiz sinaptik bağlantıları budadığını açıkladı. Sonuç olarak, tamamen gelişmiş beyin, günlük aktivitelerimizi gerçekleştirebiliyor, ancak zirve noktasındaki sinapsların yaklaşık yarısı kadar sinaps kullanıyor. Jha ve diğer araştırmacılar, AI eğitimi için bu stratejeyi taklit ettiler.

Jha açıkladı:

“Yaklaşımımız, büyüt ve budama paradigması olarak adlandırılan bir şey. Bu, bir bebekten bir çocuğa benzer. Üçüncü yılında, insan beyni nöronlar arasındaki bağlantıları kesmeye başlar. Bu süreç yetişkinliğe kadar devam eder, böylece tamamen gelişmiş beyin, yaklaşık olarak zirve noktasındaki sinapsların yarısı kadar sinaps kullanır. Yetişkin beyin, sağladığımız eğitime göre uzmanlaşmıştır. Genel amaçlı öğrenme için bir çocuk beyni kadar iyi değildir.”

Büyütme ve budama tekniği sayesinde, eşit derecede iyi tahminler, önceden gereken hesaplama gücünün sadece bir kısmıyla yapılabilir. Araştırmacılar, enerji tüketimini ve hesaplama maliyetini azaltma yöntemleri arıyorlar, çünkü bu, makine öğrenimini küçük cihazlara seperti telefonlara ve akıllı saatlere getirme anahtarı. Makine öğrenimi algoritmalarının enerji tüketimini azaltmak, endüstrinin karbon ayak izini azaltmasına da yardımcı olabilir. Makalelerin ilk yazarı Xiaoliang Dai, modellerin bulut iletişimi için çok fazla enerji gerektirdiği için yerel olarak eğitilmesi gerektiğini açıkladı.

İlk çalışmada, araştırmacılar, sinir ağı oluşturma aracı olarak adlandırılan NeST (Neural network Synthesis Tool) adlı bir araç geliştirdiler. Bu araç, yalnızca birkaç nöron ve bağlantı ile başlar verapidly artar. Ağ, seçilen birbenchmark’a ulaştığında, zamanla kendini budar. Önceki ağ modelleri budama teknikleri kullanmıştı, ancak Princeton araştırmacılarının geliştirdiği yöntem, bir ağı “bebek”ten “çocuk”a ve nihayet “yetişkin beyin”e giden gelişme aşamalarını simüle eden ilk yöntemdi.

İkinci makalede, araştırmacılar, Kaliforniya-Berkeley Üniversitesi ve Facebook’tan bir ekip ile birlikte Chameleon adlı bir araç kullanarak tekniklerini geliştirdiler. Chameleon, istenen son noktadan başlayarak, arzu edilen sonuçları elde etmek için doğru sinir ağını oluşturmak için geriye doğru çalışabilir. Bu, bir ağı manuel olarak ayarlamak için gereken çok fazla deneme yanılma işini ortadan kaldırır ve mühendislerin hemen faydalı olabilecek başlangıç noktaları sağlar. Chameleon, farklı mimarilerin farklı koşullar altında performansını öngörür. Chameleon ve NeST çerçevesini birleştirmek, ağır hesaplama kaynaklarından yoksun araştırma organizasyonlarının sinir ağlarının gücünden yararlanmasına yardımcı olabilir. Chameleon, farklı mimarilerin farklı koşullar altında performansını öngörür. Combining Chameleon and the NeST framework could help research organizations who lack heavy computation resources take advantage of the power of neural networks. Chameleon predicts the performance of different architectures under different conditions. Combining Chameleon and the NeST framework could help research organizations who lack heavy computation resources take advantage of the power of neural networks. engineers starting points that are likely to be immediately useful. Chameleon predicts the performance of different architectures under different conditions. Combining Chameleon and the NeST framework could help research organizations who lack heavy computation resources take advantage of the power of neural networks.