Anderson’un Açısı
Makine Öğreniminin Büyüyen Enerji İhtiyacını Kontrol Etme

Öne çıkan noktalarGPU'ları 150W ile güç sınırlamak, enerji kullanımını %13,7 azaltırken eğitim süresine…
Daha fazla göster
- GPU'ları 150W ile güç sınırlamak, enerji kullanımını %13,7 azaltırken eğitim süresine yalnızca %6,8 ekler.
- Çıkarım, eğitimden çok daha fazla enerji tükettiği için güç sınırları en çok orada kazanç sağlar.
- Ağır eğitimi kışın ve gece saatlerinde planlamak karbon emisyonlarını önemli ölçüde azaltabilir.
Büyük makine öğrenimi modellerinin enerji gereksinimlerine yönelik kaygılar artarken, MIT Lincoln Laboratory ve Northeastern Üniversitesi tarafından yapılan yeni bir çalışma, model eğitimi ve çıkarımında kullanılan GPU’ların gücünü sınırlandırarak sağlanabilecek tasarrufu araştırdı. Çalışma, yapay zekânın enerji tüketimini azaltabilecek başka teknik ve yöntemleri de inceliyor.
Yeni çalışma ayrıca, makine öğrenimi araştırmalarında etik sonuçlara ilişkin açıklamalar ekleme yönündeki son eğilime benzer biçimde, yeni yapay zekâ makalelerinin bir “Enerji Beyanı” ile sonlandırılmasını öneriyor.
Çalışmanın temel önerisi, güç sınırlandırmasının —modeli eğiten GPU’nun kullanabileceği gücün sınırlandırılmasının— özellikle maskeli dil modelleme (MLM), BERT ve türevleri için kayda değer enerji tasarrufu sağlaması.

Üç dil modelleme ağının, varsayılan 250 W ayarının (siyah çizgi) farklı yüzdelerindeki güç kullanımı. Güç tüketimini sınırlandırmak, eğitim verimliliğini veya doğruluğunu bire bir aynı oranda azaltmaz; büyük ölçekte kayda değer enerji tasarrufu sağlar. Kaynak: https://arxiv.org/pdf/2205.09646.pdf
Son yıllarda çok büyük veri kümeleri ve milyarlarca ya da trilyonlarca parametre içeren yeni modellerle dikkat çeken daha büyük ölçekli modellerde de eğitim süresi ile enerji tüketimi arasında bir ödünleşim yapılarak benzer tasarruflar elde edilebiliyor.

Daha güçlü NLP modellerinin güç kısıtları altında büyük ölçekte eğitimi. Mavi, 150 W sınırındaki ortalama göreli süreyi; turuncu, aynı sınırdaki ortalama göreli enerji tüketimini gösteriyor.
Araştırmacılar, bu büyük ölçekli uygulamalarda güç kullanımını 150 W ile sınırlandırmanın, varsayılan 250 W üst sınırına kıyasla enerji tüketimini ortalama %13,7 azalttığını, eğitim süresini ise nispeten küçük bir oran olan %6,8 artırdığını buldu.
Araştırmacılar ayrıca, son yıllarda model eğitiminin maliyetiyle ilgili çıkan haberlere rağmen, eğitilmiş modelleri fiilen kullanmanın enerji maliyetinin çok daha yüksek olduğunu belirtiyor.*
“BERT ile dil modellemede, güç sınırlandırmasının sağladığı enerji kazanımları çıkarım sırasında eğitime göre belirgin biçimde daha büyük. Bu durum diğer yapay zekâ uygulamalarında da geçerliyse, araştırma ve sanayi için çıkarım uygulamaları sunan büyük ölçekli veya bulut bilişim platformlarının enerji tüketimi açısından önemli sonuçlar doğurabilir.”
Ayrıca, belki de en tartışmalı öneri olarak, makale soğutma maliyetlerinden tasarruf etmek için makine öğrenimi modellerinin büyük eğitim işlerinin yılın daha soğuk aylarına ve gece saatlerine kaydırılmasını öneriyor.

Üstte, yazarların veri merkezinde 2020 yılının her gününe ait PUE istatistikleri; yaz aylarında belirgin ve uzun süreli bir zirve ile yüksek bir plato görülüyor. Altta, aynı konumda bir hafta boyunca PUE değerindeki ortalama saatlik değişim. GPU iç soğutması ve veri merkezinin ortam soğutması uygun sıcaklığı korumaya çalışırken enerji tüketimi gün ortasına doğru artıyor.
Yazarlar şöyle diyor:
“Açıkça görülüyor ki ağır NLP iş yükleri yazın, kışın yürütülenlere kıyasla genellikle çok daha az verimli. Mevsimsel değişimin büyüklüğü göz önüne alındığında, hesaplama açısından pahalı deneyler daha serin aylara zamanlanabiliyorsa, bu zamanlama karbon ayak izini önemli ölçüde azaltabilir.”
Makale, modellerin mimarilerini ve iş akışlarını budama ve optimize etme yoluyla ortaya çıkan enerji tasarrufu olanaklarını da kabul ediyor; ancak yazarlar bu yaklaşımın geliştirilmesini başka girişimlere bırakıyor.
Son olarak yazarlar, makine öğrenimi alanındaki yeni bilimsel makalelerin, araştırmada yapılan işin enerji tüketimini ve önerilen girişimlerin benimsenmesinin olası enerji sonuçlarını açıklayan bir beyanla bitirilmesinin teşvik edilmesini, hatta belki zorunlu tutulmasını öneriyor.

Makale, kendi araştırmasının enerji sonuçlarını açıklayarak örnek oluyor.
Makalenin başlığı Büyük Güç, Büyük Sorumluluk: Dil Modellerinin Eğitiminde Enerjiyi Azaltmaya Yönelik Öneriler; çalışma MIT Lincoln ve Northeastern’dan altı araştırmacı tarafından hazırlandı.
Makine öğreniminin yaklaşan enerji talebi
Makine öğrenimi modellerinin hesaplama gereksinimleri, sonuçlarının yararlılığıyla birlikte artarken, mevcut makine öğrenimi kültürü enerji harcamasını daha iyi performansla özdeşleştiriyor. Buna karşın, Andrew Ng gibi bazı tanınmış savunucular, veri kürasyonunun daha önemli bir etken olabileceğini öne sürüyor.
2020’deki önemli bir MIT iş birliğinde, model performansındaki on katlık iyileşmenin hesaplama gereksinimlerinde 10.000 katlık artışı ve buna karşılık gelen enerji tüketimini gerektirdiği tahmin edildi.
Bu nedenle, daha az güç tüketen etkili makine öğrenimi eğitimi üzerine araştırmalar son yıllarda arttı. Yazarlara göre yeni makale, NLP çerçevelerine (GPT serisi gibi) odaklanarak güç sınırlarının makine öğrenimi eğitimi ve çıkarımı üzerindeki etkisini derinlemesine inceleyen ilk çalışma.
Çıkarım kalitesi büyük önem taşıdığından, yazarlar bulgularının başında şunu belirtiyor:
“Bu yöntem, eğitilmiş modellerin tahminlerini veya dolayısıyla görevlerdeki doğruluklarını etkilemez. Yani aynı yapıya, başlangıç değerlerine ve gruplandırılmış verilere sahip iki ağ, farklı güç sınırları altında aynı sayıda veri grubu boyunca eğitilirse, sonuçtaki parametreleri aynı olur; yalnızca bunları üretmek için gereken enerji farklı olabilir.”
NLP için kullanılan gücü azaltmak
Yazarlar, güç sınırlarının eğitim ve çıkarım üzerindeki etkisini değerlendirmek için nvidia-smi (Sistem Yönetim Arayüzü) komut satırı aracını ve HuggingFace’in bir MLM kütüphanesini kullandı.
Doğal dil işleme modelleri BERT, DistilBERT ve Big Bird‘ü MLM ile eğittiler; eğitim ve kullanım sırasındaki güç tüketimlerini izlediler.
Modeller, DeepAI’nin WikiText-103 veri kümesiyle, 16 V100 GPU üzerinde sekizer örneklik gruplar halinde dört epok boyunca eğitildi. Dört farklı güç sınırı kullanıldı: 100 W, 150 W, 200 W ve 250 W (NVIDIA V100 GPU’nun varsayılan veya temel değeri). Eğitim değerlendirmelerinin karşılaştırılabilir olması için modeller sıfırdan eğitilen parametreler ve rastgele başlangıç değerleri kullandı.
Yukarıdaki ilk görselde görüldüğü gibi, sonuçlar eğitim süresindeki doğrusal olmayan ve elverişli artışlar karşılığında iyi enerji tasarrufları gösteriyor. Yazarlar şöyle diyor:
“Deneylerimiz, güç sınırları uygulamanın eğitim süresindeki artış karşılığında enerji tüketimini önemli ölçüde azaltabileceğini gösteriyor.”
“Büyük NLP”yi küçültmek
Ardından yazarlar aynı yöntemi daha zorlu bir senaryoya uyguladı: BERT’i, birden çok GPU’ya dağıtılmış yapılandırmalarda MLM ile eğitmek. Bu, iyi finanse edilen ve kamuoyunda iyi bilinen FAANG NLP modelleri için daha tipik bir kullanım örneği.
Bu deneydeki temel fark, bir modelin her eğitim çalışmasında 2 ile 400 arasında GPU kullanabilmesiydi. Aynı güç tüketimi sınırları ve aynı görev (WikiText-103) kullanıldı. Sonuçların grafikleri yukarıdaki ikinci görselde yer alıyor.
Makale şöyle diyor:
“Tüm yapılandırma seçeneklerinin ortalaması alındığında, 150 W güç sınırı varsayılan üst sınıra kıyasla enerji kullanımını ortalama %13,7 azaltırken eğitim süresini %6,8 artırdı. 100 W ayarı eğitim süresini önemli ölçüde uzatıyor (ortalama %31,4). 200 W sınırında eğitim süresi 250 W sınırıyla neredeyse aynı, ancak enerji tasarrufu 150 W sınırına göre daha mütevazı.”
Yazarlar, bu sonuçların GPU mimarilerinde ve bunların üzerinde çalışan uygulamalarda 150 W güç sınırını desteklediğini öne sürüyor. Enerji tasarrufunun farklı donanım platformlarında da geçerli olduğunu belirtiyor; NVIDIA (NVDA ) K80, T4 ve A100 GPU’ların sonuçlarını karşılaştırmak için testleri yeniden yaptılar.

Üç farklı NVIDIA GPU üzerinde elde edilen tasarruf.
Gücü tüketen eğitim değil, çıkarım
Makale, haberlere rağmen en fazla gücü eğitimin değil, çıkarımın (NLP modeli gibi tamamlanmış bir modelin kullanımının) tükettiğini gösteren önceki çalışmalara atıfta bulunuyor. Popüler modeller ticari ürünlere dönüşüp yaygınlaştıkça, güç tüketiminin NLP gelişiminin bu daha erken aşamasındakinden daha büyük bir sorun olabileceğini öne sürüyor.
Araştırmacılar bunun üzerine çıkarımın güç tüketimi üzerindeki etkisini ölçtü ve güç sınırlarının çıkarım gecikmesi üzerinde belirgin bir etkisi olduğunu buldu:
“250 W ile karşılaştırıldığında, 100 W ayarı çıkarım süresini yaklaşık iki katına çıkardı (%114 artış) ve %11,0 daha az enerji tüketti. 150 W ayarı %22,7 daha fazla süre gerektirirken %24,2 enerji tasarrufu sağladı; 200 W ayarı ise %8,2 daha fazla süreyle %12,0 daha az enerji kullandı.”
Kışın eğitim
Makale, eğitimin (açık nedenlerden ötürü çıkarımın değil), veri merkezinin güç kullanım etkinliğinin (PUE) en iyi olduğu zamanlara, yani kışa ve gece saatlerine planlanabileceğini öneriyor.
“İş yükleri daha düşük PUE beklenen zamanlara planlanabilirse önemli enerji tasarrufu elde edilebilir. Örneğin, kısa süren bir işi gündüzden geceye taşımak yaklaşık %10 azalma sağlayabilir. Daha uzun ve maliyetli bir işi (örneğin tamamlanması haftalar süren bir dil modelini) yazdan kışa taşımak ise %33 azalma sağlayabilir.”
“Tek bir araştırmacının ne kadar tasarruf sağlayacağını tahmin etmek zor olsa da, burada sunulan bilgiler iş yüklerinin toplam enerji tüketimini etkileyen çevresel etkenlerin önemini vurguluyor.”
Bulut bilişimden yararlanın
Son olarak makale, kurum içinde kurulan hesaplama kaynaklarının büyük veri merkezleri ve önde gelen bulut bilişim sağlayıcılarıyla aynı verimlilik önlemlerini uygulamış olmasının düşük ihtimal olduğunu belirtiyor. İş yüklerini iyi PUE için büyük yatırım yapmış yerlere taşıyarak çevresel yararlar elde edilebileceğini söylüyor.
“Erişilebilir özel hesaplama kaynaklarına sahip olmak rahatlık sağlasa da, bu rahatlığın bir maliyeti var. Genel olarak enerji tasarrufu ve etki daha büyük ölçeklerde daha kolay elde ediliyor. Veri merkezleri ve bulut bilişim sağlayıcıları tesislerinin verimliliğine önemli yatırımlar yapıyor.”
* Makalede verilen ilgili bağlantılar.












