Akıllı Telefonları Makine Öğrenimi Modelleri Çalıştırırken Soğutmak Nasıl Yapılır

Austin Üniversitesi ve Carnegie Mellon’dan araştırmacılar, akıllı telefonlar ve daha düşük güçte kenar cihazlar gibi mobil cihazlarda hesaplama açısından yoğun makine öğrenimi modellerini çalıştırmak için yeni bir yol önerdiler ve termal sınırlama – profesyonel ve tüketici cihazlarında ortak bir koruma mekanizması – cihazın performansını yavaşlatarak kabul edilebilir çalışma sıcaklıklarına ulaşılana kadar ana cihazın sıcaklığını düşürmek için tasarlandı.

Yeni yaklaşım, daha karmaşık ML modellerinin çıkarımı ve çeşitli diğer görev türlerini çalıştırmasına yardımcı olabilir ve örneğin ana akıllı telefonun kararlılığını tehdit etmeden.

Merkezi fikir, dinamik ağlar kullanmaktır, burada bir modelin ağırlıkları hem “düşük basınç” hem de “tam yoğunluk” yerel makine öğrenimi modelinin erişebileceği bir şekilde kullanılabilir.

Yerel bir makine öğrenimi modelinin kurulumunun çalışması, cihazın sıcaklığını kritik olarak yükseltecek durumlarda, model daha az talepkar bir modele geçer ve sıcaklık stabilize edildikten sonra tam teşekküllü sürüme geri döner.

Test görevleri, bir görüntü sınıflandırma işi ve bir soru-cevap doğal dil çıkarımı (QNLI) görevi – her ikisi de mobil AI uygulamalarını çalıştırmaya muhtemel operasyonlardan oluşuyordu. Kaynak: https://arxiv.org/pdf/2206.10849.pdf

Araştırmacılar, bilgisayar vizyonu ve Doğal Dil İşleme (NLP) modelleri için 2019 Honor V30 Pro akıllı telefonunda ve Raspberry Pi 4B 4GB’de kavram kanıtlama testleri gerçekleştirdiler.

Sonuçlardan (akıllı telefondan), aşağıdaki görüntüde cihazın sıcaklığının arttığını ve kullanım ile düşüşünü görebiliriz. Kırmızı çizgiler, Dynamic Shifting olmadan çalışan bir modeli temsil etmektedir.

Görünüşte benzer görünmelerine rağmen, aynı değiller: mavi çizgilerin (yani yeni makalenin yönteminin kullanıldığı) neden sıcaklıkta dalgalanma meydana getirdiği, daha basit ve daha karmaşık model sürümleri arasında geçiş yapmasıdır. İşlemin hiçbir aşamasında termal sınırlama asla tetiklenmez.

Kırmızı çizgilerin neden sıcaklıkta yükselip düştüğü, cihazdaki termal sınırlamanın otomatik olarak devreye girmesi ve modelin performansını yavaşlatması ve gecikme süresini arttırmasıdır.

Modelin ne kadar kullanılabilir olduğu açısından, aşağıdaki görüntüde, termal sınırlama altında olan modelin gecikme süresinin önemli ölçüde daha yüksek olduğunu görebiliriz:

Aynı zamanda, yukarıdaki görüntü, Dynamic Shifting tarafından yönetilen modelde neredeyse hiçbir gecikme varyasyonu göstermez ve sürekli olarak yanıt verir.

Kullanıcı için yüksek gecikme, daha uzun bekleme süresi anlamına gelebilir, bu da görevin terk edilmesine ve uygulamayı barındıran uygulamayla hoşnutsuzluğa neden olabilir.

NLP (bilgisayar vizyonu yerine) sistemleri için, yüksek yanıt süreleri daha da rahatsız edici olabilir, çünkü görevler (örneğin, otomatik çeviri veya engelli kullanıcıları destekleyen yardımcı programlar) hızlı bir şekilde yanıt vermeye bağlı olabilir.

Gerçekten zaman kritik uygulamalar için – gerçek zamanlı VR/AR gibi – yüksek gecikme, modelin temel faydasını etkili bir şekilde öldürebilir.

Araştırmacılar şöyle diyor:

‘Termal sınırlamanın, gecikme açısından kritik mobil ML uygulamalar için ciddi bir tehdit oluşturduğunu savunuyoruz. Örneğin, video akışı veya oyun için gerçek zamanlı görsel işleme sırasında, bir kare başına işleme gecikmesindeki ani artış, kullanıcı deneyimi üzerinde önemli olumsuz bir etkiye sahip olacaktır. Ayrıca, modern mobil işletim sistemleri genellikle görme engelli kişiler için özel hizmetler ve uygulamalar sağlar, örneğin iOS’de VoiceOver ve Android’de TalkBack.

‘Kullanıcı, mobil telefonlarla tamamen konuşmaya güvenerek etkileşime girer, bu nedenle bu hizmetlerin kalitesi, uygulamanın yanıt verme hızı veya gecikmesine bağlıdır.’

BERT w50 d50’nin yardımısız (kırmızı) ve Dynamic Shifting ile (mavi) performansını gösteren grafikler. Mavi renkli Dynamic Shifting’in gecikme düzlüğüne dikkat edin.

Makale başlıklıdır Soğukkanlı Oynayın: Dinamik Değişim Termal Sınırlamayı Önler ve UoA’dan iki araştırmacı, Carnegie Mellon’dan biri ve her iki kuruluştan bir araştırmacı arasında bir işbirliğidir.

Mobil AI için CPU Tabanlı

Dinamik Değişim ve çok ölçekli mimariler, already kurulmuş ve aktif bir çalışma alanıdır, ancak çoğu girişimi daha yüksek uçlu hesaplama cihazları dizilerine odaklandı ve şu anda çaba, yerel (yani cihaz tabanlı) sinir ağlarının yoğun bir şekilde optimize edilmesine ve genellikle çıkarım için değil, eğitim için amaçlanan mobil AI uygulamalarında özel mobil donanımın iyileştirilmesine bölünmüş durumdadır.

Araştırmacılar tarafından gerçekleştirilen testler, GPU çipleri yerine CPU üzerinde gerçekleştirildi. Mobil makine öğrenimi uygulamalarında yerel GPU kaynaklarını kullanmaya yönelik artan ilgiye (hatta mobil cihazlarda doğrudan eğitim, bu da sonuçta ortaya çıkan modelin kalitesini iyileştirebilir) rağmen, GPU’lar genellikle daha fazla güç çeker, AI’nin bağımsız (bulut hizmetlerinden) ve sınırlı kaynaklara sahip bir cihazda faydalı olabilmesi için kritik bir faktördür.

Ağırlık Paylaşımı Testi

Proje için test edilen ağlar, slimmable ağlar ve DynaBERT idi ve sırasıyla, bir bilgisayar vizyonu görevi ve bir NLP tabanlı görevi temsil ediyordu.

BERT’in çeşitli versiyonlarını mobil cihazlarda verimli ve ekonomik bir şekilde çalıştırmak için çeşitli girişimler olmasına rağmen, bazı girişimler zorlu çalışarlar olarak eleştirildi ve araştırmacılar, BERT’i mobil alanda kullanmanın bir zorluk olduğunu ve “BERT modellerinin genel olarak mobil telefonlar için hesaplama açısından çok yoğun” olduğunu belirtti.

DynaBERT, Google’ın güçlü NLP/NLU çerçevesini bir kaynak yoksun ortamının bağlamına optimize etmeye yönelik bir Çin girişimidir; ancak araştırmacılar, bu BERT uygulamasının bile çok talepkar olduğunu buldu.

Her iki deney de bir akıllı telefonda ve Raspberry PI cihazında gerçekleştirildi ve yazarlar, iki deney gerçekleştirdiler. CV deneyinde, tek bir, rastgele seçilen görüntü, ResNet50 olarak bir sınıflandırma görevi olarak sürekli ve tekrarlı olarak işlendi ve tüm bir saatlik deney çalışması süresince termal sınırlama olmadan stabil bir şekilde çalışabildi.

Makalede şöyle deniyor:

‘Dinamik Değişim, bazı doğrulukları feda etse de, daha hızlı bir çıkarım hızı sağlar. En önemlisi, Dinamik Değişim yaklaşımımız tutarlı bir çıkarıma sahiptir.’

ResNet50’i yardımısız ve Slimmable ResNet50 x1.0 ve x0.25 sürümleri arasında Dinamik Değişim ile sürekli bir görüntü sınıflandırma görevinde çalıştırma, altmış dakika boyunca.

NLP testleri için, yazarlar, DynaBERT süitesinin en küçük iki modeli arasında geçiş yapmaya ayarladı, ancak BERT’nin 1.4X gecikme ile 70°’de sınırlı kaldığını buldu. Bu nedenle, indirgeme işleminin, işletim sıcaklığı 65°’ye ulaştığında gerçekleşmesi için ayarladı.

BERT deneyi, kurulumun, GLUE’nin ONLI veri setinden bir soru/cevap çifti üzerinde sürekli olarak çıkarım çalıştırmasına izin vermeyi içeriyordu.

Gecikme ve doğruluk ticaretleri, bilgisayar vizyonu uygulamasına kıyasla BERT görevi için daha şiddetliydi ve doğruluk, sınırlamayı önlemek için cihaz sıcaklığını kontrol etme ihtiyacının daha da ciddi bir bedeliyle geldi:

Araştırmacıların deneyleri boyunca iki sektör görevi için gecikme ve doğruluk ticaretleri.

Yazarlar gözlemliyor:

‘Dinamik Değişim, genel olarak, BERT modellerinin termal sınırlamayı önleyemez, çünkü modelin muazzam hesaplama yoğunluğundan dolayı. Ancak, bazı sınırlamalar altında, dinamik değişim, BERT modellerini mobil telefonlara dağıtmada hala faydalı olabilir.’

Yazarlar, BERT modellerinin, Honor V30 telefonunun CPU sıcaklığını 32 saniyeden kısa bir sürede 80°’ye çıkardığını ve altı dakikadan kısa bir süre içinde faaliyetten dolayı termal sınırlamayı tetiklediğini buldu. Bu nedenle, yazarlar yalnızca yarı genişlik BERT modellerini kullandı.

Deneyler, Raspberry PI kurulumunda tekrarlandı ve teknik, termal sınırlamayı tetiklemeyi önlemek için bu ortamda da etkili oldu. Ancak yazarlar, Raspberry PI’nin, sıkı paketlenmiş bir akıllı telefonda olduğu gibi aynı aşırı termal kısıtlamalara tabi olmadığını ve bu dizi deneyleri, yöntemin mütevazi donanımlı işleme ortamlarındaki etkinliğini göstermek için eklediklerini belirtiyorlar.

İlk olarak 23 Haziran 2022’de yayımlandı.