Akıllı Telefonları Makine Öğrenimi Modelleri Çalıştırırken Soğutmak Nasıl Yapılır

Austin Üniversitesi ve Carnegie Mellon’den araştırmacılar, mobil cihazlar gibi akıllı telefonlarda ve düşük güçte kenar cihazlarda, termal kısıtlamaya neden olmadan, hesaplama açısından yoğun makine öğrenimi modellerini çalıştırmak için yeni bir yöntem önerdiler – bu, profesyonel ve tüketici cihazlarında sıcaklığı düşürmek için performansını yavaşlatan bir korumalı mekanizmadır.

Yeni yaklaşım, daha karmaşık ML modellerinin çıkarımı ve çeşitli diğer görevleri çalıştırmasını sağlar, örneğin ana akıllı telefonun istikrarını tehdit etmeden.

Merkezi fikir, yerel makine öğrenimi modelinin ağırlıklarına hem “düşük basınç” hem de “tam yoğunluk” versiyonunun erişebileceği dinamik ağlar kullanmaktır.

Cihazın sıcaklığının kritik olarak yükselmesine neden olabilecek bir yerel makine öğrenimi modeli çalıştırması durumunda, model dinamik olarak daha az talepkar bir modele geçer ve sonra sıcaklık stabilize edildiğinde tam versiyona geri döner.

Test görevleri, mobil AI uygulamalarının çalıştıracağı türden bir görüntü sınıflandırma işi ve bir soru-cevap doğal dil çıkarımı (QNLI) görevi içeriyordu – Kaynak: https://arxiv.org/pdf/2206.10849.pdf

Araştırmacılar, bilgisayar vizyonu ve Doğal Dil İşleme (NLP) modelleri için 2019 Honor V30 Pro akıllı telefonu ve Raspberry Pi 4B 4GB üzerinde kavram kanıtlama testleri gerçekleştirdiler.

Çıkarımlardan (akıllı telefon için), aşağıdaki görüntüde cihazın sıcaklığının kullanım ile yükseldiğini ve düştüğünü görebiliriz. Kırmızı çizgiler, Dinamik Değişim olmadan çalışan bir modeli temsil eder.

Her ne kadar sonuçlar oldukça benzer görünse de, değil: mavi çizgiler (yani yeni makalenin yöntemini kullanan) için sıcaklığın neden dalgalanması, daha basit ve daha karmaşık model sürümleri arasında geri ve ileri geçiş yapmasıdır. İşlem boyunca hiçbir zaman termal kısıtlama tetiklenmez.

Kırmızı çizgiler için sıcaklığın yükselmesi ve düşmesi, cihazda termal kısıtlamanın otomatik olarak devreye girmesi ve modelin performansını yavaşlatması ve gecikme süresini artırmasıdır.

Modelin ne kadar kullanışlı olduğu konusunda, aşağıdaki görüntüde termal kısıtlamaya maruz kalan modelin gecikme süresinin önemli ölçüde daha yüksek olduğunu görebiliriz:

Aynı zamanda, yukarıdaki görüntü Dinamik Değişim tarafından yönetilen model için neredeyse hiçbir gecikme varyasyonu göstermez ve sürekli olarak yanıt verir.

Kullanıcı için yüksek gecikme, artan bekleme süresine neden olabilir, bu da görevin terk edilmesine ve uygulamayı barındıran uygulamayla hoşnutsuzluğa neden olabilir.

NLP (bilgisayar vizyonu yerine) sistemleri için yüksek yanıt süreleri, özellikle otomatik çeviri veya engelli kullanıcıları destekleyen yardımcı programlar gibi görevler için daha da rahatsız edici olabilir.

Gerçekten zaman kritik uygulamalar için – gerçek zamanlı VR/AR gibi – yüksek gecikme, modelin temel kullanışlılığını etkili bir şekilde öldürebilir.

Araştırmacılar şöyle diyor:

‘Termal kısıtlamanın, gecikme açısından kritik mobil ML uygulamalara ciddi bir tehdit oluşturduğunu savunuyoruz. Örneğin, video akışı veya oyun için gerçek zamanlı görsel işlemede, her kare için işlem gecikmesindeki ani bir artış, kullanıcı deneyimi üzerinde önemli bir olumsuz etki yaratabilir. Ayrıca, modern mobil işletim sistemleri genellikle görme engelliler için özel hizmetler ve uygulamalar sağlar, örneğin iOS’de VoiceOver ve Android’de TalkBack.’

‘Kullanıcı, mobil telefonlarla tamamen konuşmaya güvenerek etkileşime girer, bu nedenle bu hizmetlerin kalitesi, uygulamanın yanıt süresi veya gecikmesine bağlıdır.’

BERT w50 d50’nin, yardımsız ve Dinamik Değişim ile çalıştırılmasıyla ilgili grafikler. Dinamik Değişim’de (mavi) gecikmenin düzgünlüğüne dikkat edin.

Makale makale olarak adlandırılmıştır: Soğukkanlı Olun: Dinamik Değişim Termal Kısıtlamayı Önler, ve UoA’dan iki araştırmacı, Carnegie Mellon’dan bir araştırmacı ve her iki kurumdan bir araştırmacı arasında bir işbirliğidir.

CPU Tabanlı Mobil AI

Dinamik Değişim ve çok ölçekli mimariler, bir kuruluş ve aktif bir çalışma alanıdır, ancak çoğu girişim daha yüksek düzeyde hesaplama cihazlarına odaklanmıştır ve şu anda çaba, yerel (yani cihaz tabanlı) sinir ağlarının yoğun olarak optimize edilmesine ve genellikle çıkarım değil, eğitimin amaçlarına yönelik olarak bölünmüştür. ve özel mobil donanımın iyileştirilmesi.

Araştırmacılar tarafından gerçekleştirilen testler, CPU çipleri üzerinde değil, GPU çipleri üzerinde gerçekleştirildi. Mobil makine öğrenimi uygulamalarında yerel GPU kaynaklarını kullanma artan ilgi (ve hatta mobil cihazlarda doğrudan eğitim, bu da son modelin kalitesini iyileştirebilir), GPU’lar genellikle daha fazla güç çeker, bu da AI’nin bağımsız (bulut hizmetlerinden) ve sınırlı kaynaklara sahip bir cihazda kullanışlı olabilmesi için kritik bir faktördür.

Ağırlık Paylaşımını Test Etme

Proje için test edilen ağlar, slim ağlar ve DynaBERT idi ve sırasıyla bir bilgisayar vizyonu görevi ve bir NLP tabanlı görevi temsil ediyordu.

Her ne kadar girişimler mobil cihazlarda verimli ve ekonomik bir şekilde çalışabilen BERT’in varyantlarını oluşturmak için yapılmış olsa da, bazı girişimler eleştiri almıştır ve araştırmacılar, BERT’in mobil alanda kullanılmasıın bir zorluk olduğunu ve ‘BERT modellerinin genel olarak mobil telefonlar için hesaplama açısından çok yoğun’ olduğunu belirtmiştir.

DynaBERT, Google’ın güçlü NLP/NLU çerçevesini optimize etmek için bir Çin girişimidir; ancak araştırmacılara göre, bu BERT uygulaması bile çok talepkardı.

Her iki deney de, akıllı telefon ve Raspberry PI cihazında tekrarlandı ve teknik, termal kısıtlamanın tetiklenmesini önlemek için bu ortamda da etkili oldu. Ancak araştırmacılar, Raspberry PI’nin, sıkı paketlenmiş bir akıllı telefondan farklı olarak aynı aşırı termal kısıtlamalara tabi olmadığını ve bu dizi deneyleri, yöntemin, mütevazi donanımlı işleme ortamlarındaki etkinliğini göstermek için eklediklerini belirtiyorlar.

Makale şöyle diyor:

‘Dinamik Değişim, bazı doğrulukları feda etse de, daha hızlı bir çıkarım hızı sağlar. En önemlisi, Dinamik Değişim yaklaşımımız tutarlı bir çıkarım sunar.’

Sürekli bir görüntü sınıflandırma görevi için Slimmable ResNet50 x1.0 ve x0.25 sürümleri arasında Dinamik Değişim ile ve yardımsız ResNet50 çalıştırılması.

NLP testleri için, araştırmacılar, DynaBERT süitesinin en küçük iki modeli arasında geçiş yapmaya ayarladılar, ancak 1.4X gecikme ile BERT’nin 70°’de kısıtlamaya uğradığını buldular. Bu nedenle, indirgeme işlemini, işletim sıcaklığı 65°’ye ulaştığında gerçekleştirdiler.

BERT deneyi, ONLI veri kümesinden bir soru-cevap çifti üzerinde sürekli olarak çıkarım gerçekleştirmeyi içeriyordu.

Geçikme ve doğruluk trade-off’ları, BERT görevi için bilgisayar vizyonu uygulamasından daha şiddetliydi ve doğruluk, cihaz sıcaklığını kontrol etme ihtiyacının daha da şiddetli olmasına mal oldu:

Araştırmacıların deneyleri boyunca iki sektör görevi için gecikme ve doğruluk trade-off’ları.

Araştırmacılar gözlemliyor:

‘Dinamik Değişim, genel olarak, BERT modellerinin termal kısıtlamayı önleyemez, çünkü modelin hesaplamasal yoğunluğu çok fazla. Ancak, bazı sınırlamalar altında, Dinamik Değişim, BERT modellerini mobil telefonlara dağıtmak için hala faydalı olabilir.’

Araştırmacılar, BERT modellerinin, Honor V30 telefonunun CPU sıcaklığını 32 saniyeden kısa bir süre içinde 80°’ye çıkardığını ve altı dakikadan kısa bir süre içinde termal kısıtlamayı tetiklediğini buldular. Bu nedenle, araştırmacılar yalnızca yarı genişlikte BERT modellerini kullandılar.

Deneyler, Raspberry PI kurulumunda tekrarlandı ve teknik, termal kısıtlamanın tetiklenmesini önlemek için bu ortamda da etkili oldu. Ancak araştırmacılar, Raspberry PI’nin, sıkı paketlenmiş bir akıllı telefondan farklı olarak aynı aşırı termal kısıtlamalara tabi olmadığını ve bu dizi deneyleri, yöntemin, mütevazi donanımlı işleme ortamlarındaki etkinliğini göstermek için eklediklerini belirtiyorlar.

İlk olarak 23 Haziran 2022’de yayınlandı.