Makine Öğrenimi Modelleri Çalıştıran Akıllı Telefonlar Nasıl Serin Tutulur?

Austin Üniversitesi ve Carnegie Mellon araştırmacıları, akıllı telefonlar gibi mobil cihazlarda ve daha düşük güçlü uç cihazlarda, hesaplama açısından yoğun makine öğrenimi modellerini termal kısıtlamayı tetiklemeden çalıştırmanın yeni bir yolunu önerdi. Bu, profesyonel cihazlarda ve tüketici cihazlarında kullanılan, kabul edilebilir çalışma sıcaklıklarına yeniden ulaşılana kadar performansı yavaşlatarak cihazın sıcaklığını düşüren yaygın bir koruma mekanizmasıdır.

Yeni yaklaşım, daha karmaşık ML modellerinin çıkarımı ve çeşitli diğer görevleri çalıştırmasını sağlar, örneğin ana akıllı telefonun istikrarını tehdit etmeden.

Merkezi fikir, yerel makine öğrenimi modelinin ağırlıklarına hem “düşük basınç” hem de “tam yoğunluk” versiyonunun erişebileceği dinamik ağlar kullanmaktır.

Cihazın sıcaklığının kritik olarak yükselmesine neden olabilecek bir yerel makine öğrenimi modeli çalıştırması durumunda, model dinamik olarak daha az talepkar bir modele geçer ve sonra sıcaklık stabilize edildiğinde tam versiyona geri döner.

Test görevleri, mobil AI uygulamalarının çalıştıracağı türden bir görüntü sınıflandırma işi ve bir soru-cevap doğal dil çıkarımı (QNLI) görevi içeriyordu – Kaynak: https://arxiv.org/pdf/2206.10849.pdf

Araştırmacılar, bilgisayar vizyonu ve Doğal Dil İşleme (NLP) modelleri için 2019 Honor V30 Pro akıllı telefonu ve Raspberry Pi 4B 4GB üzerinde kavram kanıtlama testleri gerçekleştirdiler.

Sonuçlardan (akıllı telefon için), aşağıdaki görüntüde cihazın sıcaklığının kullanım ile yükseldiğini ve düştüğünü görebiliriz. Kırmızı çizgiler, Dinamik Değişim olmadan çalışan bir modeli temsil eder.

Her ne kadar sonuçlar oldukça benzer görünse de, değil: mavi çizgiler (yani yeni makalenin yöntemini kullanan) için sıcaklığın neden dalgalanması, daha basit ve daha karmaşık model sürümleri arasında geri ve ileri geçiş yapmasıdır. İşlem boyunca hiçbir zaman termal kısıtlama tetiklenmez.

Kırmızı çizgiler için sıcaklığın yükselmesi ve düşmesi, cihazda termal kısıtlamanın otomatik olarak devreye girmesi ve modelin performansını yavaşlatması ve gecikme süresini artırmasıdır.

Modelin ne kadar kullanışlı olduğu konusunda, aşağıdaki görüntüde termal kısıtlamaya maruz kalan modelin gecikme süresinin önemli ölçüde daha yüksek olduğunu görebiliriz:

Aynı zamanda, yukarıdaki görüntü Dinamik Değişim tarafından yönetilen model için neredeyse hiçbir gecikme varyasyonu göstermez ve sürekli olarak yanıt verir.

Kullanıcı için yüksek gecikme, artan bekleme süresine neden olabilir, bu da görevin terk edilmesine ve görevi barındıran uygulamayla hoşnutsuzluğa neden olabilir.

NLP (bilgisayar vizyonu yerine) sistemleri için yüksek yanıt süreleri, özellikle otomatik çeviri veya engelli kullanıcıları destekleyen yardımcı programlar gibi görevler için daha da rahatsız edici olabilir.

Gerçekten zaman kritik uygulamalar için – gerçek zamanlı VR/AR gibi – yüksek gecikme, modelin temel kullanışlılığını etkili bir şekilde öldürebilir.

Araştırmacılar şöyle diyor:

‘Termal kısıtlamanın, gecikme açısından kritik mobil ML uygulamalara ciddi bir tehdit oluşturduğunu savunuyoruz. Örneğin, video akışı veya oyun için gerçek zamanlı görsel işlemede, her kare için işlem gecikmesindeki ani bir artış, kullanıcı deneyimi üzerinde önemli bir olumsuz etki yaratabilir. Ayrıca, modern mobil işletim sistemleri genellikle görme engelliler için özel hizmetler ve uygulamalar sağlar, örneğin iOS’de VoiceOver ve Android’de TalkBack.’

‘Kullanıcı, mobil telefonlarla tamamen konuşmaya güvenerek etkileşime girer, bu nedenle bu hizmetlerin kalitesi, uygulamanın yanıt süresi veya gecikmesine bağlıdır.’

BERT w50 d50’nin, yardımsız ve Dinamik Değişim ile çalıştırılmasıyla ilgili grafikler. Dinamik Değişim’de (mavi) gecikmenin düzgünlüğüne dikkat edin.

Makalenin başlığı şudur: Soğukkanlı Olun: Dinamik Değişim Termal Kısıtlamayı Önler, ve UoA’dan iki araştırmacı, Carnegie Mellon’dan bir araştırmacı ve her iki kurumdan bir araştırmacı arasında bir işbirliğidir.

CPU Tabanlı Mobil AI

Dinamik Değişim ve çok ölçekli mimariler yerleşik ve etkin bir araştırma alanı olsa da çoğu girişim daha yüksek kapasiteli hesaplama cihazı gruplarına odaklanmıştır. Güncel çalışmalar, genellikle eğitimden ziyade çıkarım amacıyla yerel (yani cihaz tabanlı) sinir ağlarını yoğun biçimde optimize etme ve özel mobil donanımı geliştirme arasında bölünmektedir.

Araştırmacılar tarafından gerçekleştirilen testler, GPU çipleri yerine CPU çipleri üzerinde gerçekleştirildi. Mobil makine öğrenimi uygulamalarında yerel GPU kaynaklarını kullanma artan ilgi (ve hatta mobil cihazlarda doğrudan eğitim, bu da son modelin kalitesini iyileştirebilir), GPU’lar genellikle daha fazla güç çeker, bu da AI’nin bağımsız (bulut hizmetlerinden) ve sınırlı kaynaklara sahip bir cihazda kullanışlı olabilmesi için kritik bir faktördür.

Ağırlık Paylaşımını Test Etme

Proje için test edilen ağlar, genişliği ayarlanabilir ağlar (slimmable) ve DynaBERT idi ve sırasıyla bir bilgisayar vizyonu görevi ve bir NLP tabanlı görevi temsil ediyordu.

Her ne kadar girişimler mobil cihazlarda verimli ve ekonomik bir şekilde çalışabilen BERT’in varyantlarını oluşturmak için yapılmış olsa da, bazı girişimler eleştiri almıştır ve araştırmacılar, BERT’in mobil alanda kullanılmasının bir zorluk olduğunu ve ‘BERT modellerinin genel olarak mobil telefonlar için hesaplama açısından çok yoğun’ olduğunu belirtmiştir.

DynaBERT, Google’ın güçlü NLP/NLU çerçevesini kaynakları kısıtlı ortamlara uyarlamak için optimize etmeyi amaçlayan bir Çin girişimidir; ancak araştırmacılara göre, bu BERT uygulaması bile çok talepkardı.

Buna rağmen yazarlar hem akıllı telefonda hem de Raspberry PI cihazında iki deney yürüttü. Bilgisayarlı görü deneyinde, rastgele seçilen tek bir görüntü ResNet50 ile sürekli ve tekrarlı biçimde sınıflandırıldı. Model, deneyin bir saatlik çalışma süresi boyunca kararlı biçimde ve termal kısıtlamayı tetiklemeden çalışabildi.

Makale şöyle diyor:

‘Dinamik Değişim, doğruluktan bir miktar ödün verse de, daha hızlı bir çıkarım hızı sağlar. En önemlisi, Dinamik Değişim yaklaşımımız tutarlı bir çıkarım sunar.’

Sürekli bir görüntü sınıflandırma görevi için Slimmable ResNet50 x1.0 ve x0.25 sürümleri arasında Dinamik Değişim ile ve yardımsız ResNet50 çalıştırılması; süre 60 dakikadır.

NLP testleri için, araştırmacılar, DynaBERT süitesinin en küçük iki modeli arasında geçiş yapmaya ayarladılar, ancak 1.4X gecikme ile BERT’nin 70°’de kısıtlamaya uğradığını buldular. Bu nedenle, indirgeme işlemini, işletim sıcaklığı 65°’ye ulaştığında gerçekleştirdiler.

BERT deneyi, GLUE ONLI veri kümesinden bir soru-cevap çifti üzerinde sürekli olarak çıkarım gerçekleştirmeyi içeriyordu.

Gecikme ve doğruluk ödünleşim’ları, BERT görevi için bilgisayar vizyonu uygulamasından daha şiddetliydi ve doğruluk, cihaz sıcaklığını kontrol etme ihtiyacının daha da şiddetli olmasına mal oldu:

Araştırmacıların deneyleri boyunca iki sektör görevi için gecikme ve doğruluk ödünleşim’ları.

Araştırmacılar gözlemliyor:

‘Dinamik Değişim, genel olarak, BERT modellerinin termal kısıtlamayı önleyemez, çünkü modelin hesaplamasal yoğunluğu çok fazla. Ancak, bazı sınırlamalar altında, Dinamik Değişim, BERT modellerini mobil telefonlara dağıtmak için hala faydalı olabilir.’

Araştırmacılar, BERT modellerinin, Honor V30 telefonunun CPU sıcaklığını 32 saniyeden kısa bir süre içinde 80°’ye çıkardığını ve altı dakikadan kısa bir süre içinde termal kısıtlamayı tetiklediğini buldular. Bu nedenle, araştırmacılar yalnızca yarı genişlikte BERT modellerini kullandılar.

Deneyler, Raspberry PI kurulumunda tekrarlandı ve teknik, termal kısıtlamanın tetiklenmesini önlemek için bu ortamda da etkili oldu. Ancak araştırmacılar, Raspberry PI’nin, sıkı paketlenmiş bir akıllı telefondan farklı olarak aynı aşırı termal kısıtlamalara tabi olmadığını ve bu dizi deneyleri, yöntemin, mütevazi donanımlı işleme ortamlarındaki etkinliğini göstermek için eklediklerini belirtiyorlar.

İlk olarak 23 Haziran 2022’de yayınlandı.