Cara Menghindari Pemanasan Smartphone Saat Menjalankan Model Pembelajaran Mesin

Peneliti dari Universitas Austin dan Carnegie Mellon telah mengusulkan metode baru untuk menjalankan model pembelajaran mesin yang komputasi-intensif pada perangkat mobile seperti smartphone, dan pada perangkat edge yang kurang kuat, tanpa memicu thermal throttling – sebuah mekanisme protektif yang umum digunakan pada perangkat profesional dan konsumen, yang dirancang untuk menurunkan suhu perangkat host dengan memperlambat kinerjanya, hingga suhu operasi yang dapat diterima kembali.

Pendekatan baru ini dapat membantu model pembelajaran mesin yang lebih kompleks untuk menjalankan inferensi dan berbagai tugas lainnya tanpa mengancam stabilitas perangkat host, seperti smartphone.

Gagasan sentralnya adalah menggunakan dynamic networks, di mana weights dari model dapat diakses oleh versi ‘low pressure’ dan ‘full intensity’ dari model pembelajaran mesin lokal.

Dalam kasus di mana operasi model pembelajaran mesin lokal harus menyebabkan suhu perangkat naik secara kritis, model akan beralih secara dinamis ke model yang kurang menuntut hingga suhu stabil, dan kemudian beralih kembali ke versi lengkap.

Tugas tes terdiri dari pekerjaan klasifikasi gambar dan tugas inferensi bahasa alami yang menjawab pertanyaan – keduanya merupakan jenis operasi yang mungkin melibatkan aplikasi AI mobile. Sumber: https://arxiv.org/pdf/2206.10849.pdf

Peneliti melakukan tes konsep untuk model komputer visi dan Natural Language Processing (NLP) pada smartphone Honor V30 Pro 2019, dan Raspberry Pi 4B 4GB.

Dari hasil (untuk smartphone), kita dapat melihat pada gambar di bawah bahwa suhu perangkat host naik dan turun dengan penggunaan. Garis merah mewakili model yang berjalan tanpa Dynamic Shifting.

Meskipun hasilnya tampaknya sangat mirip, mereka tidak: apa yang menyebabkan suhu berfluktuasi untuk garis biru (yaitu menggunakan metode baru) adalah beralih bolak-balik antara versi model yang lebih sederhana dan lebih kompleks. Pada titik mana pun dalam operasi, thermal throttling tidak pernah dipicu.

Apa yang menyebabkan suhu naik dan turun dalam kasus garis merah adalah pengaktifan otomatis thermal throttling pada perangkat, yang memperlambat kinerja model dan meningkatkan latensi.

Dalam hal kelayakan model, kita dapat melihat pada gambar di bawah bahwa latensi untuk model yang tidak dibantu adalah jauh lebih tinggi saat mengalami thermal throttling:

Pada saat yang sama, gambar di atas menunjukkan hampir tidak ada variasi latensi untuk model yang dikelola oleh Dynamic Shifting, yang tetap responsif sepanjang waktu.

Bagi pengguna akhir, latensi yang tinggi dapat berarti waktu tunggu yang lebih lama, yang dapat menyebabkan pengabaian tugas dan ketidakpuasan dengan aplikasi yang menyimpannya.

Dalam kasus sistem NLP (bukan komputer visi), waktu respons yang lama dapat lebih mengganggu, karena tugasnya mungkin bergantung pada respons yang cepat (seperti auto-terjemahan, atau utilitas untuk membantu pengguna disabilitas).

Untuk aplikasi yang sangat kritis waktu – seperti rendering waktu nyata VR/AR – latensi yang tinggi secara efektif akan membunuh kegunaan inti model.

Peneliti menyatakan:

‘Kami berpendapat bahwa thermal throttling merupakan ancaman serius bagi aplikasi pembelajaran mesin mobile yang kritis latensi. Misalnya, selama rendering visual waktu nyata untuk streaming video atau gaming, lonjakan proses latensi per frame akan memiliki efek negatif yang signifikan pada pengalaman pengguna. Juga, sistem operasi mobile modern sering menyediakan layanan dan aplikasi khusus untuk individu yang memiliki keterbatasan visual, seperti VoiceOver pada iOS dan TalkBack pada Android. ‘

‘Pengguna biasanya berinteraksi dengan ponsel dengan mengandalkan sepenuhnya pada ucapan, sehingga kualitas layanan ini sangat bergantung pada responsifitas atau latensi aplikasi.’

Grafik yang menunjukkan kinerja BERT w50 d50 tanpa bantuan (merah), dan dengan Dynamic Shifting (biru). Perhatikan keseragaman latensi pada Dynamic Shifting (biru).

Makalah ini berjudul Play It Cool: Dynamic Shifting Mencegah Thermal Throttling, dan merupakan kolaborasi antara dua peneliti dari UoA; satu dari Carnegie Mellon; dan satu yang mewakili kedua institusi.

AI Mobile Berbasis CPU

Meskipun Dynamic Shifting dan arsitektur multi-skala telah menjadi bidang studi yang mapan dan aktif, sebagian besar inisiatif telah berkonsentrasi pada perangkat komputasi yang lebih tinggi, dan fokus upaya saat ini terbagi antara optimisasi intensif jaringan neural lokal (yaitu berbasis perangkat) untuk keperluan inferensi daripada pelatihan, dan perbaikan perangkat keras mobile khusus.

Tes yang dilakukan oleh peneliti dilakukan pada chip CPU bukan GPU. Meskipun minat yang tumbuh dalam memanfaatkan sumber daya GPU lokal dalam aplikasi pembelajaran mesin mobile (dan bahkan pelatihan langsung pada perangkat mobile, yang dapat meningkatkan kualitas model akhir), GPU biasanya mengonsumsi lebih banyak daya, yang merupakan faktor kritis dalam upaya AI untuk menjadi mandiri (dari layanan cloud) dan berguna pada perangkat dengan sumber daya terbatas.

Menguji Weight Sharing

Jaringan yang diuji untuk proyek ini adalah jaringan yang ramping dan DynaBERT, yang mewakili, secara berturut-turut, tugas visi komputer dan tugas berbasis NLP.

Meskipun telah ada berbagai inisiatif untuk membuat iterasi BERT yang dapat berjalan secara efisien dan ekonomis pada perangkat mobile, beberapa upaya tersebut telah dikritik sebagai solusi yang terlalu rumit, dan peneliti makalah baru ini mencatat bahwa menggunakan BERT dalam ruang mobile merupakan tantangan, dan bahwa ‘model BERT secara umum terlalu intensif komputasi untuk ponsel’.

DynaBERT adalah inisiatif Tiongkok untuk mengoptimalkan kerangka NLP/NLU Google yang kuat ke dalam konteks lingkungan yang kekurangan sumber daya; namun, bahkan implementasi BERT ini, menurut peneliti, sangat menuntut.

Peneliti menjalankan dua eksperimen pada smartphone dan perangkat Raspberry PI. Dalam eksperimen CV, satu gambar yang dipilih secara acak diproses secara terus-menerus dan berulang dalam ResNet50 sebagai tugas klasifikasi, dan dapat berjalan stabil dan tanpa memicu thermal throttling selama satu jam waktu eksperimen.

Makalah tersebut menyatakan:

‘Meskipun mungkin mengorbankan beberapa akurasi, Dynamic Shifting yang diusulkan memiliki kecepatan inferensi yang lebih cepat. Yang paling penting, pendekatan Dynamic Shifting kami menikmati inferensi yang konsisten.’

Menjalankan ResNet50 tanpa bantuan dan dengan Dynamic Shifting antara Slimmable ResNet50 x1.0 dan versi x0.25 pada tugas klasifikasi gambar terus-menerus, selama enam puluh menit.

Untuk tes NLP, peneliti mengatur eksperimen untuk beralih antara dua model terkecil dalam suite DynaBERT, tetapi menemukan bahwa pada 1,4X latensi, BERT mengalami throttling sekitar 70°. Mereka kemudian mengatur penurunan ke tingkat yang terjadi ketika suhu operasi mencapai 65°.

Eksperimen BERT melibatkan menjalankan inferensi terus-menerus pada pasangan pertanyaan/jawaban dari dataset ONLI GLUE.

Perdagangan latensi dan akurasi lebih parah dengan tugas BERT yang ambisius daripada implementasi visi komputer, dan akurasi datang dengan biaya kebutuhan yang lebih parah untuk mengontrol suhu perangkat, untuk menghindari throttling:

Latensi vs akurasi untuk eksperimen peneliti di seluruh dua tugas sektor.

Peneliti mengamati:

‘Dynamic Shifting, secara umum, tidak dapat mencegah model BERT dari thermal throttling karena intensitas komputasi model yang sangat besar. Namun, di bawah beberapa keterbatasan, dynamic shifting masih dapat membantu saat menggelar model BERT pada ponsel.’

Peneliti menemukan bahwa model BERT menyebabkan suhu CPU ponsel Honor V30 naik ke 80° dalam waktu kurang dari 32 detik, dan akan memicu thermal throttling dalam waktu kurang dari enam menit aktivitas. Oleh karena itu, peneliti hanya menggunakan model BERT setengah-lebar.

Eksperimen diulangi pada perangkat Raspberry PI, dan teknik ini juga dapat mencegah pemutusan thermal throttling dalam lingkungan tersebut. Namun, peneliti mencatat bahwa Raspberry PI tidak beroperasi di bawah keterbatasan termal yang sama seperti smartphone yang sangat padat, dan tampaknya telah menambahkan serangkaian eksperimen ini sebagai demonstrasi lebih lanjut tentang efektivitas metode dalam lingkungan pemrosesan yang modest.

Dipublikasikan pertama kali 23 Juni 2022.