Bagaimana Cara Menjaga Smartphone Tetap Dingin Saat Menjalankan Model Pembelajaran Mesin

Peneliti dari Universitas Austin dan Carnegie Mellon telah mengusulkan cara baru untuk menjalankan model pembelajaran mesin yang komputasional mahal pada perangkat mobile seperti smartphone, dan pada perangkat edge yang lebih rendah daya, tanpa memicu thermal throttling – sebuah mekanisme protektif umum pada perangkat profesional dan konsumen, yang dirancang untuk menurunkan suhu perangkat host dengan memperlambat kinerjanya, sampai suhu operasional yang dapat diterima kembali.

Pendekatan baru ini dapat membantu model ML yang lebih kompleks untuk menjalankan inferensi dan berbagai jenis tugas lainnya tanpa mengancam stabilitas, misalnya, smartphone host.

Gagasan sentralnya adalah menggunakan dynamic networks, di mana weights dari model dapat diakses oleh versi ‘tekanan rendah’ dan ‘intensitas penuh’ dari model pembelajaran mesin lokal.

Dalam kasus di mana operasi model pembelajaran mesin lokal harus menyebabkan suhu perangkat naik secara kritis, model akan beralih secara dinamis ke model yang kurang menuntut sampai suhu stabil, dan kemudian beralih kembali ke versi lengkap.

Tugas tes terdiri dari pekerjaan klasifikasi gambar dan tugas inferensi bahasa alami pertanyaan-jawaban (QNLI) – keduanya jenis operasi yang mungkin melibatkan aplikasi AI mobile. Sumber: https://arxiv.org/pdf/2206.10849.pdf

Peneliti melakukan tes konsep untuk model penglihatan komputer dan Natural Language Processing (NLP) pada smartphone Honor V30 Pro 2019, dan Raspberry Pi 4B 4GB.

Dari hasil (untuk smartphone), kita dapat melihat pada gambar di bawah suhu perangkat host naik dan turun dengan penggunaan. Garis merah mewakili model yang berjalan tanpa Dynamic Shifting.

Meskipun hasilnya mungkin terlihat sangat mirip, mereka tidak: apa yang menyebabkan suhu berfluktuasi untuk garis biru (yaitu menggunakan metode baru) adalah peralihan bolak-balik antara versi model yang lebih sederhana dan lebih kompleks. Pada titik mana pun dalam operasi, thermal throttling tidak pernah dipicu.

Apa yang menyebabkan suhu naik dan turun dalam kasus garis merah adalah keterlibatan otomatis thermal throttling pada perangkat, yang memperlambat kinerja model dan meningkatkan latensi.

Dalam hal seberapa berguna modelnya, kita dapat melihat pada gambar di bawah bahwa latensi untuk model yang tidak dibantu jauh lebih tinggi saat mengalami thermal throttling:

Pada saat yang sama, gambar di atas menunjukkan hampir tidak ada variasi latensi untuk model yang dikelola oleh Dynamic Shifting, yang tetap responsif sepanjang waktu.

Bagi pengguna akhir, latensi tinggi dapat berarti waktu tunggu yang lebih lama, yang dapat menyebabkan pengabaian tugas dan ketidakpuasan dengan aplikasi yang menyimpannya.

Dalam kasus sistem NLP (bukan penglihatan komputer), waktu respons yang tinggi dapat lebih mengganggu, karena tugasnya mungkin bergantung pada respons yang cepat (seperti auto-terjemahan, atau utilitas untuk membantu pengguna yang cacat).

Untuk aplikasi yang sangat kritis waktu – seperti VR/AR waktu nyata – latensi tinggi secara efektif akan membunuh kegunaan inti model.