Miten pitää älypuhelimet jäähtyneinä, kun ne suorittavat koneoppimismalleja

Tutkijat Austinin yliopistosta ja Carnegie Mellonista ovat ehdottaneet uutta tapaa suorittaa laskennallisesti vaativia koneoppimismalleja mobiililaitteilla, kuten älypuhelimilla, ja matalatehoisilla reunalaitteilla, ilman että laite käynnistää termisen rajoituksen – yleinen suojamekanismi ammattilaisten ja kuluttajien laitteissa, joka on suunniteltu alentamaan laitteen lämpötilaa hidastamalla sen suorituskykyä, kunnes hyväksyttävät toimintalämpötilat saavutetaan jälleen.

Uusi lähestymistapa voisi auttaa monimutkaisempia ML-malleja suorittamaan inference- ja muita tehtäviä ilman uhkaa isäntäpuhelimen vakaudelle.

Keskeinen idea on käyttää dynaamisia verkkoja, joissa mallin painot voidaan käyttää sekä “matalapaineisen” että “täysitehoisen” version paikallisen koneoppimismallin kanssa.

Tapauksissa, joissa paikallisen koneoppimismallin toiminnan pitäisi aiheuttaa laitteen lämpötilan nousu kriittisesti, malli vaihtaa dynaamisesti vähemmän vaativaan malliin, kunnes lämpötila stabiloituu, ja sitten vaihtaa takaisin täysiveroiseen versioon.

Testitehtävät koostuivat kuvien luokittelutehtävästä ja kysymys-vastaus luonnollisen kielen inference (QNLI) tehtävästä – molemmat ovat sellaisia toimintoja, jotka todennäköisesti osallistuvat mobiili-AI-sovelluksiin. Lähde: https://arxiv.org/pdf/2206.10849.pdf

Tutkijat suorittivat todisteiden perusteella testit tietokoneen näön ja luonnollisen kielen prosessoinnin (NLP) malleille 2019 Honor V30 Pro -älypuhelimella ja Raspberry Pi 4B 4GB:llä.

Tuloksista (älypuhelimen osalta) voidaan nähdä kuvassa isäntälaitteen lämpötilan nousevan ja laskevan käytön aikana. Punaiset viivat edustavat mallia, jota suoritetaan ilman Dynaamista vaihtoa.

Vaikka tulokset voivat näyttää melko samanlaisilta, ne eivät ole: se, mikä aiheuttaa lämpötilan aaltoilevan sinisille viivoille (ts. käyttäen uuden tutkimuksen menetelmää) on vaihto yksinkertaisempien ja monimutkaisempien malliversioiden välillä. Missään vaiheessa toimintaa termistä rajoitusta ei käynnistetä.

Se, mikä aiheuttaa lämpötilan nousevan ja laskevan punaisen viivalla, on laitteen automaattinen termisen rajoituksen käynnistäminen, joka hidastaa mallin toimintaa ja lisää viivettä.

Käytettävyyden suhteen voidaan nähdä kuvassa, että viive aidoille malleille on huomattavasti suurempi, kun niitä rajoitetaan termisesti.

Samaan aikaan kuvassa on nähtävissä, että Dynaamisen vaihdon avulla malli, jota hallitaan, on vastaanottavissa koko ajan.

Loppukäyttäjälle suuri viive voi tarkoittaa odottamisen lisääntymistä, mikä voi johtaa tehtävän hylkäämiseen ja tyytymättömyyteen sovellukseen, joka isännöi sitä.

NLP-järjestelmissä (toisin kuin tietokoneen näössä) suuret vastausajat voivat olla vielä epämukavampia, koska tehtävät voivat riippua nopeasta vastauksesta (kuten automaattisesta käännöksestä tai sovelluksista, jotka auttavat vammaisia käyttäjiä).

Todella aikakriittisissä sovelluksissa – kuten reaaliaikaisissa VR/AR-sovelluksissa – suuri viive voisi tehokkaasti tappaa mallin ydinominaisuuden.