Kā uzturēt viedtālruņus vēsus, kad tie izmanto mašīnmācības modeļus

Pētnieki no Ostinas Universitātes un Kārnegijs Melons ir ierosinājuši jaunu veidu, kā palaist skaitļošanas ziņā dārgus mašīnmācīšanās modeļus mobilajās ierīcēs, piemēram, viedtālruņos, un mazjaudas malas ierīcēs, neaktivizējot. termiskā droseļvārsts – kopīgs aizsargmehānisms profesionālajās un patērētāju ierīcēs, kas paredzēts saimniekierīces temperatūras pazemināšanai, palēninot tās darbību, līdz atkal tiek iegūta pieņemama darba temperatūra.

Jaunā pieeja varētu palīdzēt sarežģītākiem ML modeļiem veikt secinājumus un veikt dažādus cita veida uzdevumus, neapdraudot, piemēram, resursdatora viedtālruņa stabilitāti.

Galvenā ideja ir izmantot dinamiski tīkli, kur svari modeļa var piekļūt gan vietējā mašīnmācīšanās modeļa “zema spiediena”, gan “pilnas intensitātes” versijā.

Gadījumos, kad mašīnmācīšanās modeļa lokālās instalācijas darbībai vajadzētu izraisīt ierīces temperatūras kritisku paaugstināšanos, modelis dinamiski pārslēgtos uz mazāk prasīgu modeli, līdz temperatūra stabilizējas, un pēc tam pārslēgtos atpakaļ uz pilnvērtīgu. versija.

Testa uzdevumi sastāvēja no attēlu klasifikācijas uzdevuma un atbildes uz jautājumiem dabiskās valodas secinājuma (QNLI) uzdevuma — abas darbības, kas varētu iesaistīt mobilās AI lietojumprogrammas. Avots: https://arxiv.org/pdf/2206.10849.pdf

Pētnieki veica koncepcijas pierādīšanas testus datorredzes un dabiskās valodas apstrādes (NLP) modeļiem 2019. gada Honor V30 Pro viedtālrunī un Raspberry Pi 4B 4GB.

No rezultātiem (viedtālrunim) attēlā redzams, ka resursdatora ierīces temperatūra paaugstinās un pazeminās lietošanas laikā. Sarkanās līnijas attēlo modeli, kas darbojas bez Dinamiskā pārslēgšana.

Lai gan rezultāti var izskatīties diezgan līdzīgi, tie tādi nav: kas izraisa temperatūras svārstības zils līnijas (ti, izmantojot jauno papīra metodi) ir pārslēgšanās uz priekšu un atpakaļ starp vienkāršāku un sarežģītāku modeļa versiju. Nevienā darbības brīdī termiskā drosele netiek iedarbināta.

Kas izraisa temperatūras paaugstināšanos un pazemināšanos gadījumā sarkans līnijas ir automātiska termiskās droseles ieslēgšana ierīcē, kas palēnina modeļa darbību un palielina tā latentumu.

Runājot par modeļa lietojamību, tālāk redzamajā attēlā redzams, ka bezpalīdzības modeļa latentums ir ievērojami lielāks, kamēr tas tiek termiski droseles.

Tajā pašā laikā iepriekš redzamajā attēlā gandrīz nav redzamas latentuma atšķirības modelim, ko pārvalda dinamiskā nobīde, kas visu laiku saglabā atsaucību.

Galalietotājam liels latentums var nozīmēt ilgāku gaidīšanas laiku, kas var izraisīt uzdevuma pamešanu un neapmierinātību ar lietotni, kas to mitina.

NLP (nevis datorredzes) sistēmu gadījumā augsts reakcijas laiks var radīt vēl lielāku satraukumu, jo uzdevumi var būt atkarīgi no ātras atbildes (piemēram, automātiskā tulkošana vai utilītas, kas palīdz lietotājiem invalīdiem).

Patiesi laikkritiskām lietojumprogrammām, piemēram, reāllaika VR/AR, liels latentums efektīvi iznīcinātu modeļa galveno lietderību.

Pētnieki norāda:

Mēs apgalvojam, ka termiskā drosele rada nopietnus draudus mobilajām ML lietojumprogrammām, kurām ir izšķiroša nozīme latentumā. Piemēram, reāllaika vizuālās renderēšanas laikā video straumēšanai vai spēlēm pēkšņs apstrādes latentuma pieaugums katrā kadrā būtiski negatīvi ietekmēs lietotāja pieredzi. Turklāt mūsdienu mobilās operētājsistēmas bieži nodrošina īpašus pakalpojumus un lietojumprogrammas cilvēkiem ar redzes traucējumiem, piemēram, VoiceOver operētājsistēmā iOS un TalkBack operētājsistēmā Android.

"Lietotājs parasti mijiedarbojas ar mobilajiem tālruņiem, pilnībā paļaujoties uz runu, tāpēc šo pakalpojumu kvalitāte ir ļoti atkarīga no lietojumprogrammas reakcijas vai latentuma."

Diagrammas, kas parāda BERT w50 d50 veiktspēju bez palīdzības (sarkanā krāsā) un ar dinamiskās pārslēgšanas palīdzību (zilā krāsā). Ņemiet vērā latentuma vienmērīgumu dinamiskajā pārslēgšanā (zilā krāsā).

Jūsu darbs IR Klientu apkalpošana papīrs tiek nosaukts Play It Cool: dinamiskā pārslēgšana novērš termisko droseles darbību, un tā ir divu pētnieku no UoA sadarbība; viens no Kārnegija Melona; un viens, kas pārstāv abas institūcijas.

Uz CPU balstīta mobilā AI

Lai gan dinamiskā maiņa un vairāku mēroga arhitektūras ir izveidots un aktīvs Pētījuma jomā lielākā daļa iniciatīvu ir vērstas uz augstākās klases skaitļošanas ierīču blokiem, un piepūles loks pašlaik ir sadalīts starp intensīvu vietējo (ti, uz ierīcēm balstītu) neironu tīklu optimizāciju, parasti secinājumu, nevis secinājumu nolūkos. apmācību un speciālas mobilās aparatūras uzlabošanu.

Pētnieku veiktie testi tika veikti ar CPU, nevis GPU mikroshēmām. Neskatoties uz pieaugoša interese vietējo GPU resursu piesaistē mobilo mašīnu mācību lietojumprogrammās (un pat apmācību tieši mobilajās ierīcēs, Kas varētu uzlabot kvalitāti gala modeļa), GPU parasti patērē vairāk enerģijas, kas ir kritisks faktors AI centienos būt neatkarīgam (no mākoņpakalpojumiem) un noderīgi ierīcē ar ierobežotiem resursiem.

Svara dalīšanas pārbaude

Projektā pārbaudītie tīkli bija slaidināmi tīkli un DynaBERT, kas pārstāv attiecīgi datora redzējumu un uz NLP balstītu uzdevumu.

Lai gan ir bijuši dažādi iniciatīvām lai veiktu BERT iterācijas, kas var efektīvi un ekonomiski darboties mobilajās ierīcēs, daži mēģinājumi ir bijuši tika kritizēti Jaunā raksta pētnieki atzīmē, ka BERT izmantošana mobilajā telpā ir izaicinājums un ka "BERT modeļi kopumā ir pārāk skaitļošanas ietilpīgi mobilajiem tālruņiem".

DynaBERT ir Ķīnas iniciatīva, lai optimizētu Google jaudīgo NLP/NLU ietvars resursu trūkuma apstākļos; taču pat šī BERT ieviešana, kā atklāja pētnieki, bija ļoti prasīga.

Neskatoties uz to, gan viedtālrunī, gan Raspberry PI ierīcē autori veica divus eksperimentus. CV eksperimentā viens, nejauši izvēlēts attēls tika nepārtraukti un atkārtoti apstrādāts ResNet50 kā klasifikācijas uzdevumu, un tas varēja darboties stabili un bez termiskās droseles izmantošanas visu eksperimenta darbības laiku.

Darbā teikts:

Lai gan tas var upurēt zināmu precizitāti, ierosinātajai dinamiskajai pārslēgšanai ir lielāks secinājumu ātrums. Vissvarīgākais ir tas, ka mūsu dinamiskās maiņas pieeja bauda konsekventus secinājumus.

ResNet50 darbināšana bez palīdzības un ar dinamisku pārslēgšanos starp Slimmable ResNet50 x1.0 un x0.25 versiju nepārtrauktā attēlu klasifikācijas uzdevumā sešdesmit minūtes.

Lai veiktu NLP testus, autori iestatīja eksperimentu, lai pārslēgtos starp diviem mazākajiem DynaBERT komplekta modeļiem, taču konstatēja, ka pie 1.4 X latentuma BERT droselē aptuveni 70 ° leņķī. Tāpēc tie nosaka pārslēgšanu uz leju, kad darba temperatūra sasniedz 65°.

BERT eksperimentā tika ļauts instalācijai nepārtraukti veikt secinājumus par jautājumu/atbilžu pāri no GLUE ONLI datu kopa.

Ar vērienīgo BERT uzdevumu latentuma un precizitātes kompromisi bija nopietnāki nekā datorvīzijas ieviešanā, un precizitāte radās uz nopietnākas nepieciešamības kontrolēt ierīces temperatūru, lai izvairītos no droseles.

Latentums pret precizitāti pētnieku eksperimentiem abos sektora uzdevumos.

Autori atzīmē:

"Dinamiskā pārslēgšanās kopumā nevar novērst BERT modeļu termiskās droseles modeļa milzīgās skaitļošanas intensitātes dēļ. Tomēr, ievērojot dažus ierobežojumus, dinamiskā pārslēgšanās joprojām var būt noderīga, izvietojot BERT modeļus mobilajos tālruņos.

Autori atklāja, ka BERT modeļi izraisa Honor V30 tālruņa CPU temperatūras paaugstināšanos līdz 80° mazāk nekā 32 sekundēs un aktivizēs termisko droseles darbību mazāk nekā sešu minūšu laikā. Tāpēc autori izmantoja tikai pusplatuma BERT modeļus.

Eksperimenti tika atkārtoti Raspberry PI iestatījumā, un šī tehnika spēja arī šajā vidē novērst termiskās droseles iedarbināšanu. Tomēr autori atzīmē, ka Raspberry PI nedarbojas ar tādiem pašiem ārkārtējiem termiskiem ierobežojumiem kā cieši iesaiņots viedtālrunis, un šķiet, ka tas ir pievienojis šo eksperimentu sēriju kā turpmāku metodes efektivitātes demonstrējumu pieticīgi aprīkotās apstrādes vidēs.

Pirmo reizi publicēts 23. gada 2022. jūnijā.