Hvordan holder smartphones kølige, når de kører maskinelæringmodeller

Forskere fra University of Austin og Carnegie Mellon har foreslået en ny måde at køre beregningskrævende maskinelæringmodeller på mobile enheder som smartphones og på lavere-energi edge-enheder, uden at udløse termisk begrænsning – en almindelig beskyttelsesmekanisme i professionelle og forbrugerenheder, designet til at sænke temperaturen på værtenheden ved at sænke dens ydeevne, indtil acceptabelt driftstemperatur igen opnås.

Den nye tilgang kunne hjælpe mere komplekse ML-modeller til at køre inference og forskellige andre typer opgaver uden at true stabiliteten af, for eksempel, værts-smartphone.

Den centrale idé er at bruge dynamske netværk, hvor vægtene af en model kan adgangs via både en ‘lavtryks’ og ‘fuld intensitet’ version af den lokale maskinelæringmodel.

I tilfælde, hvor drift af den lokale installation af en maskinelæringmodel skal forårsage, at temperaturen på enheden stiger kritisk, vil modellen dynamisk skifte til en mindre krævende model, indtil temperaturen er stabiliseret, og derefter skifte tilbage til den fuldstændige version.

Testopgaverne bestod af et billedeklassificeringsjob og et spørgsmål-svar naturligt sprogindlæring (QNLI) opgave – begge typer operation, der sandsynligvis involverer mobile AI-applikationer. Kilde: https://arxiv.org/pdf/2206.10849.pdf

Forskerne gennemførte proof-of-concept-test for computer vision og Natural Language Processing (NLP) modeller på en 2019 Honor V30 Pro smartphone og en Raspberry Pi 4B 4GB.

Fra resultaterne (for smartphone), kan vi se i billedet nedenfor, at temperaturen på værtenheden stiger og falder med brug. De røde linjer repræsenterer en model, der kører uden Dynamic Shifting.

Selvom resultaterne kan se ret ens ud, er de ikke: Det, der forårsager, at temperaturen svinger for blå linjerne (dvs. ved hjælp af den nye papers metode), er skiftet frem og tilbage mellem simplere og mere komplekse modelversioner. I intet øjeblik under drift udløses termisk begrænsning nogensinde.

Det, der forårsager, at temperaturen stiger og falder i tilfældet med røde linjerne, er den automatiske aktivering af termisk begrænsning i enheden, som sænker modellens ydeevne og øger dens latency.

I forhold til, hvor brugervenligt modellen er, kan vi se i billedet nedenfor, at latencen for den uhjulpede model er betydeligt højere, mens den undergår termisk begrænsning:

Samtidig viser billedet ovenfor næsten ingen variation i latency for modellen, der styres af Dynamic Shifting, som forbliver responsiv hele tiden.

For slutbrugeren kan høj latency betyde øget ventetid, hvilket kan føre til, at en opgave opgives og utilfredshed med appen, der hoster den.

I tilfælde af NLP (i stedet for computer vision) systemer kan høje responstider være endnu mere foruroligende, da opgaverne kan afhænge af prompt respons (såsom auto-oversættelse eller hjælpemidler til handicappede brugere).

For virkelig tidskritiske applikationer – såsom realtid VR/AR – ville høj latency effektivt dræbe modellens kernebrugbarhed.