Kunsmatige Intelligensie
Hoe om slimfone koel te hou wanneer hulle masjienleermodelle gebruik
Navorsers van die Universiteit van Austin en Carnegie Mellon het 'n nuwe manier voorgestel om rekenkundig duur masjienleermodelle op mobiele toestelle soos slimfone en op laer-aangedrewe randtoestelle te laat loop sonder om te aktiveer termiese versnelling – ’n algemene beskermingsmeganisme in professionele en verbruikerstoestelle, ontwerp om die temperatuur van die gasheertoestel te verlaag deur sy werkverrigting te vertraag, totdat aanvaarbare werkstemperature weer verkry word.
Die nuwe benadering kan meer komplekse ML-modelle help om afleidings en verskeie ander soorte take uit te voer sonder om die stabiliteit van byvoorbeeld die gasheer-slimfoon te bedreig.
Die sentrale idee is om te gebruik dinamiese netwerke, waar die gewigte van 'n model kan verkry word deur beide 'n 'lae druk' en 'volle intensiteit' weergawe van die plaaslike masjienleermodel.
In gevalle waar die werking van die plaaslike installasie van 'n masjienleermodel die temperatuur van die toestel krities moet laat styg, sal die model dinamies oorskakel na 'n minder veeleisende model totdat die temperatuur gestabiliseer is, en dan terugskakel na die volwaardige model. weergawe.
Die toetstake het bestaan uit 'n beeldklassifikasie-taak en 'n vraag-beantwoordende natuurlike taalafleiding (QNLI) taak - beide die soort operasie wat waarskynlik mobiele KI-toepassings sal betrek. Bron: https://arxiv.org/pdf/2206.10849.pdf
Die navorsers het bewys-van-konsep-toetse vir rekenaarvisie en natuurlike taalverwerking (NLP)-modelle op 'n 2019 Honor V30 Pro-slimfoon en 'n Raspberry Pi 4B 4GB uitgevoer.
Uit die resultate (vir die slimfoon) kan ons in die prent hieronder sien hoe die temperatuur van die gasheertoestel met gebruik styg en daal. Die rooi lyne verteenwoordig 'n model wat loop sonder Dinamiese verskuiwing.
Alhoewel die resultate baie soortgelyk kan lyk, is dit nie: wat veroorsaak dat die temperatuur golwend vir die blou lyne (dws met behulp van die nuwe vraestel se metode) is die oorskakeling heen en weer tussen eenvoudiger en meer komplekse model weergawes. Op geen stadium in die operasie word termiese versnelling ooit geaktiveer nie.
Wat veroorsaak dat die temperatuur styg en daal in die geval van die rooi lyne is die outomatiese inskakeling van termiese versnelling in die toestel, wat die model se werking vertraag en sy latensie verhoog.
In terme van hoe bruikbaar die model is, kan ons in die prent hieronder sien dat die latensie vir die model sonder hulp aansienlik hoër is terwyl dit termies versmoor word:
Terselfdertyd toon die prent hierbo byna geen variasie in latensie vir die model wat deur Dynamic Shifting bestuur word, wat deurgaans reageer nie.
Vir die eindgebruiker kan hoë latensie groter wagtyd beteken, wat kan laat vaar van 'n taak en ontevredenheid met die toepassing wat dit huisves.
In die geval van NLP-stelsels (eerder as rekenaarvisie), kan hoë reaksietye selfs meer ontstellend wees, aangesien die take op vinnige reaksie kan staatmaak (soos outo-vertaling, of nutsprogramme om gestremde gebruikers te help).
Vir werklik tydkritieke toepassings – soos intydse VR/AR – sal hoë latensie die model se kernnut effektief doodmaak.
Die navorsers sê:
'Ons argumenteer dat termiese versnelling 'n ernstige bedreiging inhou vir mobiele ML-toepassings wat latency-kritiek is. Byvoorbeeld, tydens intydse visuele weergawe vir videostroming of speletjies, sal 'n skielike oplewing van verwerkingsvertraging per raam aansienlike negatiewe uitwerking op gebruikerservaring hê. Moderne mobiele bedryfstelsels verskaf ook dikwels spesiale dienste en toepassings vir siggestremde individue, soos VoiceOver op iOS en TalkBack op Android.
'Die gebruiker het tipies interaksie met selfone deur heeltemal op spraak staat te maak, so die kwaliteit van hierdie dienste is hoogs afhanklik van die responsiwiteit of die latensie van die toepassing.'
Grafieke wat die werkverrigting van BERT w50 d50 sonder hulp (rooi) demonstreer, en aangehelp deur Dynamic Shifting (blou). Let op die egaligheid van latensie in Dinamiese Verskuiwing (blou).
Die papier is getiteld Speel dit koel: dinamiese verskuiwing voorkom termiese versnelling, en is 'n samewerking tussen twee navorsers van UoA; een van Carnegie Mellon; en een wat beide instellings verteenwoordig.
SVE-gebaseerde mobiele AI
Alhoewel dinamiese verskuiwing en multi-skaal argitekture 'n gevestig en aktief studiegebied, het die meeste inisiatiewe gekonsentreer op hoër-end skikkings van rekenaartoestelle, en die lokus van inspanning op die huidige tydstip word verdeel tussen intense optimalisering van plaaslike (dws toestel-gebaseerde) neurale netwerke, gewoonlik vir die doeleindes van afleiding eerder as opleiding, en die verbetering van toegewyde mobiele hardeware.
Die toetse wat deur die navorsers uitgevoer is, is op SVE eerder as GPU-skyfies uitgevoer. Ten spyte van groeiende belangstelling in die gebruik van plaaslike GPU-hulpbronne in mobiele masjienleertoepassings (en selfs opleiding direk op mobiele toestelle, Wat die kwaliteit kan verbeter van die finale model), trek GPU's gewoonlik meer krag, 'n kritieke faktor in KI se poging om onafhanklik te wees (van wolkdienste) en nuttig in 'n toestel met beperkte hulpbronne.
Toets Gewigsdeling
Die netwerke wat vir die projek getoets is, was verslankbare netwerke en DynaBERT, wat onderskeidelik 'n rekenaarvisie en 'n NLP-gebaseerde taak verteenwoordig.
Alhoewel daar verskeie was inisiatiewe om herhalings van BERT te maak wat doeltreffend en ekonomies op mobiele toestelle kan werk, het sommige van die pogings gekritiseer as kronkelende oplossings, en die navorsers van die nuwe artikel merk op dat die gebruik van BERT in die mobiele ruimte 'n uitdaging is, en dat 'BERT-modelle oor die algemeen te berekeningsintensief is vir selfone'.
DynaBERT is 'n Chinese inisiatief om Google se kragtige te optimaliseer NLP/NLU-raamwerk in die konteks van 'n hulpbron-gehongerde omgewing; maar selfs hierdie implementering van BERT, het die navorsers bevind, was baie veeleisend.
Nietemin, op beide die slimfoon en die Raspberry PI-toestel het die skrywers twee eksperimente uitgevoer. In die CV-eksperiment is 'n enkele, ewekansig-gekose beeld voortdurend en herhalend verwerk in ResNet50 as 'n klassifikasietaak, en was in staat om stabiel te werk en sonder om termiese versnelling op te roep vir die hele uur van die eksperiment se looptyd.
Die artikel sê:
'Alhoewel dit 'n mate van akkuraatheid kan opoffer, het die voorgestelde dinamiese verskuiwing 'n vinniger afleidingspoed. Die belangrikste is dat ons Dinamiese Verskuiwing-benadering 'n konsekwente afleiding geniet.'
Deur ResNet50 sonder hulp en met Dynamic Shifting tussen Slimmable ResNet50 x1.0 en die x0.25-weergawe op 'n deurlopende beeldklassifikasietaak, vir sestig minute lank.
Vir die NLP-toetse het die skrywers die eksperiment gestel om tussen die twee kleinste modelle in die DynaBERT-suite te skuif, maar het gevind dat BERT teen ongeveer 1.4 ° teen 70X latensie versmoor. Hulle het dus die afskuif gestel om plaas te vind wanneer die bedryfstemperatuur 65° bereik het.
Die BERT-eksperiment het behels dat die installasie deurlopend afleiding laat loop oor 'n vraag/antwoord-paar vanaf GLUE se ONLI-datastel.
Die vertraging en akkuraatheid-afwykings was ernstiger met die ambisieuse BERT-taak as vir die rekenaarvisie-implementering, en akkuraatheid het gekom ten koste van 'n ernstiger behoefte om die toesteltemperatuur te beheer, om versmooring te vermy:
Latency vs akkuraatheid vir die navorsers se eksperimente oor die twee sektortake heen.
Die skrywers neem waar:
'Dynamiese verskuiwing, in die algemeen, kan nie BERT-modelle verhoed om termiese versnelling te verhinder nie as gevolg van die model se enorme berekeningsintensiteit. Onder sekere beperkings kan dinamiese verskuiwing egter steeds nuttig wees wanneer BERT-modelle op selfone ontplooi word.'
Die skrywers het bevind dat BERT-modelle veroorsaak dat die Honor V30-foon se SVE-temperatuur in minder as 80 sekondes tot 32 ° styg, en dit sal termiese versnelling in minder as ses minute se aktiwiteit oproep. Daarom het die skrywers slegs halfwydte BERT-modelle gebruik.
Die eksperimente is herhaal op die Raspberry PI-opstelling, en die tegniek was ook in staat om in daardie omgewing die aanleiding van termiese versnelling te voorkom. Die skrywers merk egter op dat die Raspberry PI nie onder dieselfde uiterste termiese beperkings werk as 'n styfgepakte slimfoon nie, en blykbaar hierdie reeks eksperimente bygevoeg het as 'n verdere demonstrasie van die metode se doeltreffendheid in beskeie toegeruste verwerkingsomgewings.
Eerste gepubliseer 23 Junie 2022.
