Wie man Smartphones kühl hält, wenn sie Machine-Learning-Modelle ausführen

Forscher der University of Austin und Carnegie Mellon haben einen neuen Ansatz vorgeschlagen, um rechenintensive Machine-Learning-Modelle auf mobilen Geräten wie Smartphones und auf geringer leistungsfähigen Edge-Geräten auszuführen, ohne dass thermisches Drosseln ausgelöst wird – ein häufiger Schutzmechanismus in professionellen und Consumer-Geräten, der darauf abzielt, die Temperatur des Host-Geräts zu senken, indem die Leistung reduziert wird, bis akzeptable Betriebstemperaturen wieder erreicht sind.

Der neue Ansatz könnte dazu beitragen, dass komplexere ML-Modelle Inferenz und verschiedene andere Arten von Aufgaben ausführen können, ohne die Stabilität des Host-Smartphones zu gefährden.

Die zentrale Idee besteht darin, dynamische Netzwerke zu verwenden, bei denen die Gewichte eines Modells sowohl von einer ‘niedrigen’ als auch von einer ‘vollen’ Version des lokalen Machine-Learning-Modells zugänglich sind.

In Fällen, in denen die Ausführung des lokalen Machine-Learning-Modells die Temperatur des Geräts kritisch ansteigen lassen sollte, würde das Modell dynamisch auf ein weniger anspruchsvolles Modell umschalten, bis die Temperatur stabilisiert ist, und dann wieder auf die vollständige Version umschalten.

Die Testaufgaben bestanden aus einer Bildklassifizierungsarbeit und einer Frage-Antwort-Natur-Sprach-Inferenz (QNLI)-Aufgabe – beides Arten von Operationen, die wahrscheinlich mobile AI-Anwendungen betreffen. Quelle: https://arxiv.org/pdf/2206.10849.pdf

Die Forscher führten Proof-of-Concept-Tests für Computer-Vision- und Natural-Language-Processing- (NLP)-Modelle auf einem 2019er Honor V30 Pro-Smartphone und einem Raspberry Pi 4B 4GB durch.

Aus den Ergebnissen (für das Smartphone) können wir in dem Bild unten die Temperatur des Host-Geräts sehen, die mit der Nutzung steigt und fällt. Die roten Linien stellen ein Modell dar, das ohne Dynamic Shifting läuft.

Obwohl die Ergebnisse ziemlich ähnlich aussehen, sind sie es nicht: Was die Temperatur für die blauen Linien (d. h. mit der neuen Methode) verursacht, ist das Umschalten zwischen einfacheren und komplexeren Modellversionen. Zu keinem Zeitpunkt während der Ausführung wird thermisches Drosseln ausgelöst.

Was die Temperatur für die roten Linien verursacht, ist die automatische Aktivierung des thermischen Drosselns im Gerät, das die Leistung des Modells reduziert und seine Latenz erhöht.

In Bezug auf die Benutzbarkeit des Modells können wir in dem Bild unten sehen, dass die Latenz für das ungesteuerte Modell deutlich höher ist, während es thermisch gedrosselt wird:

Zur gleichen Zeit zeigt das Bild oben fast keine Variation in der Latenz für das Modell, das von Dynamic Shifting gesteuert wird, was während der gesamten Ausführung reaktionsfähig bleibt.

Für den Endbenutzer kann eine hohe Latenz zu einer längeren Wartezeit führen, was zu einer Abandonierung der Aufgabe und Unzufriedenheit mit der App führen kann, die es hostet.

Im Falle von NLP- (anstatt Computer-Vision-) Systemen können hohe Antwortzeiten noch beunruhigender sein, da die Aufgaben möglicherweise eine prompte Antwort erfordern (wie z. B. Auto-Übersetzung oder Hilfen für behinderte Benutzer).

Für wirklich zeitkritische Anwendungen – wie z. B. Echtzeit-VR/AR – würde eine hohe Latenz die Kernfunktionalität des Modells effektiv zerstören.

Die Forscher stellen fest:

‘Wir argumentieren, dass thermisches Drosseln eine ernsthafte Bedrohung für mobile ML-Anwendungen darstellt, die latenzkritisch sind. Zum Beispiel würde während der Echtzeit-Visualisierung für Video-Streaming oder Gaming ein plötzlicher Anstieg der Verarbeitungs-Latenz pro Frame einen erheblichen negativen Effekt auf die Benutzererfahrung haben. Außerdem bieten moderne mobile Betriebssysteme oft spezielle Dienste und Anwendungen für sehbehinderte Personen, wie z. B. VoiceOver auf iOS und TalkBack auf Android. ‘

‘Der Benutzer interagiert normalerweise mit dem Mobiltelefon, indem er sich vollständig auf Sprache verlässt, sodass die Qualität dieser Dienste stark von der Reaktionsfähigkeit oder Latenz der Anwendung abhängt.’

Graphen, die die Leistung von BERT w50 d50 ungesteuert (rot) und mit Dynamic Shifting (blau) demonstrieren. Beachten Sie die Gleichmäßigkeit der Latenz bei Dynamic Shifting (blau).

Das Papier trägt den Titel Play It Cool: Dynamic Shifting verhindert thermisches Drosseln und ist eine Zusammenarbeit zwischen zwei Forschern von UoA; einem von Carnegie Mellon; und einem, der beide Institutionen vertritt.

CPU-basierte Mobile KI

Obwohl Dynamic Shifting und Multi-Scale-Architekturen ein etabliertes und aktives Forschungsgebiet sind, haben sich die meisten Initiativen auf höherwertige Rechen-Geräte konzentriert, und der Schwerpunkt der Bemühungen liegt derzeit zwischen intensiver Optimierung lokaler (d. h. gerätebasierter) neuronalen Netze, in der Regel für Inferenz- und nicht für Trainingszwecke, und der Verbesserung dedizierter mobiler Hardware.

Die von den Forschern durchgeführten Tests wurden auf CPU- und nicht auf GPU-Chips durchgeführt. Trotz wachsendem Interesse an der Nutzung lokaler GPU-Ressourcen in mobilen Machine-Learning-Anwendungen (und sogar Training direkt auf mobilen Geräten, was die Qualität des finalen Modells verbessern könnte), verbrauchen GPUs typischerweise mehr Leistung, ein kritischer Faktor in der Bemühung der KI, unabhängig (von Cloud-Diensten) und nützlich in einem Gerät mit begrenzten Ressourcen zu sein.

Testen von Gewichts-Teilen

Die für das Projekt getesteten Netze waren slimmable Netze und DynaBERT, die jeweils eine Computer-Vision- und eine NLP-basierte Aufgabe darstellten.

Obwohl es verschiedene Initiativen gegeben hat, um Iterationen von BERT zu erstellen, die effizient und wirtschaftlich auf mobilen Geräten laufen können, wurden einige dieser Versuche kritisiert, da sie als umständliche Workarounds gelten, und die Forscher des neuen Papiers bemerken, dass die Verwendung von BERT im mobilen Bereich eine Herausforderung darstellt und dass ‘BERT-Modelle im Allgemeinen zu rechenintensiv für Mobiltelefone sind’.

DynaBERT ist eine chinesische Initiative, um Googles leistungsstarkes NLP/NLU-Framework in den Kontext einer ressourcenarmen Umgebung zu optimieren; aber selbst diese Implementierung von BERT, so fanden die Forscher heraus, war sehr anspruchsvoll.

Trotzdem führten die Autoren auf dem Smartphone und dem Raspberry-PI-Gerät zwei Experimente durch. Im CV-Experiment wurde ein einzelnes, zufällig ausgewähltes Bild kontinuierlich und wiederholt in ResNet50 als Klassifizierungsaufgabe verarbeitet und konnte stabil und ohne Auslösen des thermischen Drosselns für die gesamte Stunde der Experimentalausführung laufen.

Das Papier besagt:

‘Obwohl es möglicherweise einige Genauigkeit opfert, hat das vorgeschlagene Dynamic Shifting eine schnellere Inferenz-Geschwindigkeit. Am wichtigsten ist, dass unser Dynamic-Shifting-Ansatz eine konsistente Inferenz genießt.’

Ausführung von ResNet50 ungesteuert und mit Dynamic Shifting zwischen Slimmable ResNet50 x1.0 und der x0.25-Version auf einer kontinuierlichen Bildklassifizierungs-Aufgabe für sechzig Minuten.

Für die NLP-Tests stellten die Autoren das Experiment so ein, dass es zwischen den beiden kleinsten Modellen im DynaBERT-Set wechselte, aber feststellten, dass bei 1,4-facher Latenz BERT bei etwa 70° drosselt. Sie stellten daher den Down-Shift so ein, dass er bei einer Betriebstemperatur von 65° auftrat.

Das BERT-Experiment bestand darin, die Installation kontinuierlich auf einem Frage-Antwort-Paar aus GLUE’s ONLI-Datensatz laufen zu lassen.

Die Kompromisse zwischen Latenz und Genauigkeit waren bei der ambitionierten BERT-Aufgabe schwerwiegender als bei der Computer-Vision-Implementierung, und die Genauigkeit ging auf Kosten einer stärkeren Notwendigkeit, die Gerätetemperatur zu kontrollieren, um Drosseln zu vermeiden:

Latenz vs. Genauigkeit für die Experimente der Forscher über die beiden Sektoraufgaben.

Die Autoren bemerken:

‘Dynamic Shifting kann im Allgemeinen nicht verhindern, dass BERT-Modelle thermisch drosseln, wegen der enormen Rechenintensität des Modells. Allerdings kann dynamisches Umschalten unter bestimmten Einschränkungen immer noch hilfreich sein, wenn BERT-Modelle auf Mobiltelefonen bereitgestellt werden.’

Die Autoren fanden heraus, dass BERT-Modelle die CPU-Temperatur des Honor V30-Telefons auf 80° in weniger als 32 Sekunden ansteigen lassen und thermisches Drosseln in weniger als sechs Minuten der Aktivität auslösen. Daher verwendeten die Autoren nur halb-breite BERT-Modelle.

Die Experimente wurden auf dem Raspberry-PI-Setup wiederholt, und die Technik konnte auch in dieser Umgebung thermisches Drosseln verhindern. Allerdings bemerken die Autoren, dass der Raspberry PI nicht unter den gleichen extremen thermischen Einschränkungen wie ein eng gepacktes Smartphone operiert, und scheinen diese Reihe von Experimenten hinzugefügt zu haben, um die Wirksamkeit der Methode in bescheiden ausgestatteten Rechenumgebungen weiter zu demonstrieren.

Erstveröffentlicht am 23. Juni 2022.