Как сохранять смартфоны в прохладном состоянии при запуске моделей машинного обучения

Исследователи из Университета Остина и Карнеги-Меллона предложили новый способ запуска вычислительно дорогих моделей машинного обучения на мобильных устройствах, таких как смартфоны, и на устройствах с низкой мощностью, без запуска термического ограничения – обычный защитный механизм в профессиональных и потребительских устройствах, предназначенный для снижения температуры устройства за счет снижения его производительности, пока не будут достигнуты приемлемые рабочие температуры.

Новый подход может помочь более сложным моделям машинного обучения запускать вывод и различные другие типы задач без угрозы стабильности, например, хост-смартфона.

Центральная идея заключается в использовании динамических сетей, где веса модели могут быть доступны как для «низкого давления», так и для «полной интенсивности» локальной модели машинного обучения.

В случаях, когда работа локальной установки модели машинного обучения должна вызвать повышение температуры устройства, модель динамически переключится на менее требовательную модель до тех пор, пока температура не стабилизируется, и затем переключится обратно на полноценную версию.

Тестовые задачи состояли из задачи классификации изображений и задачи вопрос-ответа с использованием естественного языка (QNLI) – оба типа операций, вероятно, будут задействованы в мобильных приложениях ИИ. Источник: https://arxiv.org/pdf/2206.10849.pdf

Исследователи провели тесты для компьютерного зрения и моделей обработки естественного языка (NLP) на смартфоне Honor V30 Pro 2019 года и Raspberry Pi 4B 4GB.

Из результатов (для смартфона) мы видим на изображении ниже, что температура устройства повышается и понижается с использованием. Красные линии представляют модель, работающую без динамического переключения.

Хотя результаты могут выглядеть khá похожими, они не являются: то, что вызывает колебания температуры для синих линий (т.е. при использовании нового метода), является переключением между более простыми и более сложными версиями модели. В никакой момент работы не происходит термическое ограничение.

То, что вызывает повышение и понижение температуры в случае красных линий, является автоматическим включением термического ограничения в устройстве, которое замедляет работу модели и повышает ее задержку.

В плане того, насколько модель является удобной, мы видим на изображении ниже, что задержка для неисправной модели намного выше, когда она подвергается термическому ограничению:

В то же время изображение выше показывает почти нет вариаций задержки для модели, которая управляется динамическим переключением, которая остается отзывчивой на протяжении всего времени.

Для конечного пользователя высокая задержка может означать увеличение времени ожидания, что может привести к отказу от задачи и недовольству приложением, которое ее размещает.

В случае систем NLP (а не компьютерного зрения) высокие времена ответа могут быть еще более тревожными, поскольку задачи могут полагаться на быстрый ответ (например, автоматический перевод или утилиты для помощи людям с ограниченными возможностями).

Для действительно критических приложений – таких как реальное время VR/AR – высокая задержка фактически убьет основную полезность модели.

Исследователи заявляют:

‘Мы утверждаем, что термическое ограничение представляет серьезную угрозу для мобильных приложений ИИ, которые критичны к задержке. Например, во время реального времени визуализации для видеопотока или игр внезапный скачок задержки обработки на кадр будет иметь существенное негативное влияние на опыт пользователя. Кроме того, современные мобильные операционные системы часто предоставляют специальные услуги и приложения для людей с нарушениями зрения, такие как VoiceOver на iOS и TalkBack на Android. ‘

‘Пользователь обычно взаимодействует с мобильными телефонами, полностью полагаясь на речь, поэтому качество этих услуг сильно зависит от отзывчивости или задержки приложения.’

Графики, демонстрирующие производительность BERT w50 d50 без помощи и с помощью динамического переключения. Обратите внимание на равномерность задержки при динамическом переключении (синий).

Статья называется Играйте в прохладное: динамическое переключение предотвращает термическое ограничение, и является совместной работой двух исследователей из Университета Остина; одного из Карнеги-Меллона; и одного, представляющего оба учреждения.

Мобильный ИИ на основе ЦП

Хотя динамическое переключение и многоуровневые архитектуры являются установленной и активной областью исследования, большинство инициатив были сосредоточены на более мощных массивах вычислительных устройств, и в настоящее время основное внимание уделяется интенсивной оптимизации локальных (т.е. устройство-ориентированных) нейронных сетей, обычно для целей вывода, а не обучения, и улучшению специализированного мобильного оборудования.

Тесты, проведенные исследователями, были проведены на ЦП, а не на GPU. Несмотря на растущий интерес к использованию локальных ресурсов GPU в мобильных приложениях ИИ (и даже обучению напрямую на мобильных устройствах, что может улучшить качество конечной модели), GPU обычно потребляют больше энергии, что является критическим фактором в попытке ИИ быть независимым (от облачных услуг) и полезным в устройстве с ограниченными ресурсами.

Тестирование общих весов

Сети, протестированные для проекта, были тонкими сетями и DynaBERT, представляющими, соответственно, задачу компьютерного зрения и задачу NLP.

Хотя были различные инициативы по созданию итераций BERT, которые могут работать эффективно и экономично на мобильных устройствах, некоторые из этих попыток были раскритикованы как извращенные обходные пути, и исследователи новой статьи отмечают, что использование BERT в мобильном пространстве является проблемой, и что ‘модели BERT в целом слишком вычислительно интенсивны для мобильных телефонов’.

DynaBERT – это китайская инициатива по оптимизации мощной рамки NLP/NLU Google в контексте ресурсо-ограниченной среды; но даже эта реализация BERT, как обнаружили исследователи, была очень требовательной.

Тем не менее, на обоих смартфоне и устройстве Raspberry PI авторы провели два эксперимента. В эксперименте по компьютерному зрению одна случайно выбранная изображение была обработана непрерывно и повторно в ResNet50 в качестве задачи классификации, и смогла работать стабильно и без вызова термического ограничения на протяжении всего часа эксперимента.

Статья гласит:

‘Хотя это может пожертвовать некоторой точностью, предложенное динамическое переключение имеет более быструю скорость вывода. Самое главное, наш подход динамического переключения имеет постоянную скорость вывода.’

Запуск ResNet50 без помощи и с помощью динамического переключения между Slimmable ResNet50 x1.0 и версией x0.25 на непрерывной задаче классификации изображений, в течение шестидесяти минут.

Для тестов NLP авторы установили эксперимент для переключения между двумя самыми маленькими моделями в наборе DynaBERT, но обнаружили, что при задержке 1,4X BERT ограничивается при примерно 70°. Они поэтому установили переключение вниз, когда температура работы достигала 65°.

Эксперимент с BERT включал запуск вывода непрерывно на паре вопрос-ответ из набора данных ONLI.

Торговля задержкой и точностью была более серьезной для задачи BERT, чем для реализации компьютерного зрения, и точность шла за счет более серьезной необходимости контролировать температуру устройства, чтобы избежать ограничения:

Задержка и точность для экспериментов исследователей по двум задачам.

Авторы отмечают:

‘Динамическое переключение в целом не может предотвратить термическое ограничение моделей BERT из-за их огромной вычислительной интенсивности. Однако при определенных ограничениях динамическое переключение все еще может быть полезным при развертывании моделей BERT на мобильных телефонах.’

Авторы обнаружили, что модели BERT вызывают повышение температуры CPU смартфона Honor V30 до 80° менее чем за 32 секунды, и вызывают термическое ограничение менее чем за шесть минут работы. Поэтому авторы использовали только модели BERT с половиной ширины.

Эксперименты были повторены на установке Raspberry PI, и техника также смогла предотвратить запуск термического ограничения в этой среде. Однако авторы отмечают, что Raspberry PI не работает под теми же экстремальными термическими ограничениями, что и плотно упакованный смартфон, и, кажется, добавили эту серию экспериментов в качестве дальнейшей демонстрации эффективности метода в скромно оснащенных вычислительных средах.

Опубликовано впервые 23 июня 2022 г.