Как сохранять смартфоны в прохладном состоянии при запуске моделей машинного обучения

Исследователи из Университета Остина и Карнеги-Меллона предложили новый способ запуска вычислительно ресурсоёмких моделей машинного обучения на мобильных устройствах, таких как смартфоны, и на менее мощных периферийных устройствах, без срабатывания термического ограничения – обычного защитного механизма в профессиональных и потребительских устройствах, предназначенный для снижения температуры устройства за счет снижения его производительности, пока не будут достигнуты приемлемые рабочие температуры.

Новый подход может помочь более сложным моделям машинного обучения запускать вывод и различные другие типы задач без угрозы стабильности, например, хост-смартфона.

Центральная идея заключается в использовании динамических сетей, где веса модели могут быть доступны как для «низкого давления», так и для «полной интенсивности» локальной модели машинного обучения.

В случаях, когда работа локальной установки модели машинного обучения должна вызвать повышение температуры устройства, модель динамически переключится на менее требовательную модель до тех пор, пока температура не стабилизируется, и затем переключится обратно на полноценную версию.

Тестовые задачи состояли из задачи классификации изображений и задачи вопрос-ответа с использованием естественного языка (QNLI) – оба типа операций, вероятно, будут задействованы в мобильных приложениях ИИ. Источник: https://arxiv.org/pdf/2206.10849.pdf

Исследователи провели тесты для компьютерного зрения и моделей обработки естественного языка (NLP) на смартфоне Honor V30 Pro 2019 года и Raspberry Pi 4B 4GB.

Из результатов (для смартфона) мы видим на изображении ниже, что температура устройства повышается и понижается с использованием. Красные линии представляют модель, работающую без динамического переключения.

Хотя результаты могут выглядеть довольно похожими, это не так: то, что вызывает колебания температуры для синих линий (т.е. при использовании нового метода), является переключением между более простыми и более сложными версиями модели. Ни в один момент работы тепловое ограничение не срабатывает.

То, что вызывает повышение и понижение температуры в случае красных линий, является автоматическим включением термического ограничения в устройстве, которое замедляет работу модели и повышает ее задержку.

В плане того, насколько модель является удобной, мы видим на изображении ниже, что задержка для модели без динамического переключения намного выше, когда она подвергается термическому ограничению:

В то же время изображение выше показывает почти полное отсутствие колебаний задержки для модели, которая управляется динамическим переключением, которая остается отзывчивой на протяжении всего времени.

Для конечного пользователя высокая задержка может означать увеличение времени ожидания, что может привести к отказу от задачи и недовольству приложением, которое ее размещает.

В случае систем NLP (а не компьютерного зрения) высокие времена ответа могут быть еще более тревожными, поскольку задачи могут полагаться на быстрый ответ (например, автоматический перевод или утилиты для помощи людям с ограниченными возможностями).

Для приложений, действительно критичных ко времени, — таких как VR/AR в реальном времени – высокая задержка фактически убьет основную полезность модели.

Исследователи заявляют:

‘Мы утверждаем, что термическое ограничение представляет серьезную угрозу для мобильных приложений ИИ, которые критичны к задержке. Например, во время визуализации в реальном времени для видеопотока или игр внезапный скачок задержки обработки на кадр будет иметь существенное негативное влияние на опыт пользователя. Кроме того, современные мобильные операционные системы часто предоставляют специальные услуги и приложения для людей с нарушениями зрения, такие как VoiceOver на iOS и TalkBack на Android. ‘

‘Пользователь обычно взаимодействует с мобильными телефонами, полностью полагаясь на речь, поэтому качество этих услуг сильно зависит от отзывчивости или задержки приложения.’

Графики, демонстрирующие производительность BERT w50 d50 без помощи и с помощью динамического переключения. Обратите внимание на равномерность задержки при динамическом переключении (синий).

Статья называется Сохраняйте прохладу: динамическое переключение предотвращает термическое ограничение, и является совместной работой двух исследователей из Университета Остина; одного из Карнеги-Меллона; и одного, представляющего оба учреждения.

Мобильный ИИ на основе ЦП

Хотя динамическое переключение и многомасштабные архитектуры являются установленной и активной областью исследования, большинство инициатив были сосредоточены на более мощных массивах вычислительных устройств, и в настоящее время основное внимание уделяется интенсивной оптимизации локальных (т.е. устройство-ориентированных) нейронных сетей, обычно для целей вывода, а не обучения, и улучшению специализированного мобильного оборудования.

Тесты, проведенные исследователями, были проведены на ЦП, а не на GPU. Несмотря на растущий интерес к использованию локальных ресурсов GPU в мобильных приложениях ИИ (и даже обучению напрямую на мобильных устройствах, что может улучшить качество конечной модели), GPU обычно потребляют больше энергии, что является критическим фактором в попытке ИИ быть независимым (от облачных услуг) и полезным в устройстве с ограниченными ресурсами.

Тестирование общих весов

Сети, протестированные для проекта, были сетями с регулируемой шириной (slimmable) и DynaBERT, представляющими, соответственно, задачу компьютерного зрения и задачу NLP.

Хотя были различные инициативы по созданию итераций BERT, которые могут работать эффективно и экономично на мобильных устройствах, некоторые из этих попыток были раскритикованы как сложные обходные решения, и исследователи новой статьи отмечают, что использование BERT в мобильном пространстве является проблемой, и что ‘модели BERT в целом слишком вычислительно интенсивны для мобильных телефонов’.

DynaBERT – это китайская инициатива по оптимизации мощной платформы NLP/NLU Google в контексте ресурсо-ограниченной среды; но даже эта реализация BERT, как обнаружили исследователи, была очень требовательной.

Тем не менее, как на смартфоне, так и на устройстве Raspberry PI авторы провели два эксперимента. В эксперименте по компьютерному зрению одно случайно выбранное изображение обрабатывалось непрерывно и повторно в ResNet50 в качестве задачи классификации, а модель могла работать стабильно и без вызова термического ограничения на протяжении всего часа эксперимента.

Статья гласит:

‘Хотя это может пожертвовать некоторой точностью, предложенное динамическое переключение имеет более быструю скорость вывода. Самое главное, наш подход динамического переключения имеет постоянную скорость вывода.’

Запуск ResNet50 без помощи и с помощью динамического переключения между Slimmable ResNet50 x1.0 и версией x0.25 на непрерывной задаче классификации изображений, в течение шестидесяти минут.

Для тестов NLP авторы установили эксперимент для переключения между двумя самыми маленькими моделями в наборе DynaBERT, но обнаружили, что при задержке 1,4X BERT ограничивается при примерно 70°. Они поэтому установили переключение вниз, когда температура работы достигала 65°.

Эксперимент с BERT включал запуск вывода непрерывно на паре вопрос-ответ из набора данных ONLI из GLUE.

Компромиссы между задержкой и точностью была более серьезной для задачи BERT, чем для реализации компьютерного зрения, и точность шла за счет более серьезной необходимости контролировать температуру устройства, чтобы избежать ограничения:

Задержка и точность для экспериментов исследователей по двум задачам.

Авторы отмечают:

‘Динамическое переключение в целом не может предотвратить термическое ограничение моделей BERT из-за их огромной вычислительной интенсивности. Однако при определенных ограничениях динамическое переключение все еще может быть полезным при развертывании моделей BERT на мобильных телефонах.’

Авторы обнаружили, что модели BERT вызывают повышение температуры CPU смартфона Honor V30 до 80° менее чем за 32 секунды, и вызывают термическое ограничение менее чем за шесть минут работы. Поэтому авторы использовали только модели BERT с половиной ширины.

Эксперименты были повторены на установке Raspberry PI, и техника также смогла предотвратить запуск термического ограничения в этой среде. Однако авторы отмечают, что Raspberry PI не работает под теми же экстремальными термическими ограничениями, что и плотно упакованный смартфон, и, кажется, добавили эту серию экспериментов в качестве дальнейшей демонстрации эффективности метода в скромно оснащенных вычислительных средах.

Опубликовано впервые 23 июня 2022 г.