Как сохранить смартфоны прохладными, когда на них работают модели машинного обучения

Исследователи из Университета Остина и Карнеги-Меллона предложили новый способ запуска дорогостоящих в вычислительном отношении моделей машинного обучения на мобильных устройствах, таких как смартфоны, и на маломощных периферийных устройствах без запуска термическое дросселирование – общий защитный механизм в профессиональных и потребительских устройствах, предназначенный для снижения температуры основного устройства за счет замедления его работы до тех пор, пока снова не будут достигнуты приемлемые рабочие температуры.

Новый подход может помочь более сложным моделям машинного обучения выполнять логические выводы и различные другие типы задач, не угрожая, например, стабильности основного смартфона.

Центральная идея заключается в использовании динамические сети, Где весами модели могут быть доступны как в версии локальной модели машинного обучения, так и в версии «полной интенсивности».

В тех случаях, когда работа локальной установки модели машинного обучения должна привести к критическому повышению температуры устройства, модель будет динамически переключаться на менее требовательную модель до стабилизации температуры, а затем переключаться обратно на полноценную версия.

Тестовые задачи состояли из задания по классификации изображений и задания на вывод естественного языка с ответами на вопросы (QNLI) — оба вида операций, которые могут задействовать мобильные приложения ИИ. Источник: https://arxiv.org/pdf/2206.10849.pdf

Исследователи провели контрольные испытания моделей компьютерного зрения и обработки естественного языка (NLP) на смартфоне Honor V2019 Pro 30 года и Raspberry Pi 4B 4 ГБ.

Из результатов (для смартфона) мы можем видеть на изображении ниже, как температура хост-устройства поднимается и падает по мере использования. Красные линии представляют модель, работающую без Динамическое переключение.

Хотя результаты могут выглядеть очень похожими, это не так: почему температура колеблется в течение синий линий (т. е. с использованием метода новой статьи) — это переключение между более простыми и более сложными версиями модели. Ни в какой момент операции тепловое дросселирование никогда не срабатывает.

Что вызывает повышение и понижение температуры в случае red линии — это автоматическое включение термотроттлинга в устройстве, что замедляет работу модели и увеличивает ее латентность.

С точки зрения того, насколько удобна модель, мы можем видеть на изображении ниже, что задержка для модели без посторонней помощи значительно выше, когда она подвергается термическому дросселированию:

В то же время на изображении выше почти не видно изменений задержки для модели, управляемой Dynamic Shifting, которая остается отзывчивой на всем протяжении.

Для конечного пользователя высокая задержка может означать увеличение времени ожидания, что может привести к отказу от задачи и неудовлетворенности приложением, в котором она размещена.

В случае систем NLP (а не компьютерного зрения) высокое время отклика может быть еще более тревожным, поскольку задачи могут зависеть от быстрого ответа (например, автоматический перевод или утилиты для помощи пользователям с ограниченными возможностями).

Для действительно критичных ко времени приложений, таких как виртуальная/дополненная реальность в реальном времени, высокая задержка фактически сведет на нет основную полезность модели.

Исследователи констатируют:

«Мы утверждаем, что тепловое регулирование представляет серьезную угрозу для мобильных приложений машинного обучения, для которых важна задержка. Например, во время визуального рендеринга в реальном времени для потокового видео или игр внезапный всплеск задержки обработки на кадр будет иметь существенное негативное влияние на работу пользователя. Также современные мобильные операционные системы часто предоставляют специальные сервисы и приложения для слабовидящих, например VoiceOver на iOS и TalkBack на Android.

«Пользователь обычно взаимодействует с мобильными телефонами, полностью полагаясь на речь, поэтому качество этих услуг сильно зависит от скорости отклика или задержки приложения».

Графики, демонстрирующие производительность BERT w50 d50 без посторонней помощи (красный) и с помощью динамического переключения передач (синий). Обратите внимание на равномерность задержки при динамическом переключении (синий).

Ассоциация бумаги называется Играйте хладнокровно: динамическое переключение предотвращает тепловое дросселирование, и это сотрудничество между двумя исследователями из UoA; один из Карнеги-Меллона; и один, представляющий оба учреждения.

Мобильный ИИ на базе процессора

Хотя динамическое смещение и многомасштабные архитектуры устоявшийся и активный области исследования, большинство инициатив были сосредоточены на массивах вычислительных устройств более высокого класса, и в настоящее время центр усилий разделен между интенсивной оптимизацией локальных (т.е. основанных на устройствах) нейронных сетей, обычно для целей логического вывода, а не обучение и совершенствование специализированного мобильного оборудования.

Тесты, проведенные исследователями, проводились на процессорах, а не на чипах GPU. Несмотря на растущий интерес в использовании локальных ресурсов графического процессора в мобильных приложениях машинного обучения (и даже обучение прямо на мобильных устройствах, который может улучшить качество конечной модели), графические процессоры обычно потребляют больше энергии, что является критическим фактором в стремлении ИИ быть независимым (от облачных сервисов) и полезным на устройстве с ограниченными ресурсами.

Тестирование распределения веса

Сети, протестированные для проекта, были гибкие сети и ДайнаБЕРТ, представляющие, соответственно, компьютерное зрение и задачу на основе НЛП.

Хотя были разные инициативы сделать итерации BERT, которые могут эффективно и экономично работать на мобильных устройствах, некоторые из попыток подвергся критике как мучительные обходные пути, и исследователи новой статьи отмечают, что использование BERT в мобильном пространстве является проблемой и что «модели BERT в целом требуют слишком больших вычислительных ресурсов для мобильных телефонов».

DynaBERT — это китайская инициатива по оптимизации мощных Структура НЛП/НЛУ в условиях нехватки ресурсов; но даже эта реализация BERT, как обнаружили исследователи, была очень требовательной.

Тем не менее, как на смартфоне, так и на устройстве Raspberry PI авторы провели два эксперимента. В CV-эксперименте одно случайно выбранное изображение обрабатывалось непрерывно и многократно в Реснет50 в качестве задачи классификации и смог работать стабильно и без использования теплового дросселирования в течение всего часа выполнения эксперимента.

В документе говорится:

«Хотя это может пожертвовать некоторой точностью, предлагаемое динамическое смещение имеет более высокую скорость вывода. Что наиболее важно, наш подход Dynamic Shifting обеспечивает последовательный вывод».

Запуск ResNet50 без посторонней помощи и с динамическим переключением между версией Slimmable ResNet50 x1.0 и x0.25 в непрерывной задаче классификации изображений в течение шестидесяти минут.

Для тестов NLP авторы поставили эксперимент по переключению между двумя самыми маленькими моделями в наборе DynaBERT, но обнаружили, что при задержке 1.4X BERT дросселируется примерно на 70 °. Поэтому они устанавливают пониженную передачу, когда рабочая температура достигает 65°.

Эксперимент BERT заключался в том, чтобы позволить установке непрерывно выполнять вывод по паре вопрос/ответ из Набор данных GLUE ONLI.

Компромиссы между задержкой и точностью были более серьезными для амбициозной задачи BERT, чем для реализации компьютерного зрения, а точность достигалась за счет более серьезной необходимости контролировать температуру устройства, чтобы избежать дросселирования:

Задержка и точность для экспериментов исследователей по задачам двух секторов.

Авторы отмечают:

«Динамическое переключение, как правило, не может предотвратить тепловое регулирование моделей BERT из-за огромной вычислительной мощности модели. Однако при некоторых ограничениях динамическое переключение все же может быть полезно при развертывании моделей BERT на мобильных телефонах».

Авторы обнаружили, что модели BERT вызывают повышение температуры процессора телефона Honor V30 до 80° менее чем за 32 секунды и приводят к тепловому троттлингу менее чем за шесть минут активности. Поэтому авторы использовали только модели BERT половинной ширины.

Эксперименты были повторены на установке Raspberry PI, и эта методика также смогла предотвратить срабатывание теплового дросселирования в этой среде. Тем не менее, авторы отмечают, что Raspberry PI не работает в таких экстремальных температурных условиях, как плотно упакованный смартфон, и, по-видимому, добавили этот набор экспериментов в качестве дополнительной демонстрации эффективности метода в скромно оборудованных вычислительных средах.

Впервые опубликовано 23 июня 2022 г.