Как сохранить смартфоны прохладными, когда на них работают модели машинного обучения

Исследователи из Университета Остина и Карнеги-Меллона предложили новый способ запуска дорогостоящих в вычислительном отношении моделей машинного обучения на мобильных устройствах, таких как смартфоны, и на маломощных периферийных устройствах без запуска термическое дросселирование – общий защитный механизм в профессиональных и потребительских устройствах, предназначенный для снижения температуры основного устройства за счет замедления его работы до тех пор, пока снова не будут достигнуты приемлемые рабочие температуры.

Новый подход может помочь более сложным моделям машинного обучения выполнять логические выводы и различные другие типы задач, не угрожая, например, стабильности основного смартфона.

Центральная идея заключается в использовании динамические сети, Где весами модели может быть получен как с помощью версии «низкого давления», так и с помощью версии «полной интенсивности» локальной модели машинного обучения.

В тех случаях, когда работа локальной установки модели машинного обучения должна привести к критическому повышению температуры устройства, модель будет динамически переключаться на менее требовательную модель до стабилизации температуры, а затем переключаться обратно на полноценную версия.

Тестовые задачи состояли из задания по классификации изображений и задания на вывод естественного языка с ответами на вопросы (QNLI) — оба вида операций, которые могут задействовать мобильные приложения ИИ. Источник: https://arxiv.org/pdf/2206.10849.pdf

Исследователи провели контрольные испытания моделей компьютерного зрения и обработки естественного языка (NLP) на смартфоне Honor V2019 Pro 30 года и Raspberry Pi 4B 4 ГБ.

Из результатов (для смартфона) мы можем видеть на изображении ниже, как температура хост-устройства поднимается и падает по мере использования. Красные линии представляют модель, работающую без Динамическое переключение.

Хотя результаты могут выглядеть довольно похожими, это не так: что заставляет температуру колебаться в течение синий Линии (т.е. с использованием метода, описанного в новой статье) представляют собой переключение между более простыми и более сложными версиями модели. Ни на одном этапе операции не срабатывает терморегулирование.

Что является причиной повышения и понижения температуры в случае red линий является автоматическое включение теплового дросселирования в устройстве, что замедляет работу модели и увеличивает ее задержку.

С точки зрения того, насколько удобна модель, мы можем видеть на изображении ниже, что задержка для модели без посторонней помощи значительно выше, когда она подвергается термическому дросселированию:

В то же время на изображении выше показано практически отсутствие изменений в задержке для модели, управляемой Dynamic Shifting, которая остается отзывчивой на протяжении всего времени.

Для конечного пользователя высокая задержка может означать увеличение времени ожидания, что может привести к отказу от задачи и неудовлетворенности приложением, в котором она размещена.

В случае систем NLP (а не компьютерного зрения) высокое время отклика может быть еще более тревожным, поскольку задачи могут зависеть от быстрого ответа (например, автоматический перевод или утилиты для помощи пользователям с ограниченными возможностями).

Для действительно критичных ко времени приложений, таких как VR/AR в реальном времени, высокая задержка фактически сведет на нет основную полезность модели.

Исследователи констатируют:

«Мы утверждаем, что тепловое регулирование представляет серьезную угрозу для мобильных приложений машинного обучения, для которых важна задержка. Например, во время визуального рендеринга в реальном времени для потокового видео или игр внезапный всплеск задержки обработки на кадр будет иметь существенное негативное влияние на работу пользователя. Также современные мобильные операционные системы часто предоставляют специальные сервисы и приложения для слабовидящих, например VoiceOver на iOS и TalkBack на Android.

«Пользователь обычно взаимодействует с мобильным телефоном, полностью полагаясь на речь, поэтому качество этих услуг во многом зависит от скорости реагирования или задержки приложения».

Графики, демонстрирующие производительность BERT w50 d50 без посторонней помощи (красный) и с помощью динамического переключения передач (синий). Обратите внимание на равномерность задержки при динамическом переключении (синий).

Команда статье называется Играйте хладнокровно: динамическое переключение предотвращает тепловое дросселирование, и это сотрудничество между двумя исследователями из UoA; один из Карнеги-Меллона; и один, представляющий оба учреждения.

Мобильный ИИ на базе процессора

Хотя динамическое смещение и многомасштабные архитектуры устоявшийся и активный области исследования, большинство инициатив были сосредоточены на массивах вычислительных устройств более высокого класса, и в настоящее время центр усилий разделен между интенсивной оптимизацией локальных (т.е. основанных на устройствах) нейронных сетей, обычно для целей логического вывода, а не обучение и совершенствование специализированного мобильного оборудования.

Тесты, проведенные исследователями, проводились на процессорах, а не на чипах GPU. Несмотря на растущий интерес в использовании локальных ресурсов графического процессора в мобильных приложениях машинного обучения (и даже обучение прямо на мобильных устройствах, который может улучшить качество окончательной модели) графические процессоры обычно потребляют больше энергии, что является критическим фактором в стремлении ИИ быть независимым (от облачных сервисов) и полезным на устройстве с ограниченными ресурсами.

Тестирование распределения веса

Сети, протестированные для проекта, были гибкие сети и ДайнаБЕРТ, представляющие, соответственно, компьютерное зрение и задачу на основе НЛП.

Хотя были разные инициативы сделать итерации BERT, которые могут эффективно и экономично работать на мобильных устройствах, некоторые из попыток подвергся критике как сложные обходные пути, и исследователи новой статьи отмечают, что использование BERT в мобильном пространстве является сложной задачей, и что «модели BERT в целом требуют слишком большого объема вычислений для мобильных телефонов».

DynaBERT — это китайская инициатива по оптимизации мощного инструментария Google. Структура НЛП/НЛУ в условиях нехватки ресурсов; но даже эта реализация BERT, как обнаружили исследователи, была очень требовательной.

Тем не менее, как на смартфоне, так и на устройстве Raspberry PI авторы провели два эксперимента. В эксперименте с CV одно случайно выбранное изображение непрерывно и многократно обрабатывалось в ResNet50 в качестве задачи классификации. Исследование работало стабильно и без теплового дросселирования в течение всего часа, пока длился эксперимент.

В документе говорится:

«Хотя это может привести к некоторому снижению точности, предлагаемый динамический сдвиг обеспечивает более высокую скорость вывода. Что ещё важнее, наш подход с динамическим сдвигом обеспечивает последовательный вывод».

Запуск ResNet50 без посторонней помощи и с динамическим переключением между версией Slimmable ResNet50 x1.0 и x0.25 в непрерывной задаче классификации изображений в течение шестидесяти минут.

Для тестов NLP авторы поставили эксперимент по переключению между двумя самыми маленькими моделями в наборе DynaBERT, но обнаружили, что при задержке 1.4X BERT дросселируется примерно на 70 °. Поэтому они устанавливают пониженную передачу, когда рабочая температура достигает 65°.

Эксперимент BERT заключался в том, чтобы позволить установке непрерывно выполнять вывод по паре вопрос/ответ из Набор данных ONLI от GLUE.

Компромиссы между задержкой и точностью были более серьезными для амбициозной задачи BERT, чем для реализации компьютерного зрения, а точность достигалась за счет более серьезной необходимости контролировать температуру устройства, чтобы избежать дросселирования:

Задержка и точность в экспериментах исследователей в двух секторах задач.

Авторы отмечают:

«В целом, динамическое переключение не может предотвратить температурное дросселирование моделей BERT из-за огромной вычислительной мощности модели. Однако, при некоторых ограничениях, динамическое переключение всё же может быть полезно при развёртывании моделей BERT на мобильных телефонах».

Авторы обнаружили, что модели BERT вызывают повышение температуры процессора смартфона Honor V30 до 80°C менее чем за 32 секунды и приводят к тепловому троттлингу менее чем за шесть минут активности. Поэтому авторы использовали только модели BERT половинной ширины.

Эксперименты были повторены на Raspberry Pi, и в этой среде метод также смог предотвратить срабатывание теплового троттлинга. Однако авторы отмечают, что Raspberry Pi не работает в таких же экстремальных температурных условиях, как плотно упакованный смартфон, и, по-видимому, добавили этот ряд экспериментов для дополнительной демонстрации эффективности метода в средах с ограниченным оборудованием.

Впервые опубликовано 23 июня 2022 г.