Як тримати смартфони прохолодними під час виконання моделей машинного навчання

Дослідники з Університету Остін та Карнегі-Меллон запропонували новий спосіб виконання обчислювально дорогих моделей машинного навчання на мобільних пристроях, таких як смартфони, та на нижчих потужних пристроях краю, без спрацювання термічного обмеження – загального захисного механізму в професійних та споживчих пристроях, призначеного для зниження температури пристрою шляхом сповільнення його продуктивності, поки не буде досягнута прийнятна температура.

Новий підхід може допомогти більш складним моделям машинного навчання виконувати висновок та інші типи завдань без загрози стабільності, наприклад, смартфона.

Центральна ідея полягає в тому, щоб використовувати динамічні мережі, де ваги моделі можуть бути доступні як для “низького тиску”, так і для “повної інтенсивності” локальної моделі машинного навчання.

У випадках, коли виконання локальної установки моделі машинного навчання повинно спричинити підвищення температури пристрою, модель динамічно перемикається на менш вимогливу модель, поки температура не стабілізується, а потім перемикається назад на повноцінну версію.

Тестові завдання складалися з класифікації зображень та завдання природної мови QNLI – обидва типу операцій, які, ймовірно, будуть використані в мобільних додатках штучного інтелекту. Джерело: https://arxiv.org/pdf/2206.10849.pdf

Дослідники провели тестові експерименти для моделей комп’ютерного зору та обробки природної мови на смартфоні Honor V30 Pro 2019 року та Raspberry Pi 4B 4GB.

З результатів (для смартфона) ми бачимо на зображенні нижче температуру пристрою, яка підвищується та знижується під час використання. Червоні лінії представляють модель, яка працює без динамічного перемикання.

Хоча результати можуть виглядати досить схожими, вони не є такими: те, що спричиняє підвищення температури для синіх ліній (тобто з використанням нового методу), є перемиканням між простішими та більш складними версіями моделі. В жодному випадку під час виконання не спрацьовує термічне обмеження.

Те, що спричиняє підвищення температури в разі червоних ліній, є автоматичним спрацюванням термічного обмеження в пристрої, яке сповільнює виконання моделі та підвищує її затримку.

Що стосується того, наскільки корисною є модель, ми бачимо на зображенні нижче, що затримка для необслуговуваної моделі значно вища, коли вона піддається термічному обмеженню:

Одночасно зображення вище показує майже жодної зміни затримки для моделі, яка керується динамічним перемиканням, яка залишається реактивною протягом усього часу.

Для кінцевого користувача висока затримка може означати підвищення часу очікування, що може спричинити відмову від завдання та незадоволеність додатком, який його розмістив.

У разі систем обробки природної мови (на відміну від комп’ютерного зору) високі часи реакції можуть бути ще більш тривожними, оскільки завдання можуть залежати від швидкої реакції (наприклад, автоматичного перекладу або утиліт для допомозі людям з обмеженими можливостями).

Для真正 часом критичних застосунків – таких як реальне відео/графіка – висока затримка фактично вбиває корисність моделі.

Дослідники заявляють:

‘Ми стверджуємо, що термічне обмеження становить серйозну загрозу мобільним додаткам машинного навчання, які критичні щодо затримки. Наприклад, під час реального візуального рендерингу для відеопотоку або гри раптова затримка обробки на кадр матиме суттєвий негативний вплив на досвід користувача. Крім того, сучасні мобільні операційні системи часто забезпечують спеціальні служби та додатки для людей з порушеннями зору, такі як VoiceOver на iOS та TalkBack на Android. ‘

‘Користувач зазвичай взаємодіє з мобільним телефоном, повністю покладаючись на мову, тому якість цих послуг залежить від реактивності або затримки додатка.’

Графіки, що демонструють продуктивність BERT w50 d50 без допомоги (червоний), та з динамічним перемиканням (синій). Відзначте рівномірність затримки при динамічному перемиканні (синій).

Стаття називається стаття Play It Cool: Dynamic Shifting Prevents Thermal Throttling, і є співпрацею між двома дослідниками з Університету Остін та одним дослідником з Карнегі-Меллон.

Мобільний штучний інтелект на основі ЦП

Хоча динамічне перемикання та багатомасштабні архітектури є встановленим та активним напрямком дослідження, більшість ініціатив зосередилися на вищому рівні масивів обчислювальних пристроїв, а зараз основна увага приділяється інтенсивній оптимізації локальних (тобто пристроїв) нейронних мереж, зазвичай для висновку, а не навчання, та покращенню спеціалізованого мобільного апаратного забезпечення.

Тести, проведені дослідниками, були проведені на ЦП, а не на графічних процесорах. Незважаючи на зростаючий інтерес до використання локальних ресурсів графічного процесора в мобільних додатках машинного навчання (та навіть навчання безпосередньо на мобільних пристроях, що може покращити якість кінцевої моделі), графічні процесори зазвичай споживають більше енергії, що є критичним фактором у зусиллях штучного інтелекту бути незалежним (від хмарних послуг) та корисним у пристрої з обмеженими ресурсами.

Тестування спільного використання ваг

Тести мереж були слімними мережами та DynaBERT, які представляли комп’ютерний зір та завдання обробки природної мови.

Хоча були різні ініціативи щодо створення ітерацій BERT, які можуть працювати ефективно та економічно на мобільних пристроях, деякі спроби були розкритиковані як складні обходи, та дослідники нової статті зазначають, що використання BERT у мобільному просторі є викликом, та що ‘моделі BERT загалом є надто обчислювально інтенсивними для мобільних телефонів’.

DynaBERT є китайською ініціативою щодо оптимізації потужної фреймворку НЛП/НЛУ Google у контексті середовища з обмеженими ресурсами; однак навіть ця реалізація BERT, дослідники виявили, була дуже вимогливою.

Незважаючи на це, на обох смартфоні та пристрої Raspberry PI, автори провели два експерименти. У експерименті з комп’ютерним зором одна випадкова зображення була оброблена безперервно та повторно в ResNet50 як завдання класифікації, та змогла працювати стабільно та без спрацювання термічного обмеження протягом усього часу експерименту.

Стаття зазначає:

‘Хоча це може пожертвувати деякою точністю, запропоноване динамічне перемикання має вищу швидкість висновку. Найважливіше, що наш підхід динамічного перемикання забезпечує стабільну затримку.’

Виконання ResNet50 без допомоги та з динамічним перемиканням між Slimmable ResNet50 x1.0 та x0.25 на безперервному завдання класифікації зображень, протягом шістдесяти хвилин.

Для експериментів з обробкою природної мови автори встановили експеримент на перемикання між двома найменшими моделями в наборі DynaBERT, але виявили, що на рівні 1,4X затримки BERT спрацьовує на рівні 70°. Тому вони встановили перемикання на рівень 65°.

Експеримент з BERT полягав у тому, щоб дозволити встановленню працювати безперервно на питання/відповідь з ONLI набору даних GLUE.

Торговля між затримкою та точністю була більш серйозною для завдання BERT, ніж для реалізації комп’ютерного зору, та точність мала місце за рахунок більш серйозної потреби контролю температури пристрою, щоб уникнути спрацювання термічного обмеження:

Затримка проти точності для експериментів дослідників по обидва завдання.

Автори зазначають:

‘Динамічне перемикання загалом не може запобігти спрацюванню термічного обмеження для моделей BERT через величезну обчислювальну інтенсивність моделі. Однак під певними обмеженнями динамічне перемикання все ж може бути корисним при розгортанні моделей BERT на мобільних телефонах.’

Автори виявили, що моделі BERT спричиняють підвищення температури процесора смартфона до 80° менш ніж за 32 секунди, та спрацьовують термічне обмеження менш ніж за шість хвилин діяльності. Тому автори використовували лише половинну ширину моделей BERT.

Експерименти були повторені на наборі Raspberry PI, та метод також зміг запобігти спрацюванню термічного обмеження в цьому середовищі. Однак автори зазначають, що Raspberry PI не працює під такими ж екстремальними термічними обмеженнями, як щільно упакований смартфон, та, здається, додали ці експерименти як подальшу демонстрацію ефективності методу в скромно оснащених обчислювальних середовищах.

Перша публікація 23 червня 2022 року.