Безперервне навчання на пристрої стало ближче завдяки новій техніці навчання

Команда дослідників з MIT і MIT-IBM Watson AI Lab розробила нову техніку, яка дозволяє проводити навчання на пристрої, використовуючи менше чверті мегабайта пам’яті. Ця нова розробка є вражаючою, оскільки інші рішення для навчання зазвичай потребують більше 500 мегабайт пам’яті, що перевищує 256-кілобайтну ємність більшості мікроконтролерів.

Навчання моделі машинного навчання на розумному пристрої дозволяє їй адаптуватися до нових даних і робити кращі передбачення. Однак процес навчання зазвичай потребує багато пам’яті, тому його часто проводять на комп’ютерах у центрі даних перед розгортанням моделі на пристрої. Цей процес набагато дорожчий і викликає питання щодо конфіденційності порівняно з новою технікою, розробленою командою.

Дослідники розробили алгоритми і.framework таким чином, щоб зменшити кількість обчислень, необхідних для навчання моделі, що робить процес швидшим і більш ефективним щодо пам’яті. Ця техніка дозволяє проводити навчання моделі машинного навчання на мікроконтролері за кілька хвилин.

Нова техніка також допомагає з питаннями конфіденційності, оскільки дані залишаються на пристрої, що важливо, коли справа стосується конфіденційних даних. Одночасно framework покращує точність моделі порівняно з іншими підходами.

Сонг Хан є асоційованим професором кафедри електротехніки і комп’ютерних наук (EECS), членом MIT-IBM Watson AI Lab і старшим автором дослідницької праці.

«Наша робота дозволяє пристроям Інтернету речей не тільки виконувати висновки, але й безперервно оновлювати моделі штучного інтелекту за новими даними, відкриваючи шлях до безперервного навчання на пристрої», – сказав Хан. «Низьке використання ресурсів робить глибоке навчання більш доступним і може мати ширший охват, особливо для низькопотужних пристроїв краю».

У дослідницькій праці брали участь співавтори Джі Лін і Ліґенґ Чжу, аспіранти кафедри електротехніки і комп’ютерних наук, а також постдоки Вей-Мінґ Чен і Вей-Чен Ванґ з MIT. У праці також брали участь Чуанґ Ґан, головний дослідницький співробітник MIT-IBM Watson AI Lab.

Зробити процес навчання більш ефективним

Щоб зробити процес навчання більш ефективним і менш пам’яттю інтенсивним, команда спирається на два алгоритмічні рішення. Перше з них відоме як розріджений оновлення, яке використовує алгоритм, що визначає найбільш важливі ваги для оновлення під час кожного раунду навчання. Алгоритм заморожує ваги одну за одною, поки точність не впаде до певного порогу, після чого він зупиняється. Залишні ваги потім оновлюються, а активації, що відповідають замороженим вагам, не потрібно зберігати в пам’яті.

«Оновлення всієї моделі дуже дорого, оскільки існує багато активацій, тому люди схильні оновлювати лише останній шар, але, як ви можете уявити, це шкодить точності», – сказав Хан. «Для нашого методу ми вибірково оновлюємо важливі ваги і забезпечуємо повну збереження точності».

Друге рішення, розроблене командою, полягає у квантованому навчанні і спрощенні ваг. Алгоритм спочатку округлює ваги до восьми біт через процес квантування, який також зменшує кількість пам’яті для навчання і висновку, де висновок є процесом застосування моделі до набору даних і генерації передбачення. Алгоритм потім спирається на техніку, звану квантова чутлива масштабування (QAS), яка діє як множник для регулювання співвідношення між вагою і градієнтом. Це допомагає уникнути будь-якого падіння точності, яке могло б бути результатом квантованого навчання.

Дослідники розробили систему, звану крихітним навчальним двигуном, який запускає інновації алгоритмів на простому мікроконтролері без операційної системи. Щоб виконати більше роботи на етапі компіляції перед розгортанням моделі на пристрої, система змінює порядок кроків у процесі навчання.

«Ми витискаємо багато обчислень, таких як авто-диференціювання і графічна оптимізація, на етап компіляції. Ми також агресивно обрізаємо зайві оператори для підтримки розріджених оновлень. Як тільки на етапі виконання, у нас є значно менше роботи для виконання на пристрої», – сказав Хан.

Дуже ефективна техніка

Хоча традиційні техніки, розроблені для легкого навчання, зазвичай потребують близько 300-600 мегабайт пам’яті, оптимізація команди потребувала лише 157 кілобайт для навчання моделі машинного навчання на мікроконтролері.

Фреймворк був протестований шляхом навчання моделі комп’ютерного зору для виявлення людей на зображеннях, і вона змогла виконати цю задачу за всього 10 хвилин. Метод також зміг навчити модель більш ніж у 20 разів швидше, ніж інші методи.

Дослідники тепер планують застосувати ці техніки до моделей мови і різних типів даних. Вони також хочуть використовувати цю здобуту знання, щоб звузити більші моделі без втрати точності, що також може допомогти зменшити вуглецевий слід навчання великомасштабних моделей машинного навчання.