Роль tinyML у забезпеченні комп’ютерного бачення на краю – лідери думок

Від: Девіс Сойєр, співзасновник та головний директор з продукту, Deeplite

Комп’ютерне бачення має великий потенціал для покращення нашого повсякденного життя – і існує багато застосувань та використання для нього. Наприклад:

• Розумні дверні дзвінки для домашньої безпеки допомагають запобігти “піратству на порозі” та зломам. За даними дослідження I.H.S. Markit (опублікованого в SecurityInfoWatch) кількість глобальних камер спостереження у світі мала становити 1 мільярд у 2021 році. Самотуж у США кількість камер мала становити 85 мільйонів;
• У паркінгах камери з підтримкою штучного інтелекту автоматизують відстежування вільних та зайнятих парковочних місць, щоб інформувати споживачів про наявність вільних місць;
• Камери на приладових панелях на вантажівках тепер читають знаки обмеження швидкості та динамічно знижують швидкість вантажівки для покращення безпеки;
• І дрони з підключеними камерами спостерігають за віддаленими та важкодоступними територіями та можуть обробляти зображення та приймати рішення в реальному часі.

Всі ці застосування використовують інтелектуальну відеоаналітику, керовану штучним інтелектом та машинним навчанням (ML), для спостереження за відео, використання інтелекту для прийняття рішень та подальших дій.

Комп’ютерне бачення потребує більше ресурсів на краю

Однак, як і багато застосувань, керованих штучним інтелектом, комп’ютерне бачення потребує витрат комп’ютерної потужності, пам’яті та енергії для проведення складного аналізу та прийняття рішень. Хоча це нормально в центрі даних з великою комп’ютерною потужністю, це може запобігти переміщенню штучного інтелекту на край. Зокрема, маленькі пристрої, розташовані далеко від корпоративних центрів даних та працюють на малих батареях, потребують нового типу штучного інтелекту, який є меншим, швидшим та “легшим”, ніж традиційні підходи. І існуючі пристрої потребують оновлення з новою функціональністю штучного інтелекту + машинного навчання (комп’ютерного бачення), щоб залишатися життєздатними та конкурентоспроможними.

Нові досягнення підвищують швидкість глибоких нейронних мереж

Сьогодні нові досягнення в галузі штучного інтелекту роблять глибокі нейронні мережі (DNN) швидшими, меншими та більш енергоефективними – і допомагають перемістити штучний інтелект з хмари та центрів даних на крайові пристрої та батарейні сенсори. Коли мова йде про навчання моделей штучного інтелекту, приголомшливий вуглецевий слід був задокументований та обговорений (наприклад, навчання однієї моделі мови штучного інтелекту випускає стільки ж CO2, скільки 5 автомобілів за весь їхній термін служби). Однак нам потрібно зрозуміти, який є екологічний вплив висновків моделі штучного інтелекту та як зменшити цей слід. Саме тут оптимізація моделі може мати величезні переваги завдяки зменшенню економічного та екологічного кошту DNN.

TinyML дозволяє штучний інтелект на малих пристроях

Одним із таких досягнень є tinyML, потужна нова тенденція, яка дозволяє малим, батарейним пристроям використовувати просунуте машинне навчання для доставки комп’ютерного бачення та інших задач сприйняття. Це забезпечує висновок машинного навчання на малих, обмежених ресурсами пристроях, зазвичай на краю хмари, та допомагає забезпечити застосування на краю ближче до користувача.

Наприклад, серверна GPU, така як NVIDIA A100, має понад 40 ГБ доступної пам’яті, що підходить для запуску складного штучного інтелекту, такого як комп’ютерне бачення та обробка природної мови. Однак, коли ми говоримо про крайові пристрої та tinyML, звичайний мікроконтролер (MCU) може мати лише 256 КБ вбудованої пам’яті, що в понад 100 000 разів менше пам’яті, ніж у хмарі! Крім того, на відміну від центрів даних та хмари, апаратне забезпечення крайових пристроїв не може бути легко оновлено в полі. Це означає, що нам потрібно “вписати” наш штучний інтелект у наявне апаратне забезпечення, що може зайняти місяці чи роки спроб та помилок для розробників, якщо це взагалі можливо. Саме тут tinyML, зокрема автоматизоване машинне навчання (також називається AutoML), може відіграти велику роль у подоланні бар’єрів для прийняття штучного інтелекту у реальному світі.

І вплив tinyML зростає. З понад 10 000 учасників, фундація tinyML розширює екосистему для підтримки розробки та розгортання надзвичайно низьковольтних рішень машинного навчання на краю. Фундація об’єднує глобальну спільноту апаратного забезпечення, програмного забезпечення, машинного навчання, вчених-даних, системних інженерів, дизайнерів, продукт-менеджерів та бізнесменів.

Світ можливостей

Загалом, існує мільярди малих, підключених пристроїв, які можуть виграти від просунутого інтелекту. Виклик полягає в тому, що вони мають дуже обмежені ресурси, тому як ми можемо додати інтелект до них? tinyML може відіграти ключову роль у доставці штучного інтелекту та машинного навчання до більшості застосувань, заснованих на комп’ютерному баченні, у реальному світі, на краю на малих пристроях. І це може розблокувати світ переваг для людей та компаній у різних продуктах, послугах та галузях, допомагаючи нам рухатися у нові рубежі для штучного інтелекту.