Зростання нейронних процесорних одиниць: покращення генерації штучного інтелекту на пристроях для швидкості та сталийності

Еволюція генеративного штучного інтелекту не тільки змінює нашу взаємодію та досвід взаємодії з обчислювальними пристроями, але також переозначає основні обчислювальні процеси. Одним із ключових факторів цієї трансформації є необхідність виконання генерації штучного інтелекту на пристроях з обмеженими обчислювальними ресурсами. Ця стаття обговорює проблеми, які це викликає, та те, як нейронні процесорні одиниці (NPUs) виникають для вирішення цих проблем. Крім того, стаття представляє деякі з останніх процесорів NPU, які очолюють цей напрямок.

Виоти генерації штучного інтелекту на пристроях

Генеративний штучний інтелект, потужний двигун за синтезом зображень, генерацією тексту та композицією музики, вимагає суттєвих обчислювальних ресурсів. Традиційно ці вимоги задовольнялися за рахунок використання величезних можливостей хмарних платформ. Хоча цей підхід є ефективним, він має自己的 набір проблем для генерації штучного інтелекту на пристроях, включаючи залежність від постійної інтернет-з’єднання та централізованої інфраструктури. Ця залежність вводить затримку, вразливість безпеки та підвищену енергоспоживання.

Основою хмарної інфраструктури штучного інтелекту у великій мірі залежить від центральних процесорних одиниць (CPUs) та графічних процесорних одиниць (GPUs) для обробки обчислювальних вимог генерації штучного інтелекту. Однак, коли ці процесори застосовуються до генерації штучного інтелекту на пристроях, вони зустрічають суттєві перешкоди. CPUs призначені для загальних завдань та не мають спеціалізованої архітектури, необхідної для ефективної та низькопотужної реалізації завдань генерації штучного інтелекту. Їх обмежені можливості паралельної обробки призводять до зниження пропускної здатності, збільшення затримки та вищого енергоспоживання, що робить їх менш ідеальними для генерації штучного інтелекту на пристроях. З іншого боку, хоча GPUs можуть успішно виконувати паралельну обробку, вони в основному призначені для завдань графічної обробки. Для ефективного виконання завдань генерації штучного інтелекту GPUs вимагають спеціалізованих інтегральних схем, які споживають високу потужність та генерують значне тепло. Крім того, їх великий фізичний розмір створює перешкоди для їх використання у компактних пристроях.

Поява нейронних процесорних одиниць (NPUs)

У відповідь на вище згадані проблеми нейронні процесорні одиниці (NPUs) виникають як трансформаційна технологія для реалізації генерації штучного інтелекту на пристроях. Архітектура NPUs у великій мірі заснована на структурі та функції людського мозку, зокрема на тому, як нейрони та синапси співпрацюють для обробки інформації. У NPUs штучні нейрони діють як основні одиниці, відтворюючи біологічні нейрони шляхом прийому входів, обробки їх та генерації виходів. Ці нейрони з’єднані через штучні синапси, які передають сигнали між нейронами з різною силою, яка змінюється під час процесу навчання. Це імітує процес зміни синаптичних ваг у мозку. NPUs організовані у шари; входні шари, які приймають сирі дані, приховані шари, які виконують проміжну обробку, та вихідні шари, які генерують результати. Ця шарова структура відображає багаторівневу та паралельну здатність мозку обробляти інформацію. Оскільки генерація штучного інтелекту також побудована за допомогою подібної структури штучних нейронних мереж, NPUs добре підходять для управління завданнями генерації штучного інтелекту. Ця структурна відповідність знижує потребу у спеціалізованих інтегральних схемах, що призводить до більш компактних, енергоефективних, швидких та сталийних рішень.

Вирішення різних обчислювальних потреб генерації штучного інтелекту

Генеративний штучний інтелект охоплює широкий спектр завдань, включаючи синтез зображень, генерацію тексту та композицію музики, кожне з яких має свій власний набір унікальних обчислювальних вимог. Наприклад, синтез зображень сильно залежить від матричних операцій, тоді як генерація тексту涉ляє послідовну обробку. Для ефективного задоволення цих різноманітних обчислювальних потреб системи на кристалі (SoC) часто інтегрують нейронні процесорні одиниці (NPUs) разом з CPUs та GPUs.

Кожен з цих процесорів пропонує особливі обчислювальні сильні сторони. CPUs особливо придатні для послідовного контролю та негайності, GPUs успішно виконують паралельну обробку даних, а NPUs тонко налаштовані для основних операцій штучного інтелекту, пов’язаних з скалярною, векторною та тензорною математикою. Використовуючи гетерогенні обчислювальні архітектури, завдання можна призначати процесорам на основі їх сильних сторін та вимог конкретної задачі.

NPUs, оптимізовані для завдань штучного інтелекту, можуть ефективно вивантажувати завдання генерації штучного інтелекту з основного CPU. Це вивантаження не тільки забезпечує швидку та енергоефективну роботу, але також прискорює завдання висновку штучного інтелекту, дозволяючи моделям генерації штучного інтелекту працювати більш гладко на пристрої. Коли NPUs обробляють завдання, пов’язані з штучним інтелектом, CPUs та GPUs можуть виділяти ресурси для інших функцій, тим самим підвищуючи загальну продуктивність застосунків та зберігаючи термічну ефективність.

Приклади з реального світу NPUs

Розробка NPUs набуває обертів. Ось деякі приклади з реального світу NPUs:

• Hexagon NPUs від Qualcomm спеціально розроблені для прискорення завдань висновку штучного інтелекту на низьковольтних та низькоресурсних пристроях. Вони побудовані для виконання завдань генерації штучного інтелекту, таких як генерація тексту, синтез зображень та аудіообробка. Hexagon NPU інтегрований до платформ Snapdragon від Qualcomm, забезпечуючи ефективне виконання моделей нейронних мереж на пристроях з продуктами Qualcomm штучного інтелекту.
• Нейронний двигун Apple є ключовим компонентом чипів A-series та M-series, які забезпечують різні функції, пов’язані зі штучним інтелектом, такі як Face ID, Siri та додану реальність (AR). Нейронний двигун прискорює завдання, такі як розпізнавання облич для безпечного Face ID, обробка природної мови (NLP) для Siri, та покращене відстеження об’єктів та розуміння сцен для застосунків AR. Він суттєво підвищує продуктивність завдань, пов’язаних зі штучним інтелектом, на пристроях Apple, забезпечуючи безшовний та ефективний користувальницький досвід.
• NPU від Samsung є спеціалізованим процесором, розробленим для обчислень штучного інтелекту, здатним виконувати тисячі обчислень одночасно. Інтегрований до останніх SoC Exynos від Samsung, які живлять багато телефонів Samsung, ця технологія NPU дозволяє виконувати низьковольтні та високошвидкісні завдання генерації штучного інтелекту. Технологія NPU від Samsung також інтегрована до флагманських телевізорів, забезпечуючи інновації у сфері звуку, керованих штучним інтелектом, та підвищуючи користувальницький досвід.
• Архітектура Da Vinci від Huawei служить ядром їхніх процесорів Ascend AI, розроблених для підвищення потужності обчислень штучного інтелекту. Архітектура використовує потужний 3D кубічний обчислювальний двигун, що робить його потужним для завдань штучного інтелекту.

Висновок

Генеративний штучний інтелект змінює нашу взаємодію з пристроями та переозначає обчислювальні процеси. Виклик виконання генерації штучного інтелекту на пристроях з обмеженими обчислювальними ресурсами є суттєвим, а традиційні CPUs та GPUs часто не відповідають вимогам. Нейронні процесорні одиниці (NPUs) пропонують перспективне рішення завдяки своїй спеціалізованій архітектурі, розробленій для задоволення вимог генерації штучного інтелекту. Інтегруючи NPUs до технології System-on-Chip (SoC) разом з CPUs та GPUs, ми можемо використовувати сильні сторони кожного процесора, що призводить до швидшої, ефективнішої та сталийнішої продуктивності штучного інтелекту на пристроях. Коли NPUs продовжують еволюціонувати, вони готуються до підвищення можливостей штучного інтелекту на пристроях, роблячи застосунки більш реактивними та енергоефективними.