Зростання нейронних процесорних одиниць: покращення генерації штучного інтелекту на пристроях для швидкості та сталості

Еволюція генеративного штучного інтелекту не тільки змінює нашу взаємодію та досвід роботи з комп’ютерними пристроями, але також переозначає сам комп’ютер. Одним з ключових факторів цієї трансформації є необхідність роботи генеративного штучного інтелекту на пристроях з обмеженими обчислювальними ресурсами. Ця стаття розглядає виклики, які це представляє, та як нейронні процесорні одиниці (NPUs) виникають для вирішення цих проблем. Крім того, стаття знайомить з деякими з останніх процесорів NPU, які ведуть шлях у цій галузі.

Виклики інфраструктури генерації штучного інтелекту на пристроях

Генеративний штучий інтелект, потужний двигун за генерацією зображень, тексту та музики, вимагає суттєвих обчислювальних ресурсів. Традиційно ці вимоги задовольнялися за рахунок використання величезних можливостей хмарних платформ. Хоча цей підхід ефективний, він має自己的 набір викликів для генерації штучного інтелекту на пристроях, включаючи залежність від постійного інтернет-з’єднання та централізованої інфраструктури. Ця залежність вводить затримку, вразливість безпеки та підвищене енергоспоживання.

Основою хмарної інфраструктури штучного інтелекту в основному є центральні процесорні одиниці (CPUs) та графічні процесорні одиниці (GPUs) для задоволення обчислювальних вимог генерації штучного інтелекту. Однак, коли їх застосовують до генерації штучного інтелекту на пристроях, ці процесори зустрічають суттєві перешкоди. CPUs призначені для загальних завдань і не мають спеціалізованої архітектури, необхідної для ефективної та низькопотужної реалізації завдань генерації штучного інтелекту. Їх обмежені можливості паралельного оброблення призводять до зниження пропускної здатності, підвищення затримки та вищого енергоспоживання, що робить їх менш придатними для генерації штучного інтелекту на пристроях. З іншого боку, хоча GPUs можуть добре виконувати завдання паралельного оброблення, вони в основному призначені для завдань графічного оброблення. Для ефективного виконання завдань генерації штучного інтелекту GPUs вимагають спеціалізованих інтегральних схем, які споживають високу потужність та генерують значне тепло. Крім того, їх великий фізичний розмір створює перешкоди для їх використання у компактних пристроях.

Поява нейронних процесорних одиниць (NPUs)

У відповідь на вищезазначені виклики нейронні процесорні одиниці (NPUs) виникають як трансформаційна технологія для реалізації генерації штучного інтелекту на пристроях. Архітектура NPUs в основному заснована на структурі та функції людського мозку, зокрема на тому, як нейрони та синапси співпрацюють для оброблення інформації. У NPUs штучні нейрони діють як базові одиниці, повторюючи біологічні нейрони шляхом отримання вхідних даних, оброблення їх та генерації вихідних даних. Ці нейрони з’єднані штучними синапсами, які передають сигнали між нейронами з різною силою, яка змінюється під час процесу навчання. Це імітує процес зміни синаптичних ваг у мозку. NPUs організовані у шарах; вхідні шари, які отримують сирі дані, приховані шари, які виконують проміжне оброблення, та вихідні шари, які генерують результати. Ця шарова структура відображає багаступеневу та паралельну здатність оброблення інформації мозку. Оскільки генерація штучного інтелекту також побудована за допомогою подібної структури штучних нейронних мереж, NPUs добре підходять для управління завданнями генерації штучного інтелекту. Ця структурна відповідність зменшує потребу у спеціалізованих інтегральних схемах, що призводить до більш компактних, енергоефективних, швидких та сталісних рішень.

Вирішення різноманітних обчислювальних потреб генерації штучного інтелекту

Генерація штучного інтелекту охоплює широкий спектр завдань, включаючи генерацію зображень, генерацію тексту та композицію музики, кожна з яких має свої унікальні обчислювальні вимоги. Наприклад, генерація зображень сильно залежить від матричних операцій, тоді як генерація тексту включає послідовне оброблення. Для ефективного задоволення цих різноманітних обчислювальних потреб системи на кристалі (SoC) часто інтегрують нейронні процесорні одиниці (NPUs) разом з CPUs та GPUs.

Кожен з цих процесорів має свої особливі обчислювальні сильні сторони. CPUs особливо придатні для послідовного контролю та негайності, GPUs виділяються у паралельному обробленні даних, а NPUs тонко налаштовані для основних операцій штучного інтелекту, що займаються скалярною, векторною та тензорною математикою. Використовуючи гетерогенну обчислювальну архітектуру, завдання можна призначати процесорам на основі їх сильних сторін та вимог конкретної задачі.

NPUs, оптимізовані для завдань штучного інтелекту, можуть ефективно вивантажувати завдання генерації штучного інтелекту з основного CPU. Це вивантажування не тільки забезпечує швидкі та енергоефективні операції, але також прискорює завдання інференції штучного інтелекту, дозволяючи моделям генерації штучного інтелекту працювати більш гладко на пристрої. Коли NPUs обробляють завдання, пов’язані зі штучним інтелектом, CPUs та GPUs можуть виділяти ресурси для інших функцій, тим самим підвищуючи загальну продуктивність застосування та зберігаючи теплову ефективність.

Реальні приклади NPUs

Розробка NPUs набуває імпульсу. Ось деякі реальні приклади NPUs:

• Hexagon NPUs від Qualcomm (QCOM ) спеціально розроблені для прискорення завдань інференції штучного інтелекту на пристроях з низькою потужністю та обмеженими ресурсами. Вони призначені для завдань генерації штучного інтелекту, таких як генерація тексту, генерація зображень та аудіооброблення. Hexagon NPU інтегрована у платформи Snapdragon від Qualcomm, забезпечуючи ефективне виконання моделей нейронних мереж на пристроях з продуктами штучного інтелекту Qualcomm.
• Neural Engine від Apple (AAPL ) є ключовим компонентом чіпів серії A та M, що живлять різні функції, пов’язані зі штучним інтелектом, такі як Face ID, Siri та розширена реальність (AR). Neural Engine прискорює завдання, такі як розпізнавання облич для безпечного Face ID, оброблення природної мови (NLP) для Siri, та покращене відстеження об’єктів та розуміння сцен для застосунків AR. Він суттєво підвищує продуктивність завдань, пов’язаних зі штучним інтелектом, на пристроях Apple, забезпечуючи безперервний та ефективний досвід користувача.
• NPU від Samsung – спеціалізований процесор, призначений для обчислень штучного інтелекту, здатний обробляти тисячі обчислень одночасно. Інтегрований у останні системі на кристалі (SoC) Exynos від Samsung, які живлять багато телефонів Samsung, ця технологія NPU дозволяє виконувати завдання генерації штучного інтелекту з низькою потужністю та високою швидкістю. Технологія NPU від Samsung також інтегрована у флагманські телевізори, забезпечуючи інновації у сфері звуку, керованих штучним інтелектом, та покращення досвіду користувача.
• Архітектура Da Vinci від Huawei служить ядром їхнього процесора Ascend AI, розробленого для підвищення обчислювальної потужності штучного інтелекту. Архітектура використовує потужний 3D кубічний обчислювальний двигун, що робить його потужним для завдань штучного інтелекту.

Висновок

Генерація штучного інтелекту трансформує нашу взаємодію з пристроями та переозначає комп’ютер. Виклик виконання генерації штучного інтелекту на пристроях з обмеженими обчислювальними ресурсами суттєвий, а традиційні CPUs та GPUs часто не справляються. Нейронні процесорні одиниці (NPUs) пропонують перспективне рішення зі своєю спеціалізованою архітектурою, розробленою для задоволення вимог генерації штучного інтелекту. Інтегруючи NPUs у систему на кристалі (SoC) разом з CPUs та GPUs, ми можемо використовувати сильні сторони кожного процесора, що призводить до швидшої, більш ефективної та сталісної продуктивності штучного інтелекту на пристроях. По мірі розвитку NPUs вони готуються до покращення можливостей генерації штучного інтелекту на пристроях, роблячи застосування більш реакційними та енергоефективними.