Лідери думок

Нові горизонти генеративного ШІ — далеко від хмари

Orr Danon
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиПроцесори Edge AI, такі як Hailo, дозволяють генеративному штучному інтелекту працювати…
Показати більше
  • Процесори Edge AI, такі як Hailo, дозволяють генеративному штучному інтелекту працювати локально на пристроях, усуваючи залежність від хмари для критичних застосувань.
  • Перенесення генеративного AI-виводу на периферію вирішує проблеми затримок, конфіденційності та пропускної здатності для автомобілів, систем безпеки та відеоконференцій.
  • Більш компактні AI-моделі та ефективні нейропроцесори зроблять генеративний штучний інтелект стандартною локальною функцією ноутбуків і смартфонів.

На початку був інтернет, який змінив наше життя назавжди — те, як ми спілкуємося, купуємо, ведемо бізнес. А потім, з причин затримки, конфіденційності та ефективності витрат, інтернет перейшов на мережевий край, давши початок “інтернету речей”.

Тепер є штучний інтелект, який робить все, що ми робимо в інтернеті, легшим, більш персоналізованим, більш інтелектуальним. Однак для використання його потрібні великі сервери та висока обчислювальна потужність, тому він обмежений хмарою. Але ті ж мотиви — затримка, конфіденційність, ефективність витрат — спонукали компанії, такі як Hailo, розробляти технології, які дозволяють використовувати ШІ на краю.

Безумовно, наступною великою річчю є генеративний ШІ. Генеративний ШІ пропонує величезний потенціал у різних галузях. Він може бути використаний для оптимізації роботи та підвищення ефективності різних творців — юристів, письменників, графічних дизайнерів, музикантів та ін. Він може допомогти відкрити нові терапевтичні препарати або допомогти у медичних процедурах. Генеративний ШІ може покращити промислову автоматизацію, розробити новий програмний код та підвищити транспортну безпеку за допомогою автоматичного синтезу відео, аудіо, зображень та ін.

Однак, генеративний ШІ, як він існує сьогодні, обмежений технологією, яка його дозволяє. Тому що генеративний ШІ відбувається в хмарі — великих центрах даних, які складаються з дорогих, енергоємних комп’ютерних процесорів, розташовані далеко від фактичних користувачів. Коли хтось видає запит генеративному інструменту ШІ, такий як ChatGPT або деяке нове рішення для відеоконференцій на основі ШІ, запит передається через інтернет до хмари, де він обробляється серверами, перш ніж результати повертаються через мережу.

Коли компанії розробляють нові застосування для генеративного ШІ та розгортають їх на різних пристроях — відеокамерах та системах безпеки, промислових та персональних роботах, ноутбуках та навіть автомобілях — хмара є вузьким місцем у плані пропускної здатності, витрат та підключення.

І для застосунків, таких як допомога водієві, персональне комп’ютерне програмне забезпечення, відеоконференції та безпека, постійне переміщення даних через мережу може бути ризиком для конфіденційності.

Рішенням є дозволити цим пристроям обробляти генеративний ШІ на краю. Насправді, генеративний ШІ на краю може принести користь багатьом новим застосункам.

Генеративний ШІ на підйомі

Розгляньте той факт, що в червні Mercedes-Benz повідомила (MBG.DE ), що компанія запровадить ChatGPT у свої автомобілі. У автомобілі з підтримкою ChatGPT водій міг би запитати автомобіль — без використання рук — про рецепт вечері на основі інгредієнтів, які він вже має вдома. Це можливо, якщо автомобіль підключений до інтернету. У підземному паркінгу або віддаленому місці доступ до інтернету, а отже й до цієї функції, вже не гарантований.

За останні пару років відеоконференції стали для нас другою природою. Вже зараз програмні компанії інтегрують форми ШІ у рішення для відеоконференцій. Можливо, це для оптимізації якості аудіо та відео в режимі реального часу, або для “розміщення” людей у одному віртуальному просторі. Тепер генеративний ШІ-підтримувані відеоконференції можуть автоматично створювати протоколи зустрічей або підтягувати відповідну інформацію з корпоративних джерел в режимі реального часу, коли обговорюються різні теми.

Однак, якщо розумний автомобіль, система відеоконференцій або будь-який інший пристрій на краю не може зв’язатися з хмарою, то досвід генеративного ШІ не може відбутися. Але що, якщо вони не мали би цього робити? Це звучить як складне завдання, враховуючи величезну обробку хмарного ШІ, але зараз це стає можливим.

Генеративний ШІ на краю

Вже зараз існують інструменти генеративного ШІ, наприклад, які можуть автоматично створювати насичені та цікаві презентації PowerPoint. Але користувачеві потрібно, щоб система працювала з будь-якого місця, навіть без підключення до інтернету.

Аналогічно, ми вже бачимо новий клас генеративних ШІ-асистентів типу «другий пілот», які фундаментально змінюють спосіб нашої взаємодії з комп’ютерними пристроями, автоматизуючи багато рутинних завдань, таких як створення звітів або візуалізація даних. Уявіть собі відкриття ноутбука, розпізнавання користувача через камеру, а потім автоматичне створення плану дій на день/тиждень/місяць на основі найбільш використовуваних інструментів, таких як Outlook, Teams, Slack, Trello тощо. Але для підтримки конфіденційності даних та хорошого досвіду користувача потрібно мати можливість запускати генеративний ШІ локально.

Крім розв’язання проблем ненадійного підключення та конфіденційності даних, ШІ на краю може допомогти зменшити вимоги до пропускної здатності та покращити продуктивність застосунків. Наприклад, якщо застосунок генеративного ШІ створює вміст, багатий на дані, такий як віртуальний конференц-зал, через хмару, процес міг би затримуватися залежно від доступної (і дорогої) пропускної здатності. І певні типи застосунків генеративного ШІ, такі як безпека, робототехніка чи охорона здоров’я, вимагають високопродуктивних, низьколатентних відповідей, яких не можуть забезпечити хмарні підключення.

У сфері відеобезпеки можливість повторної ідентифікації осіб при русі серед багатьох камер — деякі з яких розташовані в місцях, куди не досягають мережі — вимагає моделей даних та обробки ШІ в самих камерах. У цьому випадку генеративний ШІ можна застосовувати до автоматичних описів того, що бачать камери, через прості запити, такі як “Знайдіть 8-річну дитину у червоній футболці та бейсболці”.

Це генеративний ШІ на краю.

Розробки в ШІ на краю

Через прийняття нового класу процесорів ШІ та розробку більш легких, ефективних, хоча й не менш потужних моделей генеративного ШІ, пристрої на краю можуть бути спроектовані для інтелектуальної роботи там, де підключення до хмари неможливе або небажане.

Очевидно, що обробка в хмарі залишиться критичним компонентом генеративного ШІ. Наприклад, навчання моделей ШІ залишиться в хмарі. Але акт застосування вхідних даних користувача до цих моделей, званий інференсом, може — і в багатьох випадках повинен — відбуватися на краю.

Індустрія вже розробляє більш легкі, менші, ефективніші моделі ШІ, які можуть бути завантажені на пристрої на краю. Компанії, такі як Hailo, виготовляють процесори ШІ, спеціально призначені для виконання нейронної мережевої обробки. Такі процесори нейронних мереж не тільки обробляють моделі ШІ надзвичайно швидко, але також роблять це з меншим споживанням енергії, що робить їх енергоефективними та придатними для різноманітних пристроїв на краю, від смартфонів до камер.

Обробка генеративного ШІ на краю також може ефективно розподіляти зростаючі робочі навантаження, дозволяти застосункам масштабуватися більш стабільно, звільняти хмарні центри даних від дорогої обробки та допомогти їм зменшити свій вуглецевий слід.

Генеративний ШІ готується змінити обчислювання знову. У майбутньому велика мовна модель (LLM) на вашому ноутбуці може оновлюватися автоматично так само, як і ваша операційна система сьогодні — і функціонувати так само. Але для цього нам потрібно буде дозволити обробку генеративного ШІ на мережевому краю. Результат обіцяє забезпечити вищу продуктивність, енергоефективністю та конфіденційністю та безпекою. Все це призведе до застосунків ШІ, які змінять світ так само, як і сам генеративний ШІ.

Orr Danon — генеральний директор і співзасновник Hailo, компанії, місія якої полягає в тому, щоб допомагати інтелектуальним периферійним технологіям (edge) повністю реалізувати свій потенціал.