Нові горизонти в генераційному ІІ — далеко від хмари

На початку був інтернет, який змінив нашу життя назавжди — те, як ми спілкуємося, купуємо, ведемо бізнес. А потім, з причин затримки, конфіденційності та ефективності витрат, інтернет перейшов на мережевий край, давши початок “інтернету речей”.

Тепер є штучний інтелект, який робить все, що ми робимо в інтернеті, легшим, більш персоналізованим, більш інтелектуальним. Однак для використання його потрібні великі сервери та висока обчислювальна потужність, тому він обмежений хмарою. Але ті ж мотиви — затримка, конфіденційність, ефективність витрат — спонукали компанії, такі як Hailo, розробляти технології, які дозволяють використовувати ІІ на краю.

Безумовно, наступною великою річчю є генераційний ІІ. Генераційний ІІ пропонує величезний потенціал у різних галузях. Він може бути використаний для оптимізації роботи та підвищення ефективності різних творців — юристів, письменників, графічних дизайнерів, музикантів та ін. Він може допомогти відкрити нові терапевтичні препарати або допомогти у медичних процедурах. Генераційний ІІ може покращити промислову автоматизацію, розробити новий програмний код та підвищити транспортну безпеку за допомогою автоматичної синтезу відео, аудіо, зображень та ін.

Однак, генераційний ІІ, як він існує сьогодні, обмежений технологією, яка його дозволяє. Тому що генераційний ІІ відбувається в хмарі — великих центрах даних, які складаються з дорогих, енергозалежних комп’ютерних процесорів, розташовані далеко від фактичних користувачів. Коли хтось видає запит генераційному інструменту ІІ, такий як ChatGPT або деяке нове рішення для відеоконференцій на основі ІІ, запит передається через інтернет до хмари, де він обробляється серверами, перш ніж результати повертаються через мережу.

Когда компанії розробляють нові застосування для генераційного ІІ та розгортають їх на різних пристроях — відеокамерах та системах безпеки, промислових та персональних роботах, ноутбуках та навіть автомобілях — хмара є瓶нем у плані пропускної здатності, витрат та підключення.

І для застосунків, таких як допомога водієві, персональне комп’ютерне програмне забезпечення, відеоконференції та безпека, постійне переміщення даних через мережу може бути ризиком для конфіденційності.

Рішенням є дозволити цим пристроям обробляти генераційний ІІ на краю. Насправді, генераційний ІІ на краю може принести користь багатьом новим застосункам.

Генераційний ІІ на підйомі

Розгляньте той факт, що в червні Mercedes-Benz сказав, що він введе ChatGPT у свої автомобілі. У автомобілі з підтримкою ChatGPT водій міг би запитати автомобіль — без використання рук — про рецепт вечері на основі інгредієнтів, які він вже має вдома. Це можливо, якщо автомобіль підключений до інтернету. У парковці або віддаленому місці всі ставки знімаються.

За останні пару років відеоконференції стали для нас другою природою. Вже зараз програмні компанії інтегрують форми ІІ у рішення для відеоконференцій. Можливо, це для оптимізації якості аудіо та відео в режимі реального часу, або для “розміщення” людей у одному віртуальному просторі. Тепер генераційний ІІ-підтримувані відеоконференції можуть автоматично створювати протоколи зустрічей або підтягувати відповідну інформацію з корпоративних джерел в режимі реального часу, коли обговорюються різні теми.

Однак, якщо розумний автомобіль, система відеоконференцій або будь-який інший пристрій на краю не може зв’язатися з хмарою, то досвід генераційного ІІ не може відбутися. Але що, якщо вони не мали би цього робити? Це звучить як складне завдання, враховуючи величезну обробку хмарного ІІ, але зараз це стає можливим.

Генераційний ІІ на краю

Вже зараз існують інструменти генераційного ІІ, наприклад, які можуть автоматично створювати багатий, цікавий презентаційний матеріал. Але користувачеві потрібно, щоб система працювала з будь-якого місця, навіть без підключення до інтернету.

Аналогічно, ми вже бачимо новий клас генераційних ІІ-асистентів, які фундаментально змінюють спосіб нашої взаємодії з комп’ютерними пристроями, автоматизуючи багато рутинних завдань, таких як створення звітів або візуалізація даних. Представьте собі відкриття ноутбука, розпізнавання користувача через камеру, а потім автоматичне створення курсу дій на день/тиждень/місяць на основі найбільш використовуваних інструментів, таких як Outlook, Teams, Slack, Trello тощо. Але для підтримки конфіденційності даних та хорошого досвіду користувача потрібно мати можливість запускати генераційний ІІ локально.

Крім того, до виконання завдань з ненадійними підключеннями та конфіденційністю даних, ІІ на краю може допомогти зменшити вимоги до пропускної здатності та покращити продуктивність застосунків. Наприклад, якщо застосунок генераційного ІІ створює вміст, багатий на дані, такий як віртуальний конференц-зал, через хмару, процес міг би затримуватися залежно від доступної (і дорогої) пропускної здатності. І певні типи застосунків генераційного ІІ, такі як безпека, робототехніка чи охорона здоров’я, вимагають високопродуктивних, низьколатентних відповідей, яких не можуть забезпечити хмарні підключення.

У сфері відеобезпеки можливість повторної ідентифікації осіб при русі серед багатьох камер — деякі з яких розташовані в місцях, куди не досягають мережі — вимагає моделей даних та обробки ІІ в самих камерах. У цьому випадку генераційний ІІ можна застосовувати до автоматичних описів того, що бачать камери, через прості запити, такі як “Знайдіть 8-річного дитини у червоній футболці та бейсболці”.

Це генераційний ІІ на краю.

Розробки в ІІ на краю

Через прийняття нового класу процесорів ІІ та розробку більш легких, ефективних, хоча й не менш потужних моделей генераційного ІІ, пристрої на краю можуть бути спроектовані для інтелектуальної роботи там, де підключення до хмари неможливе або нежадане.

Очевидно, що обробка в хмарі залишиться критичним компонентом генераційного ІІ. Наприклад, навчання моделей ІІ залишиться в хмарі. Але акт застосування вхідних даних користувача до цих моделей, званий висновуванням, може — і в багатьох випадках повинен — відбуватися на краю.

Індустрія вже розробляє більш легкі, менші, ефективніші моделі ІІ, які можуть бути завантажені на пристрої на краю. Компанії, такі як Hailo, виготовляють процесори ІІ, спеціально призначені для виконання нейронної мережевої обробки. Такі процесори нейронних мереж не тільки обробляють моделі ІІ надзвичайно швидко, але також роблять це з меншою потужністю, що робить їх енергоефективними та придатними для різноманітних пристроїв на краю, від смартфонів до камер.

Обробка генераційного ІІ на краю також може ефективно розподіляти зростаючі робочі навантаження, дозволяти застосункам масштабуватися більш стабільно, звільняти хмарні центри даних від дорогої обробки та допомогти їм зменшити свій вуглецевий слід.

Генераційний ІІ готується змінити обчислювання знову. У майбутньому велика мова на вашому ноутбуці може оновлюватися автоматично так само, як і ваша операційна система сьогодні — і функціонувати так само. Але для цього нам потрібно буде дозволити обробку генераційного ІІ на мережевому краю. Результат обіцяє бути більшим продуктивністю, енергоефективністю та конфіденційністю та безпекою. Все це призведе до застосунків ІІ, які змінять світ так само, як і сам генераційний ІІ.