Майбутнє генеративного ШІ — це перевага

Поява ChatGPT і Генеративний ШІ загалом, це переломний момент в історії технологій і порівнюється із зорею Інтернету та смартфонів. Generative AI продемонстрував безмежний потенціал у своїй здатності вести інтелектуальні розмови, складати іспити, створювати складні програми/код і створювати привабливі зображення та відео. Хоча графічні процесори запускають більшість моделей ШІ покоління в хмарі – як для навчання, так і для висновків – це не є довгостроковим масштабованим рішенням, особливо для висновків, через такі фактори, як вартість, потужність, затримка, конфіденційність і безпека. У цій статті розглядається кожен із цих факторів разом із спонукальними прикладами для перенесення обчислювальних навантажень Gen AI на межу.

Більшість додатків працюють на високопродуктивних процесорах – на пристроях (наприклад, смартфонах, настільних ПК, ноутбуках) або в центрах обробки даних. Оскільки частка додатків, які використовують штучний інтелект, зростає, ці процесори лише з ЦП є недостатніми. Крім того, швидке розширення робочих навантажень Generative AI сприяє експонентному попиту на сервери з підтримкою штучного інтелекту з дорогими, енергоємними графічними процесорами, що, у свою чергу, підвищує витрати на інфраструктуру. Ці сервери з підтримкою ШІ можуть коштувати в 7 разів дорожче звичайного сервера, а 80% цієї додаткової вартості припадає на графічні процесори.

Крім того, хмарний сервер споживає від 500 до 2000 Вт, тоді як сервер із підтримкою штучного інтелекту споживає від 2000 до 8000 Вт – у 4 рази більше! Для підтримки цих серверів центри обробки даних потребують додаткових модулів охолодження та модернізації інфраструктури, що може бути навіть вищим, ніж інвестиції в обчислювальну систему. Центри обробки даних вже споживають 300 TWH на рік, майже 1% від загального світового споживання електроенергії.  Якщо тенденції впровадження штучного інтелекту збережуться, то до 5 року центри обробки даних зможуть використовувати до 2030% світової потужності. Крім того, є безпрецедентні інвестиції в центри обробки даних Generative AI. За оцінками, центри обробки даних споживатимуть до 500 мільярдів доларів на капітальні витрати до 2027 року, головним чином через вимоги до інфраструктури ШІ.

Споживання електроенергії центрами обробки даних, яке вже становить 300 Twh, значно зросте з впровадженням генеративного ШІ.

Вартість обчислень AI, а також споживання енергії перешкоджатимуть масовому впровадженню Generative AI. Проблеми масштабування можна подолати, перемістивши обчислення штучного інтелекту на край і використовуючи рішення обробки, оптимізовані для робочих навантажень ШІ. Завдяки такому підходу клієнти також отримують інші переваги, зокрема затримку, конфіденційність, надійність, а також збільшені можливості.

Обчислення слідують за даними до Edge

Десять років тому, коли штучний інтелект з’явився в академічному світі, навчання та створення моделей ШІ відбувалося в хмарі/центрі обробки даних. Оскільки велика частина даних генерується та споживається на межі – особливо відео – мало сенс лише перенести висновок даних на межу, тим самим покращуючи загальну вартість володіння (TCO) для підприємств завдяки зниженню витрат на мережу та обчислення. У той час як витрати на висновок штучного інтелекту в хмарі повторюються, вартість висновків на межі є одноразовою витратою на обладнання. По суті, доповнення системи процесором Edge AI знижує загальні експлуатаційні витрати. Подібно до міграції звичайних робочих навантажень штучного інтелекту на Edge (наприклад, пристроїв, пристроїв), робочі навантаження Generative AI наслідуватимуть цей приклад. Це принесе істотну економію підприємствам і споживачам.

Перехід на периферію в поєднанні з ефективним прискорювачем штучного інтелекту для виконання функцій логічного виводу також дає інші переваги. Найголовнішою з них є затримка. Наприклад, в ігрових програмах неігровими персонажами (NPC) можна керувати та доповнювати за допомогою генеративного штучного інтелекту. Використовуючи моделі LLM, що працюють на прискорювачах штучного інтелекту на периферії в ігровій консолі або ПК, гравці можуть ставити цим персонажам конкретні цілі, щоб вони могли змістовно брати участь в історії. Низька затримка від локального логічного виводу дозволить мові та рухам NPC реагувати на команди та дії гравців у режимі реального часу. Це забезпечить захопливий ігровий досвід економічно ефективним та енергоефективним способом.

У таких програмах, як охорона здоров’я, конфіденційність і надійність надзвичайно важливі (наприклад, оцінка пацієнтів, рекомендації щодо ліків). Дані та пов’язані моделі штучного інтелекту покоління мають бути локальними, щоб захистити дані пацієнтів (конфіденційність), і будь-які збої в мережі, які заблокують доступ до моделей штучного інтелекту в хмарі, можуть бути катастрофічними. Пристрій Edge AI, що використовує модель Gen AI, розроблену спеціально для кожного корпоративного клієнта – у цьому випадку постачальника медичних послуг – може легко вирішити проблеми конфіденційності та надійності, забезпечуючи меншу затримку та витрати.

Генеративний штучний інтелект на периферійних пристроях забезпечить низьку затримку в іграх, збереже дані пацієнтів і підвищить надійність медичної допомоги.

Багато моделей штучного інтелекту покоління, які працюють у хмарі, можуть наближатися до трильйона параметрів – ці моделі можуть ефективно відповідати на запити загального призначення. Однак для корпоративних додатків потрібно, щоб моделі надавали результати, які відповідають конкретному варіанту використання. Візьмемо приклад помічника на основі штучного інтелекту покоління, створеного для прийому замовлень у ресторані швидкого харчування. Щоб ця система забезпечувала безперебійну взаємодію з клієнтами, базова модель штучного інтелекту покоління має бути навчена працювати з пунктами меню ресторану, а також знати алергени та інгредієнти. . Розмір моделі можна оптимізувати за допомогою супермножини великої мовної моделі (LLM) для навчання відносно невеликої LLM із 10–30 мільярдів параметрів, а потім використовувати додаткове тонке налаштування з даними про клієнта. Така модель може забезпечити результати з підвищеною точністю та можливостями. А враховуючи менший розмір моделі, її можна ефективно розгорнути на прискорювачі ШІ на Edge.

Gen AI переможе на краю

Завжди буде потреба в Gen AI, що працює в хмарі, особливо для програм загального призначення, таких як ChatGPT і Claude. Але коли справа доходить до корпоративних програм, таких як generative fill Adobe Photoshop або Github copilot, Generative AI at Edge — це не тільки майбутнє, але й сьогодення. Спеціально створені прискорювачі штучного інтелекту є ключем до цього.