Священний Грааль обчислювальної потужності в штучному інтелекті

Незважаючи на неймовірний прогрес, можливості штучного інтелекту все ще обмежені порівняно з реальними очікуваннями. Ми будуємо складні моделі, запускаємо нейронні мережі та тестуємо алгоритми, проте прогрес іноді зупиняється в тих місцях, де ми найменше цього очікуємо.

Проблема часто полягає не в алгоритмах чи даних, а в обчислювальній потужності, ресурсах, які дозволяють моделям навчатися та працювати в необхідному масштабі. Отже, що лежить за цією бар’єром? Давайте розглянемо критичний ресурс, без якого навіть найперспективніші проєкти штучного інтелекту не можуть вийти за межі лабораторії.

Дефіцит обчислювальної потужності та його наслідки

Щоб зрозуміти цю тему, давайте почнемо з історії мобільних комунікацій. Коли з’явилися мережі 3G та пізніше 4G, інтернет був уже майже глобальним. А коли з’явився 5G, багато людей поставили цілком логічний запитання: «Інтернет буде швидшим – але навіщо?»

На ділі, збільшення швидкості інтернету не зводиться до зручності користувача. Воно змінює всю технологічну ландшафт. З’являються випадки використання, які раніше були неможливі. 5G виявився значно швидшим за 4G, і цей стрибок не був поступовим, як стрибок від 1G до 2G, а експоненціальним. В результаті з’явилися нові застосування, пристрої та цілі класи технологій.

Камери спостереження за рухом, системи реального аналізу руху та автоматизовані механізми регулювання руху – все це стає можливим завдяки новим технологіям зв’язку. Поліція отримує нові можливості обміну даними, а в космосі телескопи та супутники можуть передавати величезні об’єми інформації на Землю. Якісний стрибок у фундаментальній технології сприяє розвитку всієї екосистеми.

Той же принцип застосовується до обчислювальної потужності. Припустимо, що загальна обчислювальна потужність людства становить певні умовні одиниці. Сьогодні у нас, можливо, є десять таких одиниць. З їхньою допомогою ми можемо генерувати зображення та відео, писати тексти, створювати матеріали для маркетингу… Це вже суттєво, але діапазон застосувань обмежений в основному.

Тепер припустимо, що у нас не десять, а тисяча таких одиниць. Раптом технології, які раніше були надто дорогими, стають можливими, а стартапи, які були покинуті через високі обчислювальні витрати, починають мати економічний сенс.

Взявши, наприклад, роботаксі. Сьогодні вони в основному покладаються на відносно слабкі локальні комп’ютери, встановлені в транспортному засобі. Однак якщо відеопотік буде переданий в хмару з величезними обчислювальними ресурсами, дані можна буде обробити та повернути в реальному часі. І це критично: автомобіль, який рухається зі швидкістю 100 км/год, повинен приймати рішення за долю секунди – рухатися прямо, повертати, гальмувати чи не гальмувати.

Тоді повністю функціонуюча галузь роботаксі стає можливою, а не окремі рішення, які ми бачимо сьогодні. Будь-який локальний комп’ютер, встановлений в автомобілі, обмежений по суті так, що підключена система не обмежена. Чим швидше ми можемо масштабувати її, тим швидше навколишній світ змінюється.

Доступ до мікрочипів та “золотий квиток” в штучному інтелекті

У контексті обчислювальної потужності виникає питання: чи стає доступ до сучасних мікрочипів “золотим квитком” для входу на ринок штучного інтелекту? Чи створюють великі гравці, які підписують контракти з виробниками мікрочипів або виробляють їх самостійно, розрив між великими корпораціями та всіма іншими?

Такий розрив виникає лише в одному випадку: якщо бізнес-модель орієнтована виключно на продаж мікрочипів великим клієнтам. На ділі виробники, такі як NVIDIA, спрямовані на надання хмарних рішень для всіх. Їх оптимізовані мікрочипи доступні в хмарі як для OpenAI, так і для незалежних розробників.

Дажи стратегічні союзи між компаніями, такими як Google, Anthropic, Microsoft, OpenAI, Amazon та NVIDIA, в основному є партнерствами для спільного використання ресурсів, а не спробами закрити ринок. Ця модель дозволяє ефективно розподіляти обчислювальну потужність, прискорюючи технологічний розвиток.

Якщо ми простежимо ланцюг використання обчислювальних ресурсів, він починається з кінцевого користувача. Наприклад, коли ви використовуєте WhatsApp для відеодзвінків та повідомлень, компанія повинна забезпечити роботу служби: зберігання та обробка даних, виконання моделей для очищення відео, додавання ефектів та покращення якості зображення.

Утримання власних серверів дорого, вони застарівають та потребують постійного обслуговування. Тому з’явилися хмарні рішення, “хмара”. Ринок домінують три гравці: Google Cloud, AWS та Microsoft Azure. Інші компанії не можуть конкурувати на цьому рівні: масштаб інфраструктури занадто великий.

Хмарні служби – це величезні центри даних з охолодженням, джерелами живлення та круглодобним обслуговуванням. Вони містять сервери та спеціалізовані мікрочипи від NVIDIA, AMD та інших виробників, що дозволяють здійснювати великомасштабні обчислювальні процеси.

Тут ми дійшли до ключового питання, про яке я говорив у своїй попередній статті про центри даних, і хочу продовжити тут: що є основним瓶頸ом у цій системі? Чи це нестача електроенергії, чи складність охолодження центрів даних у регіонах, де клімат робить це особливо складним? На ділі, секрет лежить у самих мікрочипах…

Священний Грааль

Чому NVIDIA сьогодні оцінюється у близько 5 трильйонів доларів і належить до числа найуспішніших публічних компаній у світі? Причина проста: NVIDIA виробляє мікрочипи, на яких тренуються та працюють моделі штучного інтелекту.

Кожен з цих мікрочипів споживає величезну кількість електроенергії під час тренування великих моделей або обробки все зростаючих об’ємів даних. Але наскільки ефективно використовується ця енергія? Тут вступають у гру спеціалізовані мікрочипи; вони обробляють конкретні завдання значно ефективніше, ніж універсальні графічні процесори.

Моделі штучного інтелекту відрізняються. Наприклад, OpenAI має одну родину моделей, Anthropic – іншу. Концепції можуть бути подібними, але математичні структури та обчислювальні процеси різні. Один універсальний мікрочип, коли тренування моделей OpenAI (наприклад, ChatGPT) порівняно з моделями Anthropic (наприклад, Claude), діє як “універсальний інструмент”, споживаючи, наприклад, 100 000 годин обчислень для однієї моделі та 150 000 для іншої. Ефективність значно варіюється та рідко є оптимальною.

Компанії вирішують цю проблему, виробляючи спеціалізовані мікрочипи. Наприклад, один мікрочип може бути оптимізований для архітектури ChatGPT і тренувати її за, наприклад, 20 хвилин, тоді як інший мікрочип підходить для архітектури Anthropic і також завершує тренування за 20 хвилин. Споживання енергії та час тренування знижуються у кілька разів порівняно з універсальним мікрочипом.

Коли ці мікрочипи продаються великим компаніям, таким як Google, Amazon, Microsoft чи Azure, вони пропонуються як окремі продукти. Користувачі можуть вибрати, наприклад, мікрочип, оптимізований для моделі YOLO або простіший, дешевший мікрочип для архітектури Xen. Таким чином, компанії отримують доступ до обчислювальних ресурсів, точно підігнаних до їхніх завдань, а не купують універсальні графічні процесори. Якщо у користувача є десять різних функцій, він може використовувати десять різних спеціалізованих мікрочипів.

Тренд очевидний: спеціалізовані мікрочипи поступово замінюють універсальні. Багато стартапів зараз працюють з ASIC (Application-Specific Integrated Circuits), мікрочипами, розробленими для конкретних обчислювальних завдань. Перші ASIC з’явилися для видобутку біткоїнів: спочатку криптовалюта видобувалася на графічних процесорах NVIDIA, потім були створені мікрочипи виключно для біткоїнів і були не 能ні виконувати інші завдання.

Я бачу це на практиці: одна і та ж апаратна конфігурація може давати зовсім різні результати залежно від завдання. У моєму стартапі Introspector ми вивчаємо ці процеси в реальних проєктах, а як стратегічний радник Keymakr я спостерігаю, як клієнти отримують вигоду від спеціалізованих мікрочипів, що дозволяє моделям працювати швидше. Проєкти, які раніше застрягали під час тренування або інференсу, досягають стабільних результатів за допомогою цього підходу.

Однак, вузька спеціалізація несе ризики. Мікрочип, оптимізований для архітектури Anthropic, не працюватиме для тренування моделей OpenAI, і навпаки. Кожна нова архітектура вимагає нової генерації апаратури, що створює ризик великомасштабної “застарівання”. Якщо Anthropic випустить нову архітектуру завтра, всі попередні мікрочипи стають неефективними або безкорисними. Виробництво нових мікрочипів коштує мільярдів доларів і може тривати роки.

Це створює дилему: чи слід нам робити спеціалізовані мікрочипи, які працюють ідеально в вузькій ситуації, або продовжувати виробляти універсальні мікрочипи, які розв’язують всі завдання посередньо, але не потребують повної заміни, коли архітектури змінюються?

Ефективність у цьому контексті вимірюється трьома основними параметрами: часом виконання, споживанням електроенергії та генерацією тепла. Ці метрики безпосередньо пов’язані: чим довше система працює, тим більше енергії вона споживає та тим більше тепла вона генерує. Зниження одного параметра автоматично покращує інші два.

Тут лежить “Священний Грааль” продуктивності штучного інтелекту: якщо хоча б один з фундаментальних показників ефективності можна оптимізувати, інші показники майже автоматично покращуються також.

Стійкий процес

З ростом використання спеціалізованих мікрочипів проблема надвиробництва стала актуальною. На сьогодні надлишок обладнання вже суттєвий, і компанії звертають увагу на цю проблему різними стійкими шляхами, включаючи повторне використання існуючих ресурсів.

Переробка обладнання стала ключовим елементом стійкого розвитку в високотехнологічних галузях. Мікрочипи містять суттєві кількості дорогоцінних та базових металів, золота, міді, алюмінію, паладію та рідкісноземельних матеріалів, а також матеріалів, використовуваних у мікрочипах та транзисторах. Коли обладнання застаріває, ці цінні ресурси можна повернути до виробництва, знижуючи вартість нових компонентів та одночасно знижуючи екологічний слід галузі.

Деякі спеціалізовані заводи та компанії займаються переробкою та видобуванням дорогоцінних металів з застарілого обладнання. Наприклад, деякі підприємства використовують гідрометалургійні процеси та сучасні хімічні методи для видобування золота та міді з високим ступенем чистоти, що дозволяє повторно використовувати ці матеріали у виробництві нових мікрочипів.

Крім того, компанії впроваджують закриті моделі, у яких застаріле обладнання оновлюється або інтегрується у нові рішення, тим самим знижуючи потребу у первинній видобутці ресурсів. Такі підходи не тільки допомагають мінімізувати відходи, але й знижують вуглецевий слід виробництва, оскільки традиційне видобування та переробка металів потребують суттєвої кількості енергії.

Стійке управління життєвим циклом мікрочипів та обладнання може стати галузевим стандартом, де технологічний прогрес узгоджується з екологічною відповідальністю.