Святий Грааль обчислювальної потужності в AI

Навіть попри неймовірний прогрес, можливості штучного інтелекту все ще обмежені у порівнянні з очікуваннями реального світу. Ми будуємо складні моделі, запускаємо нейронні мережі та тестуємо алгоритми, проте прогрес іноді зупиняється в місцях, де ми цього найменше очікуємо.

Проблема часто полягає не в алгоритмах або даних, а в обчислювальній потужності, ресурсах, які дозволяють моделям навчатися та працювати в необхідному масштабі. Тому що ж криється за цією бар’єром? Давайте розглянемо критичний ресурс, без якого навіть найперспективніші проекти AI не можуть вийти за межі лабораторії.

Дефіцит обчислень та його наслідки

Щоб зрозуміти цю тему, давайте почнемо з історії мобільних комунікацій. Коли з’явилися мережі 3G та пізніше 4G, інтернет уже був майже глобальним. І коли було введено 5G, багато людей поставили цілком розумне питання: “Інтернет буде швидшим – але так що?”

Насправді збільшення швидкості інтернету не зводиться до зручності користувача. Воно змінює весь технологічний ландшафт. З’являються випадки використання, які раніше були неможливі. 5G виявився значно швидшим за 4G, і цей стрибок не був поступовим, як стрибок з 1G до 2G, а експоненційний. В результаті з’являються нові додатки, пристрої та цілі класи технологій.

Камери спостереження за рухом, системи аналізу трафіку в реальному часі та автоматизовані механізми регулювання руху – все це стає можливим завдяки новим технологіям зв’язку. Поліція отримує нові способи обміну даними, а в космосі телескопи та супутники можуть передавати величезні об’єми інформації на Землю. Якісний стрибок у фундаментальній технології стимулює розвиток усієї екосистеми.

Той же принцип застосовується до обчислювальної потужності. Припустимо, що загальна обчислювальна потужність людства становить гіпотетичних одиниць. Сьогодні у нас може бути, скажімо, десять таких одиниць. З ними ми можемо генерувати зображення та відео, писати тексти, створювати матеріали для маркетингу… Це вже суттєво, але діапазон застосунків обмежений в основному.

Тепер уявіть, що у нас не десять, а тисяча таких одиниць. Раптом технології, які раніше були надто дорогими, стають досяжними, а стартапи, які були покинуті через високі обчислювальні витрати, починають мати економічний сенс.

Візьмімо, наприклад, роботаксі. Сьогодні вони в основному покладаються на відносно слабкі місцеві комп’ютери, встановлені в транспортному засобі. Однак якщо відеопотік буде переданий у хмару з величезними обчислювальними ресурсами, дані можна буде обробити та повернути в реальному часі. І це критично: автомобіль, який рухається зі швидкістю 100 км/год, повинен приймати рішення за долі секунди – рухатися прямо, повертати, гальмувати чи не гальмувати.

Тоді повністю функціонуюча галузь роботаксі стає можливою, а не ізольовані рішення, подібні до тих, які ми бачимо сьогодні. Будь-який місцевий комп’ютер, встановлений в автомобілі, обмежений по суті так, що підключена система не обмежена. Чим швидше ми можемо масштабувати її, тим швидше змінюватиметься світ навколо нас.

Доступ до чіпів та “золотий квиток” в AI

У контексті обчислювальної потужності виникає питання: чи стає доступ до сучасних чіпів “золотим квитком” для входу на ринок AI? Чи створюють великі гравці, які підписують контракти з виробниками чіпів або виробляють їх самі, розрив між великими корпоративними компаніями та всіма іншими?

Такий розрив виникає лише в одному випадку: якщо бізнес-модель орієнтована виключно на продаж чіпів великим клієнтам. На практиці виробники, такі як NVIDIA, спрямовані на надання хмарних рішень для всіх. Їх оптимізовані чіпи доступні в хмарі як для OpenAI, так і для незалежних розробників.

Даже стратегічні альянси серед компаній, таких як Google, Anthropic, Microsoft, OpenAI, Amazon та NVIDIA, в основному є партнерствами для спільного використання ресурсів, а не спробами закрити ринок. Ця модель дозволяє ефективно розподіляти обчислювальну потужність, прискорюючи технологічний розвиток.

Якщо ми відстежуємо ланцюг використання обчислювальних ресурсів, він починається з кінцевого користувача. Наприклад, коли ви використовуєте WhatsApp для відеодзвінків та повідомлень, компанія повинна забезпечити роботу служби: зберігання та обробка даних, запуск моделей для очищення відео, додавання ефектів та покращення якості зображення.

Утримання власних серверів дорого, вони застарівають та потребують постійного обслуговування. Тому хмарні рішення, “хмара”, з’явилися. Ринок домінують три гравці: Google Cloud, AWS та Microsoft Azure. Інші компанії не можуть конкурувати на цьому рівні: масштаб інфраструктури занадто великий.

Хмарні служби – це величезні центри даних з охолодженням, джерелами живлення та круглодобовим обслуговуванням. Вони містять сервери та спеціалізовані чіпи від NVIDIA, AMD та інших виробників, що дозволяють здійснювати великомасштабні обчислювальні процеси.

Тут ми підходимо до ключового питання, яке я обговорював у своїй попередній колонці про центри даних, і хочу продовжити тут: що є основним瓶нем у цій системі? Чи це нестача електроенергії, чи складність охолодження центрів даних у регіонах, де клімат робить це особливо складним? Насправді, секрет лежить у самих чіпах…

Святий Грааль

Чому NVIDIA сьогодні оцінюється близько 5 трильйонів доларів і належить до найуспішніших публічних компаній у світі? Причина проста: NVIDIA виробляє чіпи, на яких тренуються та працюють моделі AI.

Кожен з цих чіпів споживає величезні об’єми електроенергії під час тренування великих моделей або обробки все зростаючих об’ємів даних. Але наскільки ефективно використовується ця енергія? Тут вступають у гру спеціалізовані чіпи; вони обробляють конкретні завдання значно ефективніше, ніж універсальні GPU.

Моделі AI відрізняються. Наприклад, OpenAI має одну родину моделей, Anthropic – іншу. Концепції можуть бути подібними, але математичні структури та обчислювальні процеси різні. Одін універсальний чіп, коли тренується на моделях OpenAI (наприклад, ChatGPT) проти моделей Anthropic (наприклад, Claude), діє як “універсальний інструмент”, споживаючи, скажімо, 100 000 годин обчислень для однієї моделі та 150 000 для іншої. Ефективність значно відрізняється та рідко є оптимальною.

Компанії вирішують цю проблему, виготовляючи спеціалізовані чіпи. Наприклад, один чіп може бути оптимізований для архітектури ChatGPT і тренувати її за, скажімо, 20 хвилин, тоді як інший чіп підходить для архітектури Anthropic і також завершує тренування за 20 хвилин. Споживання енергії та час тренування зменшуються в кілька разів у порівнянні з універсальним чіпом.

Коли ці чіпи продаються великим компаніям, таким як Google, Amazon, Microsoft або Azure, вони пропонуються як окремі продукти. Користувачі можуть вибрати, наприклад, чіп, оптимізований для моделі YOLO або простішого та дешевого чіпа для архітектури Xen. Таким чином компанії отримують доступ до обчислювальних ресурсів, точно підігнаних до їхніх завдань, а не купують універсальні GPU. Якщо у користувача є десять різних функцій, він може використовувати десять різних спеціалізованих чіпів.

Тренд очевидний: спеціалізовані чіпи поступово замінюють універсальні. Багато стартапів зараз працюють з ASIC (Application-Specific Integrated Circuits), чіпами, призначеними для конкретних обчислювальних завдань. Перші ASIC з’явилися для видобутку біткоїнів: спочатку криптовалюта видобувалася на GPU NVIDIA, потім були створені чіпи виключно для біткоїнів і були нездатні виконувати інші завдання.

Я бачу це на практиці: та сама апаратна конфігурація може давати абсолютно різні результати залежно від завдання. У моєму стартапі Introspector ми вивчаємо ці процеси в реальних проектах, а як стратегічний радник Keymakr я спостерігаю, як клієнти отримують ефективність від спеціалізованих чіпів, що дозволяє моделям працювати швидше. Проекти, які раніше зупинялися під час тренування або висновку, досягають стабільних результатів з цим підходом.

Однак вузька спеціалізація несення ризики. Чіп, оптимізований для архітектури Anthropic, не працюватиме для тренування моделей OpenAI, і навпаки. Кожна нова архітектура вимагає нової генерації апаратури, створюючи ризик великомасштабної “застарілості”. Якщо Anthropic випустить нову архітектуру завтра, всі попередні покоління чіпів стають неефективними або безкорисними. Виробництво нових чіпів коштує мільярдів доларів і може тривати роки.

Це створює дилему: чи слід нам виготовляти спеціалізовані чіпи, які працюють ідеально в вузькій ситуації, чи продовжувати виробляти універсальні чіпи, які розв’язують всі завдання досить добре, але не потребують повної заміни, коли архітектури змінюються?

Ефективність у цьому контексті вимірюється трьома основними параметрами: часом виконання, споживанням електроенергії та генерацією тепла. Ці метрики напряму пов’язані: чим довше система працює, тим більше енергії вона споживає та тим більше тепла вона генерує. Зниження одного параметра автоматично покращує інші два.

Тут лежить “Святий Грааль” продуктивності AI: якщо хоча б один з фундаментальних показників ефективності можна оптимізувати, інші метрики майже автоматично покращаються також.

Стійкий процес

З ростом використання спеціалізованих чіпів питання надмірної продукції стало гострим. Наразі надмір обладнання вже суттєвий, і компанії звертаються до цього питання різними стійкими шляхами, включаючи повторне використання існуючих ресурсів.

Переробка обладнання стала ключовим елементом стійкого розвитку в високотехнологічних галузях. Чіпи містять суттєві кількості дорогоцінних та базових металів, золота, міді, алюмінію, паладію та рідкісноземельних матеріалів, а також матеріалів, використаних у мікрочіпах та транзисторах. Коли обладнання застаріває, ці цінні ресурси можна повернути до виробництва, знижуючи вартість нових компонентів, а також знижуючи екологічний слід галузі.

Деякі спеціалізовані заводи та компанії займаються переробкою та видобутком дорогоцінних металів з застарілих компонентів. Наприклад, деякі підприємства використовують гідрометалургійні процеси та сучасні хімічні методи для видобутку золота та міді з високим ступенем чистоти, що дозволяє повторно використовувати ці матеріали у нових чіпах.

Крім того, компанії впроваджують закриті моделі, де застаріле обладнання модернізується або інтегрується у нові рішення, знижуючи потребу у первинній видобутці ресурсів. Такі підходи не лише допомагають мінімізувати відходи, але й знижують вуглецевий слід виробництва, оскільки традиційне видобуток та обробка металів вимагають значної кількості енергії.

Стійке управління життєвим циклом чіпів та обладнання може стати галузевим стандартом, де технологічний прогрес узгоджується з екологічною відповідальністю.