Святий Грааль обчислювальної потужності в штучному інтелекті

Незважаючи на неймовірний прогрес, можливості штучного інтелекту все ще обмежені порівняно з реальними очікуваннями. Ми створюємо складні моделі, запускаємо нейронні мережі та тестуємо алгоритми, проте прогрес іноді зупиняється там, де ми найменше цього очікуємо.

Проблема часто полягає не в алгоритмах чи даних, а в обчислювальній потужності – ресурсах, які дозволяють моделям навчатися та працювати в необхідному масштабі. Тож що стоїть за цим бар'єром? Давайте розглянемо критичний ресурс, без якого навіть найперспективніші проекти штучного інтелекту не можуть вийти за межі лабораторії.

Обчислювальний дефіцит та його наслідки

Щоб зрозуміти цю тему, почнемо з історії мобільного зв'язку. Коли з'явилися мережі 3G, а пізніше 4G, інтернет вже був майже глобальним. А коли було запроваджено 5G, багато людей поставили цілком резонне питання: «Інтернет буде швидшим – і що з того?»

Насправді, збільшення швидкості інтернету не зводиться до зручності користувача. Воно трансформує весь технологічний ландшафт. З'являються варіанти використання, які раніше були неможливими. 5G виявився набагато швидшим за 4G, і цей стрибок був не поступовим, як перехід від 1G до 2G, а експоненціальним. В результаті можуть з'явитися нові програми, пристрої та цілі класи технологій.

Камери світлофорів, системи аналізу дорожнього руху в режимі реального часу та автоматизовані механізми регулювання дорожнього руху – все це стає можливим завдяки новим комунікаційним технологіям. Поліція отримує нові способи обміну даними, а в космосі телескопи та супутники можуть передавати величезні обсяги інформації на Землю. Якісний стрибок у фундаментальній технології стимулює розвиток усієї екосистеми.

Той самий принцип застосовується до обчислювальної потужності. Уявіть собі загальну обчислювальну потужність людства в гіпотетичних одиницях. Сьогодні у нас може бути, скажімо, десять таких одиниць. З їх допомогою ми можемо генерувати зображення та відео, писати тексти, створювати маркетингові матеріали… Це вже суттєво, але спектр застосувань в основному обмежений.

А тепер уявіть, що у нас було не десять, а тисяча таких одиниць. Раптом технології, які раніше були занадто дорогими, стали реальними, а стартапи, які були закинуті через високі обчислювальні витрати, почали мати економічний сенс.

Візьмемо, наприклад, роботаксі. Сьогодні вони здебільшого покладаються на відносно слабкі локальні комп’ютери, встановлені в транспортному засобі. Однак, якби відеопотік передавалося в хмару з величезними обчислювальними ресурсами, дані можна було б обробляти та повертати в режимі реального часу. І це критично важливо: автомобіль, що рухається зі швидкістю 100 км/год, повинен приймати рішення за частки секунди – їхати прямо, повертати, гальмувати чи не гальмувати.

Саме тоді стане можливою повноцінно функціонуюча індустрія роботаксі, а не просто ізольовані рішення, як ті, що ми бачимо сьогодні. Будь-який локальний комп'ютер, встановлений в автомобілі, за своєю суттю обмежений, на відміну від підключеної системи. Чим швидше ми зможемо його масштабувати, тим швидше змінюватиметься світ навколо нас.

Доступ до чіпів та «золотий квиток» у штучному інтелекті

У контексті обчислювальної потужності виникає питання: чи стає доступ до сучасних чіпів «золотим квитком» для виходу на ринок штучного інтелекту? Чи створюють великі гравці, які підписують контракти з виробниками чіпів або виробляють їх самі, розрив між великими корпоративними компаніями та всіма іншими?

Такий розрив виникає лише в одному випадку: якщо бізнес-модель зосереджена виключно на продажу чіпів великим клієнтам. На практиці такі виробники, як NVIDIA, прагнуть забезпечити хмарні рішення для всіх. Їхні оптимізовані чіпи доступні в хмарі як для OpenAI, так і для незалежних розробників.

Навіть стратегічні альянси між такими компаніями, як Google, Anthropic, Microsoft, OpenAI, Amazon та NVIDIA, є, перш за все, партнерствами для спільного використання ресурсів, а не спробами закрити ринок. Ця модель дозволяє ефективно розподіляти обчислювальні потужності, тим самим прискорюючи технологічний розвиток.

Якщо простежити ланцюжок використання обчислювальних ресурсів, він починається з кінцевого користувача. Наприклад, коли ви використовуєте WhatsApp для відеодзвінків та обміну повідомленнями, компанія повинна забезпечити роботу сервісу: зберігання та обробку даних, запуск моделей для очищення відео, додавання ефектів та покращення якості зображення.

Утримання власних серверів є дорогим, вони застарівають і потребують постійного обслуговування. Саме тому з'явилися хмарні рішення, «хмара». На ринку домінують три гравці: Google Cloud, AWS та Microsoft Azure. Інші компанії не можуть конкурувати на цьому рівні: масштаб інфраструктури занадто великий.

Хмарні сервіси – це величезні центри обробки даних із системами охолодження, живлення та цілодобовим обслуговуванням. У них розміщені сервери та спеціалізовані чіпи від NVIDIA, AMD та інших виробників, що дозволяє виконувати масштабні обчислювальні процеси.

Тут ми підходимо до ключового питання, яке я обговорював у своїй попередня колонка про центри обробки даних, і хочу продовжити тут: що є головним вузьким місцем у цій системі? Чи це нестача електроенергії, чи складність охолодження центрів обробки даних у регіонах, де клімат робить це особливо складним? Насправді, секрет криється в самих чіпах…

Святий Грааль

Чому NVIDIA сьогодні оцінюється приблизно в 5 трильйонів доларів і вважається однією з найуспішніших публічних компаній у світі? Причина проста: NVIDIA виробляє чіпи, на яких навчаються моделі штучного інтелекту та виконуються логічні висновки.

Кожен із цих чіпів споживає величезну кількість електроенергії під час навчання великих моделей або обробки постійно зростаючих обсягів даних. Але наскільки ефективно використовується ця енергія? Саме тут на допомогу приходять спеціалізовані чіпи; вони виконують конкретні завдання набагато ефективніше, ніж універсальні графічні процесори.

Моделі штучного інтелекту відрізняються. OpenAI, наприклад, має одне сімейство моделей, Anthropic — інше. Концепції можуть бути схожими, але математичні структури та обчислювальні процеси відрізняються. Один універсальний чіп під час навчання моделей OpenAI (таких як ChatGPT) порівняно з моделями Anthropic (таки як Claude) діє як «універсальний інструмент», витрачаючи, скажімо, 100 000 годин обчислень для однієї моделі та 150 000 для іншої. Ефективність значно варіюється і рідко буває оптимальною.

Компанії вирішують цю проблему, виробляючи спеціалізовані чіпи. Наприклад, один чіп можна оптимізувати для архітектури ChatGPT та навчити його, скажімо, за 20 хвилин, тоді як інший адаптований до архітектури Anthropic також завершує навчання за 20 хвилин. Споживання енергії та час навчання скорочуються в багато разів порівняно з чіпом загального призначення.

Коли ці чіпи продаються великим компаніям, таким як Google, Amazon, Microsoft або Azure, вони пропонуються як окремі продукти. Користувачі можуть вибрати, наприклад, чіп, оптимізований для моделі YOLO, або простіший і дешевший чіп для архітектури Xen. Таким чином, компанії отримують доступ до обчислювальних ресурсів, точно адаптованих до їхніх завдань, замість того, щоб купувати універсальні графічні процесори. Якщо користувач має десять різних функцій, він може використовувати десять різних спеціалізованих чіпів.

Тенденція очевидна: спеціалізовані чіпи поступово витісняють універсальні. Багато стартапів зараз працюють з ASIC (інтегральними схемами спеціального призначення) – чіпами, призначеними для виконання певних обчислювальних завдань. Перші ASIC з'явилися для майнінгу біткойнів: спочатку криптовалюта майнилася на графічних процесорах NVIDIA, потім чіпи були створені виключно для біткойнів і були нездатні виконувати інші завдання.

Я бачу це на практиці: та сама конфігурація обладнання може давати абсолютно різні результати залежно від завдання. У моєму стартапі Інтроспективний, ми вивчаємо ці процеси в реальних проектах, і як стратегічний радник КеймакрЯ спостерігаю, як клієнти підвищують ефективність завдяки спеціалізованим чіпам, що дозволяє моделям працювати швидше. Проекти, які раніше зупинялися під час навчання або логічного висновку, досягають стабільних результатів завдяки такому підходу.

Однак вузька спеціалізація несе ризики. Чіп, оптимізований для архітектури Anthropic, не працюватиме для навчання моделей OpenAI, і навпаки. Кожна нова архітектура вимагає нового покоління апаратного забезпечення, що створює ризик масштабного «виходу з експлуатації». Якщо Anthropic завтра випустить нову архітектуру, всі чіпи попереднього покоління стануть неефективними або непотрібними. Виробництво нових чіпів коштує мільярди доларів і може тривати роками.

Це створює дилему: чи варто нам створювати спеціалізовані чіпи, які ідеально працюють у вузькому сценарії, чи продовжувати виробляти універсальні чіпи, які досить добре вирішують усі завдання, але не потребують повної заміни при зміні архітектур?

Ефективність у цьому контексті вимірюється трьома основними параметрами: часом роботи, споживанням електроенергії та тепловиділенням. Ці показники безпосередньо пов'язані: чим довше працює система, тим більше енергії вона споживає та тим більше тепла виробляє. Зменшення одного параметра автоматично покращує два інші.

Ось у чому полягає «святий Грааль» продуктивності ШІ: якщо хоча б один із фундаментальних показників ефективності можна оптимізувати, інші показники майже автоматично також покращаться.

Сталий процес

Зі зростанням використання спеціалізованих чіпів питання ризиків перевиробництва стало нагальним. Наразі надлишок обладнання вже значний, і компанії вирішують цю проблему різними сталими способами, включаючи повторне використання існуючих ресурсів.

Обладнання для переробки стало ключовим елементом сталого розвитку у високотехнологічних галузях промисловості. Чіпи містять значну кількість дорогоцінних та кольорових металів, золота, міді, алюмінію, паладію та рідкісноземельних матеріалів, а також матеріалів, що використовуються в мікрочіпах та транзисторах. Після того, як обладнання застаріє, ці цінні ресурси можна повернути у виробництво, зменшивши вартість нових компонентів та одночасно зменшивши вплив галузі на навколишнє середовище.

Деякі спеціалізовані заводи та компанії зосереджуються на переробці та видобутку дорогоцінних металів із застарілих компонентів. Наприклад, деякі підприємства використовують гідрометалургійні процеси та передові хімічні методи для видобутку золота та міді з високим ступенем чистоти, що дозволяє повторно використовувати ці матеріали в нових мікросхемах.

Крім того, компанії впроваджують моделі замкнутого циклу, де старе обладнання модернізується або інтегрується в нові рішення, тим самим зменшуючи потребу у видобутку первинних ресурсів. Такі підходи не лише допомагають мінімізувати відходи, але й зменшують вуглецевий слід виробництва, оскільки традиційний видобуток корисних копалин та обробка металу потребують значної енергії.

Сталий розвиток та управління життєвим циклом мікросхем та обладнання може стати галузевим стандартом, де технологічний прогрес узгоджується з екологічною відповідальністю.