Чому гонка за чіп AI тепер залежить від програмного забезпечення

Кожен новий прискорювач AI прибуває з історією бенчмаркінгу: пікова пропускна здатність, тераоперації на ват, вражаючі цифри, які обіцяють, що цей чіп змінить все. Що ці цифри не показують, то те, чи зможе клієнт фактично використовувати чіп у виробництві. Найчастіше, вони не можуть, і це справжня історія про те, де зараз знаходиться галузь апаратного забезпечення AI. Вона стикається з проблемою зрілості програмного забезпечення, і більшість компаній ще не готові публічно визнати це.

Пропуск, про який ніхто не говорить

Цикли розробки кремнію тривають два-чотири роки, тоді як ландшафт моделей AI розвивається за циклом, що вимірюється місяцями і наближається до тижнів. Під цим лежить проблема ланцюга цінності: кінцеві випадки використання, від транспортних засобів і заводів до лікарень і пристроїв, дозрівають у функціональності та починають генерувати вимірюваний фінансовий вплив. Ця зрілість генерує попит на програмні адаптації, які, в свою чергу, вимагають змін апаратного забезпечення. Кожний з цих трьох шарів працює з фундаментально різною швидкістю, і ця незбіґність є кореневою причиною зростаючого тертя на ринку. Стек програмного забезпечення, необхідний для виконання великих мовних моделей інференсу, фундаментально відрізняється від того, що було побудовано для попередніх завдань машинного навчання. Графіки розробки апаратного забезпечення не скоротилися, щоб відповідати цьому циклу. Компанії, які поставляють новий кремній сьогодні, передають його клієнтам з програмним забезпеченням, яке не може повністю розблокувати можливості чіпа, створюючи шаблон, який повторюється на ринку: вражаючий кремній, недозріле програмне забезпечення, повільна адоптація та втрачений дохід. Чіп робить те, для чого він був розроблений. Проблема полягає в тому, що клієнти не можуть легко використовувати його.

Розгляньте, що відбулося в автомобільній промисловості. Автомобілі самі по собі були в основному розв’язаними проблемами до середини двадцятого століття, але коли програмне забезпечення стало диференціатором, компанії з найбільшою спадщиною виробництва мали найбільші труднощі з адаптацією. Ford і GM знали, як будувати двигуни, але не мали м’язової пам’яті для побудови операційних систем. Галузь апаратного забезпечення AI зараз переживає ту саму трансформацію, і паралель дуже невтішительно точна. NVIDIA (NVDA ) грає роль програмно-родової компанії-дисруптора, тоді як традиційні компанії з виробництва напівпровідників все ще намагаються зрозуміти, як продавати екосистеми розробників разом з кремнієм.

Домінування NVIDIA майже нічого не має спільного з тим, що вони мають найкращі чіпи. CUDA (Compute Unified Device Architecture) вже двадцять років, з усіма технічними боргами, які це передбачає, але те, що фактично побудувала NVIDIA, – це операційна система обчислень AI: передбачувана, зріла екосистема, на яку розробники та виробники можуть покладатися у виробництві.

Клієнти вибирають платформи на основі зрілості програмного забезпечення та ризику інтеграції, тому коли новий прискорювач прибуває без програмного забезпечення рівня виробництва, комерційна розмова закінчується, перш ніж вона навіть починається.

Час до першої моделі, визначений як те, як швидко клієнт отримує реальну робочу нагрузку AI на даному прискорювачі, є набагато більш значимим комерційним показником, ніж пікова пропускна здатність. Це розмова, до якої більшість компаній з апаратного забезпечення найменш підготовлені.

Реальний ринок – інференція

Рідна мова бізнесу – це звіт про прибуток і збитки, і кожна компанія, яка розгортає AI, повинна відповісти на те саме питання: де гроші, і що заважає мені їх захопити? Навчання – це необхідний крок, але комерційне AI існує в інференції, і цей ринок майже не почався.

Масштабна асиметрія тут вражаюча. Навчання покриває один випадок використання; інференція покриває нескінченну кількість випадків. Кожне застосування AI у транспортному засобі, заводі, лікарні, телефоні або складі вимагає інференції. Чіп, який працює системи безпеки в автомобілі, не може споживати енергію центру обробки даних, а пристрій, який виконує інференцію в реальному часі на заводі, не може терпіти високої затримки. Ринок інференції на краю вимагає кремнію, спеціально розробленого для енергоефективності, фізичних обмежень та вимог безпеки та надійності галузей, які його розгортають.

Нещодавнє рішення Google розділити свій восьмий покоління TPU на два окремих чіпи, один для навчання і один для інференції, варто розглянути. Цей архітектурний вибір визнає, що два робочих навантаження розійшлися настільки сильно, що оптимізація для обох у одному дизайні зараз означає excelling у жодному. Коли компанія, яка керує деякими з найбільших інфраструктур AI, вирішує, що спеціалізація важливіша за консолідацію, це сигналізує, куди рухається решта ринку: у бік спеціально розробленого кремнію для інференції, розгорнутого на краю, у великих обсягах, під реальними обмеженнями, яких бенчмарки центрів обробки даних ніколи не були розроблені для вимірювання.

Ми зараз перебуваємо в землі інференції, тоді як більша частина ринку все ще організована навколо навчання.

Структурні обмеження спадщини

Компанії, які найкраще позиціоновані для виробництва у великих масштабах, залишаються структурно нездатними обслужувати ринки, де інференція буде жити. Автомобільні клієнти потребують постачальників, які гарантують доступність компонентів на десятиліття. Загальні компанії з виробництва напівпровідників, такі як Intel (INTC ), просто не будуть зобов’язані це робити. Це структурне обмеження залишає цілу галузь недообслуженою, і жодна кількість переговорів не змінить цього.

Платформа=edge AI від NVIDIA вже стикається з викликом з боку альтернатив, сумісних з PIN, які забезпечують кращу продуктивність на ват без потреби змін програмного забезпечення. Клієнт може замінити чіп і залишити все інше, роблячи це прямим комерційним нападом на найбільш захищену частину позиції NVIDIA на краю.

Компанії, які довели свою концепцію на CUDA, виявили, що економічна розгортка у великих масштабах вимагає重新архітектури на нижчий кремній, оскільки коли організації розгортають десятки тисяч пристроїв, вартість одиниці та споживання енергії стають вирішальними факторами. Послідовність, яка розгортається на ринку інференції, проста: використовувати те, що працює, протестувати його, а потім знайти спосіб розгорнути його економічно, оскільки вам потрібно заробляти гроші на цьому. Ураховуючи темп адоптації AI, вікно для встановлення переваги програмного забезпечення та екосистеми вимірюється кварталами.

Інженерні інвестиції, яких більшість компаній не робить

Компанії з апаратного забезпечення AI продовжують поставляти потужні чіпи з програмним забезпеченням, яке не може повністю їх запустити. Виробниче програмне забезпечення системи, яке охоплює час інференції, оптимізацію компілятора та забезпечення робочих навантажень, вимагає глибокої, спеціалізованої інженерії, якої більшість компаній з апаратного забезпечення просто не мають у своєму складі.

Будування цієї можливості означає найм компіляторних інженерів і архітекторів часу виконання, які можуть закрити розрив між тим, що чіп теоретично здатний зробити, і тим, що клієнт може практично розгорнути. Компанії також повинні інвестувати в інструменти до того, як виправдається виручка, оскільки до моменту, коли виправдається виручка, вікно вже закривається. Компанії, які пропускають цей інвестицію, не тільки відстають. Вони втрачуть угоди.

Чіпи, які досягають масштабу, – це найбільш розгортні чіпи, а розгортання є функцією якості програмного забезпечення. Великі покупці нижчого рівня, від виробників обладнання та гіперсเกลерів до клієнтів підприємств, були раніше обпалені кремнієм, який добре бенчмарк himself, але погано інтегрується. Вони вибирають на основі зрілості екосистеми та ризику інтеграції. Компанії, які ставлять програмне забезпечення на перше місце інженерної пріоритету, перетворюють більше пілотних проектів у контракти виробництва та досягають виручки швидше. Ті, хто ставить його на другий план, спостерігають, як технічно перевершений кремній програє угоди гіршим чіпам з більш зрілими стеками.

Годинник вже тикає

Компанії з апаратного забезпечення AI, які позиціонуються для захоплення значної частки на наступному етапі, будують переваги екосистеми сьогодні, які будуть важкими для пізніх учасників повторити. Гнучкість програмного забезпечення, здатність адаптуватися до нових архітектур моделей без очікування наступного випуску, відокремлює кремній, який залишається комерційно актуальним, від кремнію, який нескінченно проходить через пілотні проекти, не генеруючи виручки, необхідної для фінансування наступного покоління.

Розмови, які зараз відбуваються в інженерних командах, партнерських угодах та комерційних пілотних проектах по всьому ландшафту апаратного забезпечення AI, визначать, які компанії будуть ще актуальними у 2028 році. Двадцятирічна перевага CUDA – це ров, побудований на глибині екосистеми, але будь-яка компанія, яка готова ставити програмне забезпечення на перше місце інженерної пріоритету, може побудувати ту саму глибину з часом.

Питання, яке галузь повинна відповісти, – це, які компанії рухаються досить швидко, щоб побудувати глибину екосистеми, яка робить їх чіпи вибором за замовчуванням, перш ніж чіп іншого виробника стане надто укоріненим, щоб його можна було замінити.