Почему гонка за чипы ИИ теперь основана на программном обеспечении

Каждый новый ускоритель ИИ появляется с историей о бенчмарках: пиковая производительность, тераоперации на ватт, впечатляющие цифры, которые обещают, что этот чип изменит все. Что эти цифры не учитывают, так это то, может ли клиент фактически использовать чип в производстве. Чаще всего, они не могут, и это является настоящей историей о том, где стоит отрасль аппаратного обеспечения ИИ сегодня. Она сталкивается с проблемой зрелости программного обеспечения, и большинство компаний еще не готовы признать это публично.

Провал, о котором никто не говорит

Циклы разработки кремния длятся два-четыре года, в то время как ландшафт моделей ИИ эволюционирует на цикле, измеряемом месяцами и тенденцией к неделям. Под этим лежит проблема цепочки создания стоимости: конечные случаи использования, от транспортных средств и заводов до больниц и устройств, созревают в функциональности и начинают генерировать измеримое финансовое воздействие. Это созревание стимулирует спрос на адаптации программного обеспечения, которые, в свою очередь, требуют изменений в аппаратном обеспечении. Каждый из этих трех слоев работает с фундаментально разной скоростью, и это несоответствие является коренной причиной трения, нарастающего на рынке. Стек программного обеспечения, необходимый для запуска больших языковых моделей ИИ, фундаментально отличается от того, который был построен для ранних рабочих нагрузок машинного обучения. Графики разработки аппаратного обеспечения не сжимаются, чтобы соответствовать этому циклу. Компании, которые поставляют новую кремниевую продукцию сегодня, передают ее клиентам с программным обеспечением, которое не может полностью раскрыть возможности чипа, производя закономерность, которая повторяется на рынке: впечатляющий кремний, незрелое программное обеспечение, медленное внедрение и упущенная выгода. Чип делает то, для чего он был разработан. Проблема заключается в том, что клиенты не могут легко использовать его.

Рассмотрим, что произошло с автомобильной промышленностью. Машины сами по себе были в основном решенной проблемой к середине двадцатого века, но когда программное обеспечение стало дифференциатором, компании с глубокими производственными традициями столкнулись с наибольшими трудностями в адаптации. Ford и GM знали, как строить двигатели, но не имели мышечной памяти для построения операционных систем. Отрасль аппаратного обеспечения ИИ сейчас переживает тот же переход, и параллель довольно неприятна. NVIDIA (NVDA ) играет роль программно-родной компании-дисруптора, в то время как традиционные полупроводниковые компании все еще пытаются понять, как продавать экосистемы разработчиков вместе с кремниевой продукцией.

Доминирование NVIDIA почти не связано с тем, что у них лучшие чипы. CUDA (Compute Unified Device Architecture) уже двадцать лет, с всеми накопленными техническими долгами, которые это подразумевает, но то, что NVIDIA фактически построила, – это операционная система вычислений ИИ: предсказуемая, зрелая экосистема, на которую разработчики и производители могут рассчитывать в производстве.

Клиенты выбирают платформы на основе зрелости программного обеспечения и риска интеграции, поэтому когда новый ускоритель появляется без программного обеспечения, готового к производству, коммерческий разговор заканчивается до того, как начнется.

Время до первого моделирования, определяемое как то, как быстро клиент получает реальную рабочую нагрузку ИИ, запущенную на данном ускорителе, является намного более значимым коммерческим показателем, чем пиковая производительность. Это разговор, на который большинство компаний аппаратного обеспечения меньше всего готовы.

Настоящий рынок – это вывод

Родной язык бизнеса – это финансовый отчет, и каждая компания, развертывающая ИИ, должна ответить на один и тот же вопрос: где деньги, и что мешает мне их получить? Обучение – это необходимый шаг, но коммерческий ИИ живет в выводе, и этот рынок едва начался.

Асимметрия масштаба здесь поразительна. Обучение охватывает один случай использования; вывод охватывает бесконечное количество случаев. Каждое применение ИИ в транспортном средстве, заводе, больнице, телефоне или складе требует вывода. Чип, запускающий системы безопасности в машине, не может использовать мощность дата-центра, и устройство, запускающее вывод в реальном времени на заводском полу, не может терпеть высокую задержку. Рынок вывода на краю требует кремния, специально разработанного для эффективности потребления энергии, физических ограничений и требований безопасности и надежности отраслей, которые его развертывают.

Недавнее решение Google разделить свой восьмой ТПУ на два отдельных чипа, один для обучения и один для вывода, стоит рассмотреть. Этот архитектурный выбор признает, что две рабочие нагрузки так сильно разошлись, что оптимизация для обоих в одном дизайне теперь означает превосходство ни в одной из них. Когда компания, работающая с некоторыми из крупнейших инфраструктур ИИ, решает, что специализация важнее, чем консолидация, это сигнал о том, куда движется остальной рынок: к специально разработанному кремнию для вывода, развертываемому на краю, в объеме, под реальными ограничениями, которые бенчмарки дата-центра никогда не были разработаны для измерения.

Мы находимся в борьбе за вывод, в то время как большинство рынка остается организованным вокруг обучения.

Структурные ограничения наследия

Компании, которые лучше всего подходят для производства в крупном масштабе, остаются структурно неспособными обслуживать рынки, где будет жить вывод. Автомобильные клиенты нуждаются в поставщиках, которые могут гарантировать доступность компонентов на десятилетие. Общие полупроводниковые компании, такие как Intel (INTC ), просто не будут обязываться это делать. Это структурное ограничение оставляет целую отрасль недообслуженной, и никакие переговоры не могут изменить это.

Платформа ИИ на краю NVIDIA уже сталкивается с вызовом со стороны альтернатив, совместимых с PIN, которые обеспечивают лучшую производительность на ватт без необходимости каких-либо изменений в стеке программного обеспечения. Клиент может заменить чип и сохранить все остальное, что делает это прямой коммерческой атакой на наиболее защищенную часть позиции NVIDIA на краю.

Компании, которые доказали свою концепцию на CUDA, обнаруживают, что экономически эффективное развертывание в крупном масштабе требует переархитектуры на кремний с более низким энергопотреблением, потому что когда организации развертывают десятки тысяч устройств, стоимость за единицу и потребление энергии становятся решающими факторами. Последовательность, разворачивающаяся на рынке вывода, проста: использовать то, что работает, протестировать, а затем найти способ развернуть его экономически, потому что вам нужно зарабатывать на этом деньги. Учитывая темп внедрения ИИ, окно для установления программного и экосистемного преимущества измеряется кварталами.

Инженерные инвестиции, которые большинство компаний пропускают

Компании аппаратного обеспечения ИИ продолжают поставлять мощные чипы с программным обеспечением, которое не может полностью их запустить. Производственное программное обеспечение системы, охватывающее среды выполнения вывода, оптимизацию компилятора и обеспечение рабочих нагрузок, требует глубоких, специализированных инженерных знаний, которыми большинство компаний аппаратного обеспечения просто не обладают.

Строительство этой возможности означает найм инженеров-компиляторов и архитекторов сред выполнения, которые могут закрыть разрыв между тем, что чип теоретически способен сделать, и тем, что клиент может практически развернуть. Компаниям также необходимо инвестировать в инструментальные цепочки до того, как выгода их оправдает, потому что к тому времени, когда выгода появляется, окно закрывается. Компании, которые пропускают эту инвестицию, не только отстают. Они теряют сделки.

Чипы, которые достигают масштаба, являются наиболее развертываемыми чипами, и развертываемость является функцией качества программного обеспечения. Основные покупатели вниз по цепочке, от производителей и гипермасштабируемых компаний до корпоративных клиентов, были ранее обожжены кремниевой продукцией, которая хорошо бенчмаркирует, но плохо интегрируется. Они выбирают на основе зрелости экосистемы и риска интеграции. Компании, которые отдают программному обеспечению приоритет как первоклассной инженерной задаче, более часто переводят пилотные проекты в производственные контракты и достигают выгоды быстрее. Те, кто рассматривает его как после мысли при отправке, наблюдают, как технически превосходящая кремниевая продукция проигрывает сделки чипам с более зрелыми стеками.

Часы уже тикают

Компании аппаратного обеспечения ИИ, которые позиционируют себя для захвата значительной доли на следующем этапе, строят экосистемные преимущества сегодня, которые будут трудно воспроизвести для более поздних участников. Гибкость программного обеспечения, способность адаптироваться к новым архитектурам моделей без ожидания следующей ленты, отделяет кремний, который остается коммерчески актуальным, от кремния, который проходит через пилотные проекты бесконечно, не генерируя выгоды, необходимой для финансирования следующего поколения.

Решения, принимаемые прямо сейчас, в инженерных командах, партнерских соглашениях и коммерческих пилотных проектах по всему ландшафту аппаратного обеспечения ИИ, определят, какие компании будут еще актуальны в 2028 году. Двадцатилетнее преимущество CUDA – это ров, построенный на глубине экосистемы, но любая компания, готовая рассматривать программное обеспечение как устойчивую инженерную задачу, может построить такую же глубину со временем.

Вопрос, на который отрасль должна ответить, – это какие компании движутся достаточно быстро, чтобы построить глубину экосистемы, которая делает их чипы выбором по умолчанию, прежде чем чипы кого-то другого станут слишком укоренившимися, чтобы их можно было заменить.