Столкновение с доминированием Nvidia: гибкие стратегии разработки ML для некрупных игроков (в условиях проблем с поставками и стоимостью)

Создание бизнеса среди крупных игроков никогда не было простой задачей. В 2023 году конкуренция в секторе ИИ достигла беспрецедентных высот, обусловленных реальными, поражающими воображение прорывами. Выпуск OpenAI GPT-4, интеграция ChatGPT с Bing, запуск Google Bard и выпуск Meta “открытого” Llama 2. Это звучит как длинный список известных имен, не так ли? Как бы это ни казалось волнующим, большинство инноваций лежит там, где текут деньги, и конкуренция, с которой сталкиваются более мелкие технологические игроки, становится все более интенсивной с каждым днем.

В постоянно меняющемся ландшафте технологической отрасли Nvidia (NVDA ) продолжает укреплять свою позицию как ключевого игрока в инфраструктуре ИИ. Во время августовской финансовой отчетной конференции Дженсен Хуанг, президент Nvidia, подчеркнул стремительно растущий спрос на процессоры Nvidia. Это утверждение подтверждается данными отчета Nvidia за третий квартал, которые показывают впечатляющую годовую отчетность, начиная с ноября. Между тем, прогнозы Gartner указывают на значительный рост расходов на чипы в течение следующих четырех лет. На данный момент программный стек и процессоры Nvidia остаются непревзойденными, оставляя отрасль в неопределенности относительно того, когда может появиться достойный конкурент.

Недавние отчеты от Bloomberg и Financial Times пролили свет на переговоры Сэма Альтмана, генерального директора OpenAI, с ближневосточными инвесторами о начале производства чипов, направленного на снижение зависимости сектора ИИ от чипов Nvidia. Вызов Nvidia, с ее рыночной капитализацией почти 1,5 триллиона долларов, вероятно, обойдется Альтману в 5-7 триллионов долларов и займет несколько лет.

Тем не менее, решение проблемы эффективности ML-моделей для бизнеса – это то, что компании должны сделать сейчас. Для бизнеса, находящегося за пределами крупной технологической отрасли, разработка экономически эффективных ML-моделей – это не просто бизнес-процесс, а жизненно важная стратегия выживания. Эта статья исследует четыре прагматических стратегии, которые позволяют компаниям всех размеров разрабатывать свои модели без обширных инвестиций в исследования и разработки и оставаться гибкими, чтобы избежать зависимости от поставщиков.

Почему Nvidia доминирует на рынке ИИ

Короче говоря, Nvidia создала идеальный поток обучения моделей, достигнув синергии между высокопроизводительными GPU и своим проприетарным программным стеком для обучения моделей, широко известным инструментом CUDA.

CUDA (представленный в 2007 году) – это комплексный инструментарий параллельных вычислений и API для оптимального использования процессоров GPU Nvidia. Основная причина его популярности – его непревзойденная способность ускорять сложные математические вычисления, необходимые для глубокого обучения. Кроме того, он предлагает богатую экосистему, такую как cuDNN для глубоких нейронных сетей, повышающую производительность и простоту использования. Это важно для разработчиков из-за его бесшовной интеграции с основными фреймворками глубокого обучения, позволяющей быстро разрабатывать и совершенствовать модели.

Сочетание такого прочного программного стека с высокоэффективным оборудованием оказалось ключом к захвату рынка. Хотя некоторые утверждают, что доминирование Nvidia может быть временным явлением, трудно делать такие прогнозы в текущем ландшафте.

Тяжелая цена доминирования Nvidia

Доминирование Nvidia в области разработки машинного обучения вызвало многочисленные опасения, не только в области этики, но и в отношении расширяющихся диспропорций в бюджете на исследования и разработки, которые являются одной из причин, почему проникновение на рынок стало экспоненциально сложнее для более мелких игроков, не говоря уже о стартапах. Добавьте к этому снижение интереса инвесторов из-за более высоких рисков, и задача получения значительных инвестиций в исследования и разработки становится прямо невозможной, создавая очень неравноправную игровую площадку.

Однако эта сильная зависимость от оборудования Nvidia оказывает еще большее давление на последовательность цепочки поставок и открывает риск сбоев и зависимости от поставщиков, снижая гибкость рынка и повышая барьеры для входа на рынок.

“Некоторые аккумулируют средства, чтобы обеспечить, что они не оставят пользователей в затруднительном положении. Везде термины типа ‘оптимизация’ и ‘меньший размер модели’ в моде, поскольку компании пытаются сократить потребность в GPU, и инвесторы в этом году поставили сотни миллионов долларов на стартапы, чье программное обеспечение помогает компаниям обходиться имеющимися GPU.

Недостаток чипов Nvidia оставляет стартапы ИИ в поисках вычислительной мощностиПэреш Дэйв

Теперь самое время принять стратегические подходы, поскольку это может быть тем, что даст вашему предприятию шанс процветать среди далеко идущего влияния Nvidia на разработку ИИ.

Стратегии, которые могут адаптироваться некрупные игроки к доминированию Nvidia:

1. Начните исследовать AMD’s RocM

AMD активно сужает разрыв в разработке ИИ с Nvidia, достигнутое за счет постоянной поддержки RocM в основных библиотеках PyTorch за последний год. Это непрерывное усилие привело к улучшению совместимости и производительности, продемонстрированной выпуском чипсета MI300, последним выпуском AMD. MI300 продемонстрировал прочную производительность в задачах вывода крупных языковых моделей, особенно преуспевая с моделями типа LLama-70b. Этот успех подчеркивает значительные достижения в обработке и эффективности, достигнутые AMD.

2. Найдите другие альтернативы оборудования

Помимо шагов AMD, Google представила Tensor Processing Units (TPU), специальное оборудование, предназначенное явно для ускорения задач машинного обучения, предлагая прочную альтернативу для обучения крупномасштабных моделей ИИ.

За пределами этих гигантов отрасли более мелкие, но значимые игроки, такие как Graphcore и Cerebras (CBRS ), делают заметный вклад в пространство оборудования ИИ. Интеллектуальный процессор Graphcore (IPU), предназначенный для эффективности в вычислениях ИИ, привлек внимание за свой потенциал в задачах с высокими производительными характеристиками, как продемонстрировано экспериментами Twitter. Cerebras, с другой стороны, расширяет границы с помощью своих передовых чипов, подчеркивая масштабируемость и сырую вычислительную мощность для приложений ИИ.

Совокупные усилия этих компаний сигнализируют о сдвиге в сторону более разнообразной экосистемы оборудования ИИ. Эта диверсификация представляет жизнеспособные стратегии для снижения зависимости от Nvidia, предоставляя разработчикам и исследователям более широкий спектр платформ для разработки ИИ.

3. Начните инвестировать в оптимизацию производительности

В дополнение к исследованию альтернатив оборудования оптимизация программного обеспечения оказывается важным фактором в снижении влияния доминирования Nvidia. Используя эффективные алгоритмы, снижая ненужные вычисления и реализуя параллельные методы обработки, некрупные игроки могут максимизировать производительность своих моделей ИИ на существующем оборудовании, предлагая прагматичный подход к сокращению разрыва без полной зависимости от дорогостоящего апгрейда оборудования.

Примером этого подхода является технология AutoNAC от Deci Ai. Это нововведение продемонстрировало способность ускорить вывод модели в 3-10 раз, как подтверждается широко признанным MLPerf Benchmark. Продемонстрировав такие достижения, становится очевидным, что оптимизация программного обеспечения может значительно повысить эффективность разработки ИИ, представляя жизнеспособную альтернативу снижению влияния доминирования Nvidia в этой области.

4. Начните сотрудничать с другими организациями для создания децентрализованных кластеров

Этот совместный подход может включать обмен результатами исследований, совместные инвестиции в альтернативные варианты оборудования и содействие разработке новых технологий ИИ через открытые проекты. Децентрализируя вывод и используя распределенные вычислительные ресурсы, некрупные игроки могут выравнивать игровую площадку и создавать более конкурентную среду в отрасли разработки ИИ.

Сегодня стратегия обмена вычислительными ресурсами набирает обороты по всей технологической отрасли. Google Kubernetes Engine (GKE) демонстрирует это, поддерживая многопользовательские кластеры, позволяя эффективно использовать ресурсы и интегрироваться с сервисами третьих сторон. Эта тенденция еще больше подтверждается инициативами, возглавляемыми сообществом, такими как Petals, которые предлагают распределенную сеть для запуска моделей ИИ, делая высокопроизводительные вычисления доступными без значительных инвестиций. Кроме того, платформы типа Together.ai предоставляют серверный доступ к широкому спектру открытых моделей, упрощая разработку и содействуя сотрудничеству. Учитывая такие платформы может позволить вам получить доступ к вычислительным ресурсам и возможностям совместной разработки, помогая оптимизировать ваш процесс разработки и снижать затраты, независимо от размера организации.

Заключение

На глобальном уровне необходимость этих стратегий становится очевидной. Когда одна сущность доминирует на рынке, это тормозит развитие и препятствует установлению разумных цен.

Некрупные игроки могут противостоять доминированию Nvidia, исследуя альтернативы, такие как AMD’s RocM, инвестируя в оптимизацию производительности посредством эффективных алгоритмов и параллельной обработки, и содействуя сотрудничеству с другими организациями для создания децентрализованных кластеров. Это способствует более разнообразной и конкурентной среде в отрасли оборудования и разработки ИИ, позволяя более мелким игрокам иметь слово в будущем развития ИИ.

Эти стратегии направлены на снижение зависимости от цен и поставок Nvidia, повышая привлекательность для инвестиций, минимизируя риск замедления развития бизнеса среди конкурентов оборудования, и содействуя органическому росту внутри всей отрасли, позволяя более мелким игрокам иметь возможность повлиять на будущее развития ИИ.