Священный Грааль Вычислительной Мощи в ИИ

Несмотря на невероятный прогресс, возможности искусственного интеллекта все еще ограничены по сравнению с реальными ожиданиями. Мы создаем сложные модели, запускаем нейронные сети и тестируем алгоритмы, но прогресс иногда останавливается в тех местах, где мы меньше всего ожидаем.

Проблема часто заключается не в алгоритмах или данных, а в вычислительной мощности, ресурсах, которые позволяют моделям учиться и работать в необходимом масштабе. Итак, что лежит за этой барьерой? Давайте рассмотрим критический ресурс, без которого даже самые перспективные проекты ИИ не могут выйти за пределы лаборатории.

Дефицит вычислительной мощности и его последствия

Чтобы понять эту тему, давайте начнем с истории мобильных коммуникаций. Когда появились сети 3G и 4G, интернет был уже почти глобальным. И когда была введена 5G, многие люди задали вполне разумный вопрос: “Интернет будет быстрее – но так что?”

На самом деле, увеличение скорости интернета не сводится к удобству пользователя. Оно преображает всю технологическую ландшафт. Появляются случаи использования, которые ранее были невозможны. 5G оказалась намного быстрее 4G, и этот скачок не был постепенным, как переход от 1G к 2G, а экспоненциальным. В результате появляются новые приложения, устройства и целые классы технологий.

Камеры для наблюдения за трафиком, системы анализа трафика в реальном времени и автоматические механизмы регулирования движения – все это становится возможным благодаря новым технологиям связи. Полиция получает новые способы обмена данными, и в космосе телескопы и спутники могут передавать огромные объемы информации на Землю. Качественный скачок в фундаментальной технологии стимулирует развитие всей экосистемы.

То же самое принцип применяется к вычислительной мощности. Представьте себе общую вычислительную мощность человечества в гипотетических единицах. Сегодня у нас может быть, скажем, десять таких единиц. С их помощью мы можем генерировать изображения и видео, писать тексты, создавать маркетинговые материалы… Это уже значительный объем, но диапазон применения в основном ограничен.

Теперь представьте, что у нас не десять, а тысяча таких единиц. Внезапно технологии, которые ранее были слишком дорогими, становятся осуществимыми, и стартапы, которые были брошены из-за высоких вычислительных затрат, начинают иметь экономический смысл.

Возьмем, к примеру, роботакси. Сегодня они в основном полагаются на относительно слабые локальные компьютеры, установленные в транспортном средстве. Однако, если видеопоток был бы передан в облако с огромными вычислительными ресурсами, данные могли бы быть обработаны и возвращены в реальном времени. И это критически важно: автомобиль, движущийся со скоростью 100 км/ч, должен принимать решения за доли секунды – ехать прямо, повернуть, нажать на тормоза или не нажимать.

Тогда становится возможным полностью функционирующая индустрия роботакси, а не изолированные решения, которые мы видим сегодня. Любой локальный компьютер, установленный в автомобиле, внутренне ограничен так, что связанная система не ограничена. Чем быстрее мы можем масштабировать ее, тем быстрее меняется мир вокруг нас.

Доступ к чипам и “золотой билет” в ИИ

В контексте вычислительной мощности возникает вопрос: становится ли доступ к современным чипам “золотым билетом” для входа на рынок ИИ? Создают ли крупные игроки, подписывающие контракты с производителями чипов или производящие их сами, разрыв между крупными корпоративными компаниями и всем остальным?

Такой разрыв возникает только в одном случае: если бизнес-модель фокусируется исключительно на продаже чипов крупным клиентам. На практике производители, такие как NVIDIA, стремятся предоставить облачные решения для всех. Их оптимизированные чипы доступны в облаке как для OpenAI, так и для независимых разработчиков.

Даже стратегические альянсы между компаниями, такими как Google, Anthropic, Microsoft, OpenAI, Amazon и NVIDIA, в основном являются партнерствами для совместного использования ресурсов, а не попытками закрыть рынок. Эта модель позволяет эффективно распределять вычислительную мощность, ускоряя технологическое развитие.

Если мы проследим цепочку использования вычислительных ресурсов, она начинается с конечного пользователя. Например, когда вы используете WhatsApp для видеозвонков и обмена сообщениями, компания должна обеспечить работу сервиса: хранение и обработка данных, запуск моделей для очистки видео, добавление эффектов и улучшение качества изображения.

Поддержание собственных серверов дорого, они устаревают и требуют постоянного обслуживания. Поэтому появились облачные решения, “облако”. Рынок доминируют три игрока: Google Cloud, AWS и Microsoft Azure. Другие компании не могут конкурировать на этом уровне: масштаб инфраструктуры слишком велик.

Облачные сервисы – это огромные центры данных с системами охлаждения, электроснабжения и круглосуточным обслуживанием. Они содержат серверы и специализированные чипы от NVIDIA, AMD и других производителей, позволяющие выполнять крупномасштабные вычислительные процессы.

Здесь мы приходим к ключевому вопросу, который я обсуждал в своей предыдущей статье о центрах данных, и хочу продолжить здесь: какой основной узкий момент в этой системе? Это нехватка электроэнергии или трудность охлаждения центров данных в регионах, где климат делает это особенно сложным? На самом деле, секрет лежит в самих чипах…

Священный Грааль

Почему NVIDIA сегодня оценивается примерно в 5 триллионов долларов и входит в число самых успешных публичных компаний в мире? Причина проста: NVIDIA производит чипы, на которых обучаются и запускаются модели ИИ.

Каждый из этих чипов потребляет огромное количество электроэнергии при обучении крупных моделей или обработке все возрастающих объемов данных. Но насколько эффективно используется эта энергия? Здесь вступают в действие специализированные чипы; они выполняют конкретные задачи намного более эффективно, чем универсальные GPU.

Модели ИИ различаются. Например, у OpenAI есть одна семья моделей, у Anthropic – другая. Концепции могут быть похожими, но математические структуры и вычислительные процессы различны. Универсальный чип, когда он обучает модели OpenAI (например, ChatGPT) и модели Anthropic (например, Claude), действует как “универсальный инструмент”, потребляя, скажем, 100 000 часов вычислений для одной модели и 150 000 для другой. Эффективность варьируется значительно и редко бывает оптимальной.

Компании решают эту проблему, производя специализированные чипы. Например, один чип может быть оптимизирован для архитектуры ChatGPT и обучать ее за, скажем, 20 минут, в то время как другой чип предназначен для архитектуры Anthropic и также завершает обучение за 20 минут. Потребление энергии и время обучения снижаются несколько раз по сравнению с универсальным чипом.

Когда эти чипы продаются крупным компаниям, таким как Google, Amazon, Microsoft или Azure, они предлагаются как отдельные продукты. Пользователи могут выбрать, например, чип, оптимизированный для модели YOLO, или более простой и дешевый чип для архитектуры Xen. Таким образом, компании получают доступ к вычислительным ресурсам, точно подобранным для их задач, а не покупают универсальные GPU. Если у пользователя есть десять разных функций, он может использовать десять разных специализированных чипов.

Тренд ясен: специализированные чипы постепенно заменяют универсальные. Многие стартапы сейчас работают с ASIC (Application-Specific Integrated Circuits), чипами, предназначенными для конкретных вычислительных задач. Первые ASIC появились для майнинга Bitcoin: изначально криптовалюта добывалась на GPU NVIDIA, затем были созданы чипы, предназначенные исключительно для Bitcoin и не способные выполнять другие задачи.

Я вижу это на практике: одна и та же конфигурация оборудования может давать совершенно разные результаты в зависимости от задачи. В моем стартапе Introspector мы изучаем эти процессы в реальных проектах, и как стратегический советник Keymakr, я наблюдаю, как клиенты получают выгоду от специализированных чипов, позволяющих моделям работать быстрее. Проекты, которые ранее застревали во время обучения или запуска, достигают стабильных результатов с этим подходом.

Однако узкая специализация несет в себе риски. Чип, оптимизированный для архитектуры Anthropic, не будет работать для обучения моделей OpenAI, и наоборот. Каждая новая архитектура требует нового поколения оборудования, создавая риск крупномасштабной “устаревания”. Если Anthropic выпустит новую архитектуру завтра, все предыдущие поколения чипов становятся неэффективными или бесполезными. Производство новых чипов стоит миллиардов долларов и может занять годы.

Это создает дилемму: должны ли мы производить специализированные чипы, которые работают идеально в узком сценарии, или продолжать производить универсальные чипы, которые решают все задачи посредственно, но не требуют полной замены, когда архитектуры меняются?

Эффективность в этом контексте измеряется тремя основными параметрами: временем выполнения, потреблением электроэнергии и генерацией тепла. Эти метрики напрямую связаны: чем дольше работает система, тем больше энергии она потребляет и тем больше тепла производит. Снижение одного параметра автоматически улучшает два других.

Здесь лежит “Священный Грааль” производительности ИИ: если хотя бы один из фундаментальных показателей эффективности можно оптимизировать, другие показатели几乎 автоматически улучшаются.

Устойчивый процесс

С растущим использованием специализированных чипов проблема риска переизбытка оборудования стала насущной. Сейчас уже значительный избыток оборудования, и компании решают эту проблему различными устойчивыми способами, включая повторное использование существующих ресурсов.

Переработка оборудования стала ключевым элементом устойчивого развития в высокотехнологичных отраслях. Чипы содержат значительные количества драгоценных и базовых металлов, золота, меди, алюминия, палладия и редкоземельных материалов, а также материалов, используемых в микрочипах и транзисторах. Когда оборудование становится устаревшим, эти ценные ресурсы могут быть возвращены в производство, снижая стоимость новых компонентов и одновременно снижая экологический след отрасли.

Некоторые специализированные заводы и компании фокусируются на переработке и извлечении драгоценных металлов из устаревших компонентов. Например, некоторые объекты используют гидрометаллургические процессы и передовые химические методы для извлечения золота и меди с высокой степенью чистоты, позволяя повторно использовать эти материалы в новых чипах.

Кроме того, компании реализуют модели замкнутого цикла, где старое оборудование модернизируется или интегрируется в новые решения, снижая потребность в первичной добыче ресурсов. Такие подходы не только помогают минимизировать отходы, но и снижают углеродный след производства, поскольку традиционная добыча и обработка металлов требуют значительного количества энергии.

Устойчивое управление жизненным циклом чипов и оборудования может стать отраслевым стандартом, где технологический прогресс сочетается с экологической ответственностью.