Священный Грааль Вычислительной Мощности в ИИ

Несмотря на невероятный прогресс, возможности искусственного интеллекта все еще ограничены по сравнению с реальными ожиданиями. Мы строим сложные модели, запускаем нейронные сети и тестируем алгоритмы, но прогресс иногда останавливается в тех местах, где мы меньше всего ожидаем.

Проблема часто заключается не в алгоритмах или данных, а в вычислительной мощности, ресурсах, которые позволяют моделям учиться и работать в необходимом масштабе. Итак, что стоит за этим барьером? Давайте рассмотрим критический ресурс, без которого даже самые перспективные проекты ИИ не могут выйти за пределы лаборатории.

Дефицит вычислений и его последствия

Чтобы понять эту тему, давайте начнем с истории мобильных коммуникаций. Когда появились сети 3G и позже 4G, интернет был уже почти глобальным. И когда был введен 5G, многие люди задали вполне разумный вопрос: “Интернет будет быстрее – но так что?”

На самом деле, увеличение скорости интернета не сводится к удобству пользователя. Оно преобразует всю технологическую ландшафт. Появляются случаи использования, которые ранее были невозможны. 5G оказался намного быстрее 4G, и этот скачок не был постепенным, как переход от 1G к 2G, а экспоненциальным. В результате появляются новые приложения, устройства и целые классы технологий.

Камеры для наблюдения за трафиком, системы реального анализа трафика и механизмы автоматического регулирования трафика – все это становится возможным благодаря новым технологиям связи. Полиция получает новые способы обмена данными, и в космосе телескопы и спутники могут передавать огромные объемы информации на Землю. Качественный скачок в фундаментальной технологии стимулирует развитие всей экосистемы.

То же самое принцип применяется к вычислительной мощности. Представьте себе общую вычислительную мощность человечества в гипотетических единицах. Сегодня у нас может быть, скажем, десять таких единиц. С их помощью мы можем генерировать изображения и видео, писать тексты, создавать маркетинговые материалы… Это уже существенно, но диапазон применения ограничен в основном.

Теперь представьте, что у нас не десять, а тысяча таких единиц. Внезапно технологии, которые ранее были слишком дорогими, становятся осуществимыми, и стартапы, которые были брошены из-за высоких вычислительных затрат, начинают иметь экономический смысл.

Возьмем, например, роботакси. Сегодня они в основном полагаются на относительно слабые локальные компьютеры, установленные в транспортном средстве. Однако, если видеопоток был бы передан в облако с огромными вычислительными ресурсами, данные могли бы быть обработаны и возвращены в реальном времени. И это критически важно: автомобиль, движущийся со скоростью 100 км/ч, должен принимать решения за доли секунды – ехать прямо, поворачивать, тормозить или не тормозить.

Тогда полностью функционирующая индустрия роботакси становится возможной, а не изолированные решения, которые мы видим сегодня. Любой локальный компьютер, установленный в автомобиле, по своей сути ограничен так, что связанная система не ограничена. Чем быстрее мы можем масштабировать ее, тем быстрее будет меняться мир вокруг нас.

Доступ к чипам и “золотой билет” в ИИ

В контексте вычислительной мощности возникает вопрос: становится ли доступ к современным чипам “золотым билетом” для входа на рынок ИИ? Создают ли крупные игроки, подписывающие контракты с производителями чипов или производящими их сами, разрыв между крупными корпоративными компаниями и всем остальным?

Такой разрыв возникает только в одном случае: если бизнес-модель сосредоточена исключительно на продаже чипов крупным клиентам. На практике производители, такие как NVIDIA, стремятся предоставлять облачные решения для всех. Их оптимизированные чипы доступны в облаке как для OpenAI, так и для независимых разработчиков.

Даже стратегические альянсы между компаниями, такими как Google, Anthropic, Microsoft, OpenAI, Amazon и NVIDIA, в основном являются партнерствами для совместного использования ресурсов, а не попытками закрыть рынок. Эта модель позволяет эффективно распределять вычислительные ресурсы, тем самым ускоряя технологическое развитие.

Если мы проследим цепочку использования вычислительных ресурсов, она начинается с конечного пользователя. Например, когда вы используете WhatsApp для видеозвонков и обмена сообщениями, компания должна обеспечить работоспособность сервиса: хранение и обработка данных, запуск моделей для очистки видео, добавления эффектов и улучшения качества изображения.

Поддержание собственных серверов дорого, они становятся устаревшими и требуют постоянного обслуживания. Поэтому появились облачные решения, “облако”. Рынок доминируют три игрока: Google Cloud, AWS и Microsoft Azure. Другие компании не могут конкурировать на этом уровне: масштаб инфраструктуры слишком велик.

Облачные сервисы – это огромные центры данных с охлаждением, питанием и круглосуточным обслуживанием. Они содержат серверы и специализированные чипы от NVIDIA, AMD и других производителей, позволяющие выполнять крупномасштабные вычислительные процессы.

Здесь мы подходим к ключевому вопросу, который я обсуждал в своей предыдущей статье о центрах данных, и хочу продолжить здесь: какой основной узкий момент в этой системе? Это нехватка электроэнергии или трудность охлаждения центров данных в регионах, где климат делает это особенно сложным? На самом деле, секрет лежит в самих чипах…

Священный Грааль

Почему NVIDIA сегодня оценивается примерно в 5 триллионов долларов и входит в число самых успешных публичных компаний в мире? Причина проста: NVIDIA производит чипы, на которых обучаются и запускаются модели ИИ.

Каждый из этих чипов потребляет огромное количество электроэнергии при обучении крупных моделей или обработке все возрастающих объемов данных. Но насколько эффективно используется эта энергия? Здесь вступают в игру специализированные чипы; они выполняют конкретные задачи намного более эффективно, чем универсальные GPU.

Модели ИИ различаются. Например, OpenAI имеет одну семью моделей, Anthropic – другую. Концепции могут быть похожими, но математические структуры и вычислительные процессы различны. Универсальный чип, когда он обучает модели OpenAI (например, ChatGPT) по сравнению с моделями Anthropic (например, Claude), действует как “универсальный инструмент”, потребляя, скажем, 100 000 часов вычислений для одной модели и 150 000 для другой. Эффективность существенно различается и редко бывает оптимальной.

Компании решают эту проблему, производя специализированные чипы. Например, один чип может быть оптимизирован для архитектуры ChatGPT и обучать ее, скажем, за 20 минут, в то время как другой чип предназначен для архитектуры Anthropic и также завершает обучение за 20 минут. Потребление энергии и время обучения сокращаются в несколько раз по сравнению с универсальным чипом.

Когда эти чипы продаются крупным компаниям, таким как Google, Amazon, Microsoft или Azure, они предлагаются как отдельные продукты. Пользователи могут выбрать, например, чип, оптимизированный для модели YOLO или более простой и дешевый чип для архитектуры Xen. Таким образом, компании получают доступ к вычислительным ресурсам, точно подобранным для их задач, а не покупают универсальные GPU. Если у пользователя есть десять разных функций, он может использовать десять разных специализированных чипов.

Тренд ясен: специализированные чипы постепенно заменяют универсальные. Многие стартапы сейчас работают с ASIC (Application-Specific Integrated Circuits), чипами, предназначенными для конкретных вычислительных задач. Первые ASIC появились для майнинга Bitcoin: изначально криптовалюта добывалась на GPU NVIDIA, затем были созданы чипы, предназначенные исключительно для Bitcoin и не способные выполнять другие задачи.

Я вижу это на практике: одна и та же аппаратная конфигурация может давать совершенно разные результаты в зависимости от задачи. В моем стартапе Introspector мы изучаем эти процессы в реальных проектах, и как стратегический советник Keymakr, я наблюдаю, как клиенты получают выгоду от специализированных чипов, позволяющих моделям работать быстрее. Проекты, которые ранее застревали на этапе обучения или вывода, достигают стабильных результатов с этим подходом.

Однако узкая специализация несет в себе риски. Чип, оптимизированный для архитектуры Anthropic, не будет работать для обучения моделей OpenAI, и наоборот. Каждая новая архитектура требует нового поколения оборудования, создавая риск массовой “устаревания”. Если Anthropic выпустит новую архитектуру завтра, все предыдущие поколения чипов станут неэффективными или бесполезными. Производство новых чипов стоит миллиардов долларов и может занять годы.

Это создает дилемму: должны ли мы производить специализированные чипы, которые работают идеально в узком сценарии, или продолжать производить универсальные чипы, которые решают все задачи посредственно, но не требуют полной замены, когда архитектуры меняются?

Эффективность в этом контексте измеряется тремя основными параметрами: временем выполнения, потреблением электроэнергии и генерацией тепла. Эти метрики напрямую связаны: чем дольше работает система, тем больше энергии она потребляет и тем больше тепла она производит. Сокращение одного параметра автоматически улучшает два других.

Здесь лежит “Священный Грааль” производительности ИИ: если хотя бы один из фундаментальных показателей эффективности может быть оптимизирован, другие показатели几乎 автоматически улучшаются.

Устойчивый процесс

С растущим использованием специализированных чипов проблема риска перепроизводства стала насущной. В настоящее время избыток оборудования уже существен, и компании решают эту проблему различными устойчивыми способами, включая повторное использование существующих ресурсов.

Переработка оборудования стала ключевым элементом устойчивого развития в высокотехнологичных отраслях. Чипы содержат значительные количества драгоценных и базовых металлов, золота, меди, алюминия, палладия и редкоземельных материалов, а также материалов, используемых в микрочипах и транзисторах. Как только оборудование становится устаревшим, эти ценные ресурсы могут быть возвращены в производство, снижая стоимость новых компонентов, а также снижая экологический след отрасли.

Некоторые специализированные фабрики и компании фокусируются на переработке и извлечении драгоценных металлов из устаревших компонентов. Например, некоторые объекты используют гидрометаллургические процессы и передовые химические методы для извлечения золота и меди с высокой степенью чистоты, позволяя использовать эти материалы в новых чипах.

Кроме того, компании реализуют модели замкнутого цикла, где старое оборудование модернизируется или интегрируется в новые решения, тем самым снижая потребность в первичной добыче ресурсов. Такие подходы не только помогают минимизировать отходы, но и снижают углеродный след производства, поскольку традиционная добыча и обработка металлов требуют значительного количества энергии.

Устойчивое управление жизненным циклом чипов и оборудования может стать отраслевым стандартом, где технологический прогресс сочетается с экологической ответственностью.