Святой Грааль вычислительной мощности в искусственном интеллекте

Несмотря на невероятный прогресс, возможности искусственного интеллекта по-прежнему ограничены по сравнению с реальными ожиданиями. Мы создаем сложные модели, запускаем нейронные сети и тестируем алгоритмы, но прогресс иногда замирает там, где мы меньше всего этого ожидаем.

Проблема часто кроется не в алгоритмах или данных, а в вычислительной мощности, в ресурсах, позволяющих моделям обучаться и работать в необходимом масштабе. Так что же стоит за этим барьером? Давайте рассмотрим критически важный ресурс, без которого даже самые многообещающие проекты в области ИИ не могут выйти за пределы лаборатории.

Дефицит вычислительных ресурсов и его последствия

Чтобы разобраться в этой теме, начнём с истории мобильной связи. Когда появились сети 3G, а затем и 4G, интернет уже был практически глобальным. А когда была внедрена технология 5G, многие задали вполне резонный вопрос: «Интернет станет быстрее — и что с того?»

В действительности, увеличение скорости интернета происходит не только ради удобства пользователей. Оно трансформирует весь технологический ландшафт. Появляются сценарии использования, которые ранее были невозможны. 5G оказался намного быстрее, чем 4G, и этот скачок был не постепенным, как переход от 1G к 2G, а экспоненциальным. В результате могут появиться новые приложения, устройства и целые классы технологий.

Камеры для контроля светофоров, системы анализа дорожного движения в реальном времени и автоматизированные механизмы регулирования дорожного движения — все это становится возможным благодаря новым коммуникационным технологиям. Полиция получает новые способы обмена данными, а в космосе телескопы и спутники могут передавать на Землю огромные объемы информации. Качественный скачок в фундаментальной технологии стимулирует развитие всей экосистемы.

Тот же принцип применим и к вычислительной мощности. Представьте себе общую вычислительную мощность человечества в гипотетических единицах. Сегодня у нас может быть, скажем, десять таких единиц. С их помощью мы можем генерировать изображения и видео, писать тексты, создавать маркетинговые материалы… Это уже значительная величина, но сфера применения в основном ограничена.

Теперь представьте, что у нас не десять, а тысяча таких устройств. Внезапно технологии, которые раньше были слишком дорогими, становятся осуществимыми, а стартапы, заброшенные из-за высоких вычислительных затрат, начинают приобретать экономический смысл.

Возьмем, к примеру, роботакси. Сегодня они в основном полагаются на относительно слабые локальные компьютеры, установленные в транспортном средстве. Однако, если бы видеопоток передавался в облако с огромными вычислительными ресурсами, данные можно было бы обрабатывать и возвращать в режиме реального времени. А это критически важно: автомобиль, движущийся со скоростью 100 км/ч, должен принимать решения за доли секунды — ехать прямо, повернуть, затормозить или не тормозить.

Именно тогда станет возможна полноценная индустрия роботакси, а не просто изолированные решения, подобные тем, что мы видим сегодня. Любой локальный компьютер, установленный в автомобиле, по своей природе имеет ограничения, которых нет у подключенной системы. Чем быстрее мы сможем масштабировать это, тем быстрее изменится мир вокруг нас.

Доступ к чипам и «золотой билет» в мир искусственного интеллекта.

В контексте вычислительной мощности возникает вопрос: становится ли доступ к современным чипам «золотым билетом» на рынок ИИ? Создают ли крупные игроки, заключающие контракты с производителями чипов или производящие их самостоятельно, разрыв между крупными корпоративными компаниями и всеми остальными?

Подобный разрыв возникает только в одном случае: если бизнес-модель ориентирована исключительно на продажу чипов крупным клиентам. На практике же производители, такие как NVIDIA, стремятся предоставлять облачные решения для всех. Их оптимизированные чипы доступны в облаке как для OpenAI, так и для независимых разработчиков.

Даже стратегические альянсы между такими компаниями, как Google, Anthropic, Microsoft, OpenAI, Amazon и NVIDIA, в первую очередь представляют собой партнерства для совместного использования ресурсов, а не попытки закрыть рынок. Эта модель позволяет эффективно распределять вычислительные мощности, тем самым ускоряя технологическое развитие.

Если проследить цепочку использования вычислительных ресурсов, она начинается с конечного пользователя. Например, когда вы используете WhatsApp для видеозвонков и обмена сообщениями, компания должна обеспечить работоспособность сервиса: хранение и обработка данных, запуск моделей для очистки видео, добавление эффектов и улучшение качества изображения.

Поддержание собственных серверов обходится дорого, они устаревают и требуют постоянного обслуживания. Именно поэтому появились облачные решения, «облако». На рынке доминируют три игрока: Google Cloud, AWS и Microsoft Azure. Другие компании не могут конкурировать на этом уровне: масштабы инфраструктуры слишком велики.

Облачные сервисы — это огромные центры обработки данных с системами охлаждения, электропитания и круглосуточным обслуживанием. В них размещаются серверы и специализированные чипы от NVIDIA, AMD и других производителей, обеспечивающие выполнение крупномасштабных вычислительных процессов.

Здесь мы подходим к ключевому вопросу, который я обсуждал в своей работе. предыдущая статья о центрах обработки данныхИ я хочу продолжить: в чем же основное узкое место в этой системе? В нехватке электроэнергии или в трудностях с охлаждением центров обработки данных в регионах, где климат делает это особенно проблематичным? На самом деле, секрет кроется в самих чипах…

Святой Грааль

Почему сегодня стоимость NVIDIA оценивается примерно в 5 триллионов долларов, и компания входит в число самых успешных публичных компаний мира? Причина проста: NVIDIA производит чипы, на которых обучаются модели искусственного интеллекта и выполняются вычисления.

Каждый из этих чипов потребляет огромное количество электроэнергии при обучении больших моделей или обработке постоянно растущих объемов данных. Но насколько эффективно используется эта энергия? Вот тут-то и вступают в игру специализированные чипы; они справляются с конкретными задачами гораздо эффективнее, чем универсальные графические процессоры.

Модели ИИ различаются. Например, у OpenAI есть одно семейство моделей, а у Anthropic — другое. Концепции могут быть схожими, но математические структуры и вычислительные процессы различны. Один универсальный чип при обучении моделей OpenAI (например, ChatGPT) и моделей Anthropic (например, Claude) действует как «универсальный инструмент», потребляя, скажем, 100 000 часов вычислений для одной модели и 150 000 для другой. Эффективность значительно варьируется и редко бывает оптимальной.

Компании решают эту проблему, производя специализированные чипы. Например, один чип может быть оптимизирован для архитектуры ChatGPT и обучаться, скажем, за 20 минут, в то время как другой, адаптированный под архитектуру Anthropic, также завершает обучение за 20 минут. Энергопотребление и время обучения сокращаются в несколько раз по сравнению с универсальным чипом.

Когда эти чипы продаются крупным компаниям, таким как Google, Amazon, Microsoft или Azure, они предлагаются как отдельные продукты. Пользователи могут выбрать, например, чип, оптимизированный для модели YOLO, или более простой и дешевый чип для архитектуры Xen. Таким образом, компании получают доступ к вычислительным ресурсам, точно адаптированным к их задачам, вместо того, чтобы покупать универсальные графические процессоры. Если у пользователя десять различных функций, он может использовать десять разных специализированных чипов.

Тенденция очевидна: специализированные чипы постепенно вытесняют универсальные. Многие стартапы сейчас работают с ASIC (Application-Specific Integrated Circuits), чипами, разработанными для решения конкретных вычислительных задач. Первые ASIC появились для майнинга биткоинов: первоначально криптовалюта добывалась на графических процессорах NVIDIA, затем были созданы чипы, предназначенные исключительно для биткоина и не способные выполнять другие задачи.

Я вижу это на практике: одна и та же конфигурация оборудования может давать совершенно разные результаты в зависимости от задачи. В моем стартапе ИнтроспекторМы изучаем эти процессы в реальных проектах, а также выступаем в качестве стратегического консультанта. KeymakrЯ наблюдаю, как клиенты повышают эффективность благодаря специализированным чипам, позволяющим моделям работать быстрее. Проекты, которые ранее останавливались во время обучения или вывода результатов, достигают стабильных результатов с помощью этого подхода.

Однако узкая специализация сопряжена с рисками. Чип, оптимизированный для архитектуры Anthropic, не будет работать для обучения моделей OpenAI, и наоборот. Каждая новая архитектура требует нового поколения оборудования, что создает риск масштабного «устаревания». Если Anthropic выпустит новую архитектуру завтра, все чипы предыдущего поколения станут неэффективными или бесполезными. Производство новых чипов стоит миллиарды долларов и может занять годы.

Это создает дилемму: следует ли нам создавать специализированные чипы, которые идеально работают в узком сценарии, или продолжать выпускать универсальные чипы, которые достаточно хорошо решают все задачи, но не требуют полной замены при изменении архитектуры?

В данном контексте эффективность измеряется тремя основными параметрами: временем работы, потреблением электроэнергии и выделением тепла. Эти показатели напрямую связаны: чем дольше работает система, тем больше энергии она потребляет и тем больше тепла выделяет. Снижение одного параметра автоматически улучшает два других.

Здесь кроется «святой Грааль» эффективности ИИ: если удается оптимизировать хотя бы один из фундаментальных показателей эффективности, то остальные показатели почти автоматически улучшаются.

Устойчивый процесс

В связи с растущим использованием специализированных микросхем проблема рисков перепроизводства стала особенно актуальной. В настоящее время избыток оборудования уже значителен, и компании решают эту проблему различными устойчивыми способами, включая повторное использование существующих ресурсов.

Переработка оборудования стала ключевым элементом устойчивого развития в высокотехнологичных отраслях. Микросхемы содержат значительное количество драгоценных и недрагоценных металлов, золота, меди, алюминия, палладия и редкоземельных элементов, а также материалов, используемых в микросхемах и транзисторах. После того как оборудование устаревает, эти ценные ресурсы могут быть возвращены в производство, что снижает стоимость новых компонентов и одновременно уменьшает воздействие отрасли на окружающую среду.

Некоторые специализированные заводы и компании сосредоточены на переработке и извлечении драгоценных металлов из устаревших компонентов. Например, некоторые предприятия используют гидрометаллургические процессы и передовые химические методы для извлечения золота и меди с высокой степенью чистоты, что позволяет повторно использовать эти материалы в новых микросхемах.

Кроме того, компании внедряют модели замкнутого цикла, в рамках которых старое оборудование модернизируется или интегрируется в новые решения, что снижает потребность в добыче первичных ресурсов. Такие подходы не только помогают минимизировать отходы, но и снижают углеродный след производства, поскольку традиционная добыча полезных ископаемых и металлообработка требуют значительных энергетических затрат.

Устойчивое управление жизненным циклом микросхем и оборудования может стать отраслевым стандартом, где технологический прогресс сочетается с экологической ответственностью.