От закона Мура к “закону OpenAI”: экспоненциальная траектория развития ИИ

Искусственный интеллект развивается с такой скоростью, что ее трудно понять. Чтобы описать это явление, инсайдеры начали ссылаться на то, что некоторые называют «законом OpenAI» — современным аналогом закона Мура, но намного более крутым. Этот термин был привлечен к более широкому вниманию в книге Империя ИИ, которая хронике восхождения OpenAI и разворачивающейся гонки к искусственному общему интеллекту (ИОИ). В книге “закон OpenAI” используется для описания головокружительной скорости, с которой требования к вычислениям — и, следовательно, возможности ИИ — увеличились за последнее десятилетие.

Хотя это не формальный научный закон, закон OpenAI относится к реальной и измеримой тенденции: быстрому удвоению вычислительной мощности, используемой для обучения передовых моделей ИИ, происходящему с темпом, намного более быстрым, чем закон Мура. В практическом смысле вычисления ИИ удваивались примерно каждые три-четыре месяца, по сравнению с 18-24 месяцами Мура. Эта экспоненциальная кривая лежит в основе современного бума ИИ и создает предпосылки для будущего, которое приближается быстрее, чем многие ожидают.

Закон Мура: Двигатель, который запустил цифровую эпоху

Закон Мура был движущей силой за ростом персональных компьютеров, смартфонов и облачных вычислений. Он предсказывал, что количество транзисторов на микросхеме будет удваиваться примерно каждые два года, что приведет к экспоненциальному увеличению вычислительной мощности, энергоэффективности и снижению затрат.

В течение десятилетий это простой закон сохранялся, что делало каждое поколение оборудования экспоненциально более мощным, чем предыдущее. Но когда физические и экономические ограничения были достигнуты в 2010-х годах, закон Мура начал замедляться. Инженеры ответили на это, используя больше ядер, трехмерную укладку микросхем и специализированные процессоры для расширения производительности — но легкие выигрыши были утеряны.

Именно в это время исследования ИИ, стимулированные глубоким обучением, начали отклоняться от традиционной траектории закона Мура.

Рождение закона OpenAI: взрывная кривая вычислений ИИ

В начале 2010-х годов исследователи обнаружили, что подача большего количества вычислений в крупномасштабные нейронные сети привела к все более мощным возможностям ИИ. Начиная с 2012 года, количество вычислений, используемых в крупнейших тренировочных запусках ИИ, начало удваиваться примерно каждые 3-4 месяца.

Это было ошеломляющее ускорение — намного быстрее, чем закон Мура. За шесть лет вычисления, используемые в моделях ИИ, увеличились более чем в 300 000 раз. Хотя закон Мура обеспечил бы только 7-кратное увеличение за это время, вычисления ИИ взлетели благодаря агрессивному масштабированию.

Это явление стало неофициально известно как закон OpenAI — самоназначенная траектория организациями, такими как OpenAI, которые считали, что масштабирование размера модели и вычислений является самым быстрым путем к искусственному общему интеллекту (ИОИ). Книга Империя ИИ описывает этот сдвиг в деталях, иллюстрируя, как OpenAI и его руководство обязались этой стратегии, несмотря на растущие затраты, потому что они считали, что это самый прямой путь к разблокировке трансформирующих возможностей.

Критически, закон OpenAI не является физической неизбежностью — это стратегическое решение. Убеждение, что “больше вычислений означает лучший ИИ”, стало руководящим принципом, поддержанным огромными инвестициями, строительством инфраструктуры и партнерством с облачными провайдерами.

Гипотеза масштабирования и новая гонка вооружений

Подlying закон OpenAI является гипотезой масштабирования: идеей о том, что просто делая модели больше и обучая их на более данных с большим количеством вычислений, приводит к качественно лучшим результатам. Эта гипотеза получила поддержку, поскольку каждая последующая модель — GPT-2, GPT-3, GPT-4 — продемонстрировала скачки в плавности, рассуждении и многомодальном понимании.

В сердце этой тенденции лежит интенсивная конкуренция между технологическими компаниями за доминирование на переднем крае ИИ. Результатом стала своего рода гонка вооружений, где каждая новая веха требует экспоненциально больше вычислительных ресурсов, чем предыдущая.

Обучение крупных моделей теперь требует десятков тысяч высокопроизводительных GPU, работающих параллельно. Прогнозы для будущих моделей предполагают вычислительные бюджеты, которые могут достигать или превышать 100 миллиардов долларов, с огромными требованиями к мощности и инфраструктуре.

Эта тенденция привела к новому типу экспоненциальной кривой — не определяемой больше количеством транзисторов, а готовностью и способностью масштабировать вычисления любой ценой.

Сравнение: закон Хуана и закон Курцвейла ускоряющихся возвращений

Чтобы полностью понять значение закона OpenAI, полезно изучить другие фундаментальные рамки, которые сформировали наше понимание технологического прогресса за пределами закона Мура.

Закон Хуана, названный в честь генерального директора NVIDIA Дженсена Хуана, описывает наблюдение, что производительность GPU для задач ИИ улучшалась с темпом, значительно более быстрым, чем закон Мура. За пять лет GPU увидели улучшения производительности, превышающие 25-кратное, намного превосходящие примерно 10-кратные улучшения, ожидаемые при традиционном масштабировании транзисторов.

Это ускорение не является результатом только плотности микросхем — это результат системной инновации. Улучшения в архитектуре GPU, увеличение пропускной способности памяти, высокоскоростные соединения и достижения в программных экосистемах, таких как CUDA и библиотеки глубокого обучения, все способствовали этим достижениям. Инженерные оптимизации в планировании, тензорных операциях и параллелизме также сыграли важную роль.

Улучшения в задачах вывода и обучения на отдельных GPU достигли до 1000-кратного за последнее десятилетие, стимулированные этой нарастающей стопкой инноваций в аппаратном и программном обеспечении. По сути, способность GPU для задач ИИ удваивалась каждые 6-12 месяцев — три-четыре раза быстрее, чем исходная кривая Мура. Этот неумолимый темп сделал GPU незаменимым двигателем современного ИИ, позволяя осуществлять крупномасштабные параллельные тренировочные запуски, лежащие в основе закона OpenAI.

Закон Курцвейла ускоряющихся возвращений берет идею экспоненциального роста на шаг вперед — он предлагает, что темп экспоненциального роста сам ускоряется со временем. Согласно этому принципу, каждое технологическое прорыв не просто стоит отдельно; оно создает инструменты, платформы и знания, которые делают следующий прорыв более быстрым и эффективным. Это приводит к компаундинговому эффекту, при котором технологические изменения питаются сами собой, ускоряясь как в масштабе, так и в частоте.

Курцвейл утверждал, что эта динамика сожмет то, что могло бы быть столетиями прогресса, в несколько десятилетий. Если темп прогресса удваивается каждые десять лет, 21-й век может испытать ошеломляющий скачок — эквивалент десяткам тысяч лет прогресса по историческим показателям.

Этот закон особенно актуален для ИИ. Современный ИИ больше не просто предмет прогресса — он стал ускорителем прогресса. Системы ИИ уже помогают в проектировании новых микросхем, оптимизации нейронных сетей, проведении научных исследований и даже написании самого кода, используемого для построения их преемников. Это создает рекурсивную петлю улучшения, где каждое поколение ИИ улучшает следующее, сокращая сроки разработки и умножая возможности.

Эта обратная связь начинает напоминать то, что некоторые называют интеллектуальным взрывом: сценарием, в котором системы ИИ становятся способными быстро улучшать себя без вмешательства человека. Результатом является кривая, которая не просто поднимается круто — она изгибается вверх драматически, поскольку циклы итерации сжимаются, а прорывы каскадируют. Если эта тенденция продолжится, мы можем стать свидетелями фазы технологического прогресса, который кажется почти мгновенным — когда целые отрасли, научные области и режимы мышления эволюционируют за месяцы, а не десятилетия.

Закон OpenAI вписывается в эту линию как выражение экспоненциального роста с потребительской стороны. В отличие от законов Мура или Хуана, которые описывают темп улучшения аппаратного обеспечения, закон OpenAI отражает, сколько вычислений исследователи фактически выбирают для потребления в погоне за лучшими результатами. Он показывает, что прогресс ИИ больше не строго связан с тем, что могут микросхемы, а скорее с тем, что исследователи готовы — и могут — масштабировать. Стимулированный огромной облачной инфраструктурой и миллиардами инвестиций, закон OpenAI представляет собой новую эпоху, в которой возможности растут не только через инновации, но и через намеренную, концентрированную силу.

Вместе эти законы рисуют многомерный вид экспоненциального роста. Мур и Хуан определяют предложение вычислений. Курцвейл картографирует метатренд нарастающих достижений. А закон OpenAI подчеркивает новый вид технологической амбиции — где толкание пределов больше не является опциональным, а центральной стратегией.

Обещание: почему экспоненциальный ИИ имеет значение

Последствия закона OpenAI глубоки.

С оптимистической стороны, экспоненциальное масштабирование произвело ошеломляющие результаты. Системы ИИ теперь могут писать эссе, генерировать код, помогать в научных исследованиях и участвовать в удивительно плавных разговорах. Каждое 10-кратное увеличение масштаба, кажется, открывает новые эмерджентные возможности, предполагая, что мы можем приближаться к ИОИ.

ИИ может скоро трансформировать отрасли, начиная от образования и здравоохранения и заканчивая финансами и материаловедением. Если закон OpenAI продолжит действовать, мы можем стать свидетелями прорывов, которые сожмут десятилетия инноваций в несколько коротких лет.

Это суть нового термина, который мы придумали: “эскейп-скорость ИИ” — момент, когда ИИ начинает улучшать себя, толкая прогресс в самоподдерживающуюся экспоненциальную волну.

Цена: экологические, экономические и этические затраты

Но экспоненциальный рост не идет бесплатно.

Обучение передовых моделей теперь потребляет огромное количество электроэнергии и воды. Питание тысяч GPU в течение недель создает серьезные экологические проблемы, включая выбросы углекислого газа и тепловые отходы. Цепочки поставок для чипов ИИ также находятся под давлением, что вызывает геополитические и проблемы устойчивости.

Финансово только крупнейшие технологические компании или хорошо финансируемые стартапы могут позволить себе оставаться на кривой. Это приводит к концентрации власти, где небольшая группа организаций контролирует передний край интеллекта.

Этически, закон OpenAI поощряет гоночный образ мышления — больше, быстрее, скорее — который может привести к преждевременному развертыванию, неиспытанным системам и обходу проблем безопасности.

Чтобы смягчить это, исследователи предложили рамки управления, которые отслеживают развитие ИИ не по тому, что делают модели, а по тому, сколько вычислений было использовано для их обучения. Поскольку вычисления являются одним из лучших предикторов способностей модели, они могут стать заменой оценки риска и регулирования.

Ограничения масштабирования: что происходит, когда кривая изгибается?

Несмотря на впечатляющие достижения, существует дискуссия о том, как долго может продолжаться тенденция масштабирования. Некоторые считают, что мы уже видим снижение доходности: более крупные модели потребляют больше вычислений, но дают только незначительные улучшения.

Другие утверждают, что прорывы в эффективности, проектировании алгоритмов или архитектуре модели могли бы сгладить кривую без замедления прогресса. Меньшие, умные модели могут стать более привлекательными, чем брутальные гиганты.

Более того, общественное давление, регулирование и ограничения инфраструктуры могут заставить отрасль пересмотреть образ мышления “масштабировать любой ценой”. Если энергосистемы, бюджеты или социальное согласие не могут идти в ногу, экспоненциальный ИИ может столкнуться с потолком — или, по крайней мере, поворотным моментом.

Дорога вперед: картографирование будущего экспоненциального ИИ

На данный момент закон OpenAI остается одним из самых ясных линз, через которые можно рассматривать будущее искусственного интеллекта. Он объясняет, как мы перешли от примитивных чат-ботов к многомодальным общим системам менее чем за десятилетие — и почему следующая волна прогресса может быть еще более драматичной.

Однако закон также приходит с компромиссами: неравенство доступа, растущие затраты, экологические бремена и проблемы безопасности. Когда мы ускоряемся в эту новую эпоху, общество будет вынуждено столкнуться с фундаментальными вопросами:

• Кто получает право формировать будущее ИИ?
• Как мы балансируем прогресс с осторожностью?
• Какие системы необходимы для управления экспоненциальными возможностями, прежде чем они выйдут из-под человеческого контроля?

Закон OpenAI не является неизменным. Как и закон Мура до него, он может в конечном итоге замедлиться, выровниться или быть заменен новой парадигмой. Но на данный момент он служит как предупреждением, так и дорожной картой — напоминая нам, что будущее ИИ не просто продвигается — оно нарастает.

Мы не просто свидетелями истории — мы проектируем ее с экспоненциальной скоростью. Но с этой властью приходит ответственность: обеспечить, чтобы человечество не страдало экспоненциальным вредом наряду с экспоненциальным прогрессом.