Три поколения охлаждения данных — и почему большинство операторов строят вчерашнюю инфраструктуру

Три года назад отрасль центров обработки данных обсуждала, будет ли когда-нибудь необходимо жидкостное охлаждение. Два года назад большинство операторов считали, что одnofазная вода будет решением. Сегодня ведущие объекты переходят на архитектуры следующего поколения охлаждения, в то время как многие новые постройки блокируют системы, которые устареют в течение нескольких лет.

Это расхождение вызвано физикой и дорожными картами процессоров, которые уже видны до 2027 года. Вместе они создают раскол между операторами, которые понимают, что охлаждение входит в новую архитектурную эру, и теми, кто может вскоре обнаружить, что они инвестировали hundreds миллионов долларов в инфраструктуру, которая не сможет поддержать следующую волну процессоров ИИ.

Три поколения охлаждения

Охлаждение центров обработки данных прошло через три различных архитектурных эпохи, каждая из которых определяется новым набором препятствий, которые необходимо преодолеть, и плотностью стеллажей, которые требуют экономической поддержки.

• Поколение 1: Воздушное охлаждение (2000–2023): Достигло пика в 10–15 кВт на стеллаж. Экономика начала разрушаться около 2020 года, когда нагрузки ИИ превысили 20 кВт. К 2023 году воздушное охлаждение в значительной степени стало устаревшим для новых высокоплотных развертываний.

• Поколение 2: Одинофазная жидкость (2020–2027): Первый подход к жидкостному охлаждению. Использует воду или PG25 при высоких скоростях потока для удаления тепла через изменение температуры. Пригодно для 20–120 кВт на стеллаж, но показывает напряжение выше 150 кВт. Ожидается, что оно достигнет своих практических пределов к 2027 году, когда процессоры превысят 2 000 Вт.

• Поколение 3: Двухфазное + передовая система удаления тепла (2024–2035+): Использует хладагенты, которые поглощают тепло через фазовый переход, а не изменение температуры. Масштабируемо от 150 кВт и далее на стеллаж. Позволяет использовать новые стратегии удаления тепла от микросхемы до атмосферы. Уже развертывается ведущими операторами и, как ожидается, будет доминировать к 2027–2028 годам.

Каждый переход отмечает точку разрыва — когда физика и экономика одновременно достигают своего потолка.

Физическая проблема поколения 2

Первые развертывания поколения 2 начинают раскрывать пределы одnofазного охлаждения.

Водные системы требуют скоростей потока, примерно равных 1,5 литрам в минуту на киловатт. Стеллаж мощностью 120 кВт требует примерно 180 литров в минуту; при 250 кВт это увеличивается до 375 литров в минуту через холодные пластины с отверстиями, измеряемыми в миллиметрах.

На GTC в этом году стеллажи, подключенные к линиям размером с пожарные шланги, сделали проблему видимой. Высокие скорости потока создают каскадные проблемы. Вода, смешанная с гликолем, окисляет микрофинированные структуры, и коррозия усугубляется скоростями потока, которые разрушают ослабленные фины. Требования к обслуживанию удивили многих операторов: ежемесячная замена фильтров вместо ежеквартальной или дважды в год, постоянный контроль химии и «мешки» с гликолем, прикрепленные к стеллажам.

Ставки отказов столь же тревожны. Внутренние полевые данные предполагают, что примерно 4% водоохлаждаемых GPU отказывают в течение трехлетнего цикла из-за утечек. С учетом того, что стеллажи содержат оборудование стоимостью 3–5 миллионов долларов, эта потеря фундаментально нарушает экономику поколения 2.

Анализ 10-МВт объекта компанией Jacobs Engineering подчеркивает еще одну неэффективность. Одинофазные системы требуют более низких температур воды, чем системы поколения 3. Более низкие температуры воды, требуемые поколением 2, увеличивают как требования к мощности холодильных установок, так и потребление энергии.

Что отличает поколение 3

Поколение 3 представляет собой真正щий архитектурный сдвиг. Двухфазные хладагенты поглощают тепло через фазовый переход, уменьшая скорости потока в четыре- девять раз. Снижение скорости потока значительно снижает напряжение инфраструктуры, минимизирует эрозию холодных пластин и устраняет большую часть проблем обслуживания, которые мучают поколение 2.

Хладагенты также позволяют использовать новые конструкции удаления тепла — такие как системы «хладагент-СО₂» и «хладагент-хладагент» — которые оптимизируют охлаждение от микросхемы до атмосферы. Эти конструкции уже находятся в производстве, демонстрируя масштабируемость и экономическую эффективность поколения 3.

Когда компания Jacobs Engineering — ответственная за более 80% глобальных проектов MEP для центров обработки данных — создала модели-спутники мощностью 10 МВт, они удалили предвзятость поставщиков из сравнения.

Найдено:

• CapEx: 10,39 миллиона долларов для одnofазного против 10,38 миллиона долларов для двухфазного

• Годовые операционные расходы: 1,04 миллиона долларов против 679 000 долларов (снижение на 35%)

• Пятилетняя TCO: 15,6 миллиона долларов против 13,8 миллиона долларов (экономия 12%)

Паритет CapEx удивил многих, кто ожидал премию за двухфазный вариант. Текущие двухфазные системы требуют больше CDU, но одnofазные конструкции требуют сложных рядных манифольдов, прочной системы обнаружения утечек и фильтрации гармоник — сложностей, избегаемых с помощью текущих двухфазных CDU. Следующие CDU, которые появятся в 2026 году, еще больше снизят затраты, сделав поколение 3 еще более экономически эффективным для развертывания.

Преимущество операционных расходов обусловлено термодинамикой. Двухфазные системы поддерживают идентичные температуры микросхем, используя более теплую воду объекта — примерно на 8°C выше в среднем. Каждый градус, сэкономленный, снижает годовое потребление энергии примерно на 4%, что переводится в 35% снижение операционных расходов, задокументированных Jacobs по климатам от Феникса до Стокгольма.

Передовые операторы идут еще дальше, конвертируя этот тепловой запас в примерно 5% больше вычислительной мощности в рамках одного и того же энергетического контура. В мире, где каждый GPU представляет собой доход, а энергия ограничена, это преимущество становится конкурентным дифференциатором.

Дорожная карта кремния диктует проблему

Переход к поколению 3 не обусловлен поставщиками охлаждения — он диктуется проектированием процессоров.

Архитектуры Rubin от NVIDIA, как ожидается, превысят 2 000 Вт на процессор. Архитектура MI450 от AMD находится на аналогичной траектории. Каждый крупный производитель микросхем упаковывает больше производительности в меньшие корпуса, что резко увеличивает тепловую плотность.

Ключевой проблемой является тепловой поток — концентрация тепла, измеряемая в ваттах на квадратный сантиметр. По мере увеличения теплового потока решения поколения 2 достигают физических и экономических пределов. Скорости потока становятся разрушительными, температурные разности становятся невыносимыми, а затраты на системы становятся неустойчивыми.

Поколение 3 было построено для этой реальности. Ведущие операторы уже указывают на стеллажи мощностью 250 кВт с четкими путями к 1 МВт+. Ждать, чтобы «увидеть, что выиграет», может показаться консервативным, но это самый рискованный подход. Дорожная карта кремния фиксирована; физика не изгибается. Единственное решение, которое осталось, — это решить, когда действовать.

Диллемма броунфилда

Миллиарды долларов инвестируются прямо сейчас в инфраструктуру поколения 2, которая будет ограничена в течение 36 месяцев. Объекты, спроектированные сегодня вокруг одnofазной воды, будут бороться за поддержку процессоров класса 2027 года. Переоборудование позже стоит гораздо больше, чем строительство с помощью поколения 3 сегодня.

Для существующих объектов системы «хладагент-воздух» могут служить мостом, но они не являются долгосрочным решением. Направление отрасли ясно: архитектуры поколения 3 будут основой для следующего десятилетия новых построек.

Поколенческий выбор

Каждый переход охлаждения казался достаточным, пока следующее поколение не сделало его устаревшим. Операторы, которые приняли жидкостное охлаждение рано — приняв его в 2020–2021 годах вместо 2023 года — получили почти двухлетнее преимущество в развертывании.

То же самое смещение происходит снова. Физика доказана. Экономика подтверждена независимым анализом. Дорожные карты процессоров делают переход неизбежным.

Вопрос не в том, произойдет ли изменение — это в том, будете ли вы его лидером или будете вынуждены в него после того, как поколение 2 достигнет своих пределов.

Центры обработки данных, спроектированные сегодня, будут работать хорошо в 2030-х годах. Строительство с помощью архитектур поколения 3 гарантирует, что они останутся жизнеспособными для эры ИИ, а не станут ограниченными активами, прежде чем они даже стабилизируются.

Будущее охлаждения центров обработки данных — это поколенческая трансформация — и поколение 3 уже здесь.