Три поколения систем охлаждения центров обработки данных — и почему большинство операторов строят инфраструктуру вчерашнего дня

Три года назад в индустрии центров обработки данных шли споры о том, понадобится ли когда-либо жидкостное охлаждение. Два года назад большинство операторов считали, что решением будет однофазная вода. Сегодня ведущие центры переходят на архитектуры охлаждения нового поколения, в то время как многие новые объекты используют системы, которые устареют через несколько лет.

Это расхождение обусловлено дорожными картами по физике и процессорам, которые уже видны до 2027 года. Вместе они создают раскол между операторами, которые понимают, что охлаждение вступает в новую архитектурную эру, и теми, кто может вскоре обнаружить, что они вложили сотни миллионов в инфраструктуру, которая не может поддерживать следующую волну процессоров на базе ИИ.

Три поколения охлаждения

Охлаждение центров обработки данных прошло через три различные архитектурные эпохи, каждая из которых характеризовалась новым набором препятствий, которые необходимо было преодолеть, и плотностью стоек, требующей экономической поддержки.

• Поколение 1: Воздушное охлаждение (2000–2023): достигало пика в 10–15 кВт на стойку. Экономическая эффективность начала снижаться примерно в 2020 году, когда нагрузки ИИ превысили 20 кВт. К 2023 году воздушное охлаждение стало практически неактуальным для новых высокоплотных развёртываний.

• Поколение 2: однофазное жидкостное охлаждение (2020–2027): первоначальный подход к жидкостному охлаждению. Использует воду или PG25 с высокой скоростью потока для отвода тепла за счёт изменения температуры. Эффективно при мощности 20–120 кВт на стойку, но демонстрирует нагрузку при мощности свыше 150 кВт. Ожидается, что практический предел будет достигнут к 2027 году, когда мощность процессоров превысит 2,000 Вт.

• Поколение 3: Двухфазный + улучшенный отвод тепла (2024–2035+): Использует хладагенты, поглощающие тепло за счёт фазового перехода, а не изменения температуры. Масштабируемость от 150 кВт и более на стойку. Реализует новые стратегии отвода тепла от кристалла в атмосферу. Уже внедряется ведущими операторами и, как ожидается, станет доминирующей технологией к 2027–2028 годам.

Каждый переход знаменует собой точку перелома — когда физика и экономика одновременно достигают своего предела.

Физическая задача второго поколения

Первая волна развертываний второго поколения начинает выявлять пределы однофазного охлаждения.

Для систем на основе воды требуется расход примерно 1.5 литра в минуту на киловатт. Стойке мощностью 120 кВт требуется около 180 литров в минуту; при мощности 250 кВт этот расход возрастает до 375 литров в минуту благодаря охлаждающим пластинам с отверстиями, измеряемыми в миллиметрах.

В этом году на выставке GTC проблема была наглядно продемонстрирована на стойках, подключенных к линиям размером с пожарный рукав. Высокий расход воды создает каскадные проблемы. Вода, смешанная с гликолем, окисляет микроребристые конструкции, а коррозия усугубляется скоростью потока, разрушающей ослабленные ребра. Требования к техническому обслуживанию удивили многих операторов: ежемесячная замена фильтров вместо ежеквартальной или двухразовой, постоянный контроль химического состава и гликолевые «внутривенные пакеты», прикрепленные к стойкам.

Частота отказов вызывает не меньшее беспокойство. Внутренние данные эксплуатации показывают, что примерно 4% графических процессоров с водяным охлаждением выходят из строя из-за утечек в течение трёх лет. Учитывая, что в стойках хранится оборудование стоимостью от 3 до 5 миллионов долларов, эти потери кардинально подрывают экономику второго поколения.

Анализ объекта мощностью 10 МВт, проведенный Jacobs Engineering подчёркивает ещё один недостаток эффективности. Однофазные системы требуют более холодной воды, чем системы третьего поколения. Более низкая температура воды, необходимая для второго поколения, увеличивает как требования к производительности охладителя, так и энергопотребление.

Что отличает третье поколение

Третье поколение представляет собой настоящий архитектурный сдвиг. Двухфазные хладагенты улавливают тепло посредством фазового перехода, снижая расход в четыре-девять раз. Уменьшение скорости потока значительно снижает нагрузку на инфраструктуру, минимизирует эрозию охлаждающей пластины и устраняет значительную часть трудностей с обслуживанием, характерных для второго поколения.

Хладагенты также позволяют создавать новые конструкции для отвода тепла, такие как системы «хладагент-CO₂» и «хладагент-хладагент», которые оптимизируют охлаждение от микросхемы до атмосферы. Эти конструкции уже находятся в производстве, демонстрируя масштабируемость и экономическую эффективность третьего поколения.

Когда Jacobs Engineering — ответственный за более 80% проектов инженерных систем центров обработки данных по всему миру — создав параллельные эталонные модели мощностью 10 МВт, они исключили предвзятость поставщиков из сравнения.

Выводы:

• Капитальные затраты: 10.39 млн долл. США на однофазный проект против 10.38 млн долл. США на двухфазный проект

• Годовые операционные расходы: 1.04 млн долл. США против 679 тыс. долл. США (снижение на 35%)

• Пятилетняя совокупная стоимость владения: 15.6 млн долл. США против 13.8 млн долл. США (экономия 12%)

Паритет капитальных затрат удивил многих, кто ожидал более высокой цены за двухфазные системы. Для современных двухфазных систем требуется больше распределительных устройств (CDU), но для однофазных систем необходимы сложные рядные коллекторы, надежная система обнаружения утечек и фильтрация гармоник — сложности, которых удалось избежать с помощью существующих двухфазных CDU. CDU следующего поколения, которые поступят в продажу в 2026 году, еще больше снизят затраты, сделав развертывание третьего поколения еще более экономичным.

Преимущество в операционных расходах обусловлено термодинамикой. Двухфазные системы поддерживают одинаковую температуру чипов, используя более тёплую воду — в среднем примерно на 8 °C выше. Каждый сэкономленный градус снижает годовое потребление энергии примерно на 4%, что соответствует 35%-ному снижению операционных расходов, зафиксированному Джейкобсом в разных климатических зонах от Финикса до Стокгольма.

Дальновидные операторы идут ещё дальше, преобразуя этот тепловой запас в увеличение вычислительной мощности примерно на 5% при том же энергопотреблении. В мире, где каждый графический процессор приносит доход, а мощность ограничена, это преимущество становится конкурентным преимуществом.

Дорожная карта развития кремния усугубляет проблему

Переход на третье поколение обусловлен не поставщиками систем охлаждения, а конструкцией процессора.

Архитектуры NVIDIA Rubin ожидается, что мощность превысит 2,000 Вт на процессор. AMD MI450 идёт по схожей траектории. Каждый крупный производитель чипов стремится уместить больше производительности в меньшие размеры, резко увеличивая тепловыделение.

Ключевая проблема — тепловой поток, то есть концентрация тепла, измеряемая в ваттах на квадратный сантиметр. С ростом теплового потока решения второго поколения достигают физических и экономических пределов. Скорость потока становится разрушительной, разница температур — неприемлемой, а стоимость системы — неприемлемой.

Третье поколение было создано для этой реальности. Ведущие операторы уже заказывают стойки мощностью 250 кВт с чёткими перспективами на более чем 1 МВт. Ждать «что победит» может показаться консервативным подходом, но это самый рискованный подход. План развития кремниевых технологий фиксирован; физика непреклонна. Остаётся только решить, когда действовать.

Дилемма браунфилда

Сейчас миллиарды инвестируются в инфраструктуру второго поколения, которая будет ограничена в течение 36 месяцев. Объекты, спроектированные сегодня на основе однофазной воды, будут испытывать трудности с поддержкой процессоров класса 2027 года. Модернизация в будущем обойдется гораздо дороже, чем строительство с использованием третьего поколения сегодня.

Для существующих объектов системы «хладагент-воздух» могут служить промежуточным этапом, но не являются долгосрочным решением. Направление развития отрасли ясно: архитектуры третьего поколения станут основой для новых проектов следующего десятилетия.

Выбор поколения

Любой переход на жидкостное охлаждение казался достаточным, пока следующее поколение не сделало его устаревшим. Операторы, которые перешли на жидкостное охлаждение раньше других, то есть в 2020–2021 годах, а не в 2023 году, получили преимущество почти в два года развертывания.

Тот же самый переломный момент снова происходит. Физика доказана. Экономика подтверждена независимым анализом. Планы развития процессоров делают переход неизбежным.

Вопрос не в том, произойдут ли перемены, а в том, возглавите ли вы их или будете вынуждены это сделать, когда второе поколение достигнет своих пределов.

Центры обработки данных, спроектированные сегодня, будут работать до 2030-х годов. Использование архитектур третьего поколения гарантирует их жизнеспособность в эпоху искусственного интеллекта, а не превращение в ограниченные ресурсы ещё до того, как они стабилизируются.

Будущее охлаждения центров обработки данных — это трансформация поколений, и третье поколение уже наступило.