Trzy generacje chłodzenia centrów danych i dlaczego większość operatorów buduje infrastrukturę sprzed lat

Trzy lata temu branża centrów danych debatowała nad tym, czy chłodzenie cieczą będzie kiedykolwiek konieczne. Dwa lata temu większość operatorów uważała, że ​​jednofazowe chłodzenie wodne będzie rozwiązaniem. Obecnie wiodące obiekty przechodzą na architekturę chłodzenia nowej generacji, podczas gdy wiele nowych obiektów blokuje systemy, które za kilka lat staną się przestarzałe.

Rozbieżność ta wynika z fizyki i planów rozwoju procesorów, które są widoczne do 2027 roku. Razem tworzą one podział między operatorami, którzy rozumieją, że chłodzenie wkracza w nową erę architektoniczną, a tymi, którzy mogą wkrótce odkryć, że zainwestowali setki milionów w infrastrukturę, która nie jest w stanie obsłużyć kolejnej fali procesorów AI.

Trzy generacje chłodzenia

Chłodzenie centrów danych przeszło przez trzy odrębne ery architektoniczne. Każda z nich charakteryzowała się zestawem przeszkód do pokonania oraz gęstością szaf, która wymagała ekonomicznego wsparcia.

• Generacja 1: Chłodzenie powietrzem (2000–2023): szczytowe 10–15 kW na szafę. Ekonomia zaczęła się załamywać około 2020 roku, gdy obciążenia AI przekroczyły 20 kW. Do 2023 roku chłodzenie powietrzem stało się w dużej mierze przestarzałe w przypadku nowych wdrożeń o wysokiej gęstości.

• Generacja 2: Jednofazowe chłodzenie cieczą (2020–2027): Początkowa metoda chłodzenia cieczą. Wykorzystuje wodę lub PG25 o wysokim przepływie, aby odprowadzać ciepło poprzez zmiany temperatury. Dostępne w zakresie mocy 20–120 kW na szafę, ale charakteryzujące się obciążeniem powyżej 150 kW. Przewiduje się, że osiągnie swoje praktyczne granice do 2027 roku, gdy procesory przekroczą 2,000 W.

• Generacja 3: Dwufazowe + Zaawansowane Odprowadzanie Ciepła (2024–2035+): Wykorzystuje czynniki chłodnicze, które pochłaniają ciepło poprzez zmianę fazy, a nie poprzez zmianę temperatury. Skalowalność od 150 kW i znacznie powyżej na szafę. Umożliwia nowe strategie odprowadzania ciepła od układu scalonego do atmosfery. Technologia jest już wdrażana przez wiodących operatorów i oczekuje się, że zdominuje rynek do 2027–2028 roku.

Każda zmiana oznacza punkt krytyczny — moment, w którym fizyka i ekonomia jednocześnie osiągają swój limit.

Problem z fizyki dla generacji 2

Wdrożenia pierwszej fali generacji 2 zaczynają ujawniać ograniczenia chłodzenia jednofazowego.

Systemy wodne wymagają przepływu wynoszącego około 1.5 litra na minutę na kilowat. Szafa o mocy 120 kW potrzebuje około 180 litrów na minutę; przy 250 kW wzrasta do 375 litrów na minutę przez płyty chłodzące z otworami mierzonymi w milimetrach.

W tym roku na GTC stojaki podłączone do przewodów o rozmiarach węży strażackich uwidoczniły to wyzwanie. Wysokie natężenia przepływu powodują problemy kaskadowe. Woda zmieszana z glikolem utlenia struktury mikrożebrowane, a korozja jest potęgowana przez prędkości przepływu, które powodują erozję osłabionych żeber. Wymagania konserwacyjne zaskoczyły wielu operatorów: comiesięczna wymiana filtrów zamiast kwartalnej lub dwukrotnej w roku, stały monitoring składu chemicznego oraz „worki dożylne” z glikolem przymocowane do stojaków.

Wskaźniki awaryjności są równie niepokojące. Dane z wewnętrznych badań terenowych wskazują, że około 4% chłodzonych cieczą układów GPU ulega awarii w ciągu trzech lat eksploatacji z powodu nieszczelności. W przypadku szaf rack mieszczących sprzęt o wartości 3–5 milionów dolarów, ta strata zasadniczo podważa ekonomikę Generacji 2.

Analiza obiektu o mocy 10 MW przeprowadzona przez Inżynieria Jacobsa uwydatnia kolejny problem braku efektywności. Systemy jednofazowe wymagają niższych temperatur wody niż systemy generacji 3. Niższe temperatury wody wymagane przez generację 2 zwiększają zarówno zapotrzebowanie na moc agregatu chłodniczego, jak i zużycie energii.

Co wyróżnia Generację 3

Generacja 3 to prawdziwa zmiana architektoniczna. Dwufazowe czynniki chłodnicze wychwytują ciepło poprzez zmianę fazy, zmniejszając natężenie przepływu od czterech do dziewięciu razy. Zmniejszona prędkość przepływu znacząco zmniejsza obciążenie infrastruktury, minimalizuje erozję płyt chłodzących i eliminuje znaczną część obciążeń konserwacyjnych, które są uciążliwe dla generacji 2.

Czynniki chłodnicze umożliwiają również tworzenie nowych rozwiązań odprowadzania ciepła – takich jak systemy czynnik chłodniczy-CO₂ i czynnik chłodniczy-czynnik chłodniczy – które optymalizują chłodzenie układu scalonego do atmosfery. Projekty te są już w produkcji, co dowodzi skalowalności i efektywności ekonomicznej Generacji 3.

Kiedy Jacobs Engineering — odpowiedzialny za więcej niż 80% globalnych projektów MEP dla centrów danych — stworzyli równoległe modele referencyjne o mocy 10 MW, dzięki czemu z porównania usunęli stronniczość dostawców.

Wyniki:

• CapEx: 10.39 mln USD dla instalacji jednofazowej i 10.38 mln USD dla instalacji dwufazowej

• Roczne wydatki operacyjne: 1.04 mln USD w porównaniu z 679 tys. USD (redukcja o 35%)

• Całkowity koszt posiadania w perspektywie pięcioletniej: 15.6 mln USD w porównaniu do 13.8 mln USD (oszczędność 12%)

Parytet nakładów inwestycyjnych (CapEx) zaskoczył wielu, którzy spodziewali się premii za rozwiązania dwufazowe. Obecne systemy dwufazowe wymagają większej liczby rozdzielnic (CDU), natomiast projekty jednofazowe wymagają złożonych rozdzielnic rzędowych, niezawodnej detekcji wycieków i filtracji harmonicznych – tych komplikacji można uniknąć dzięki obecnym dwufazowym rozdzielnicom (CDU). Rozdzielnice nowej generacji (CDU), które pojawią się w 2026 roku, dodatkowo obniżą koszty, czyniąc wdrożenie trzeciej generacji jeszcze bardziej ekonomicznym.

Przewaga OpEx wynika z termodynamiki. Systemy dwufazowe utrzymują identyczną temperaturę chipów, zużywając jednocześnie cieplejszą wodę zakładową – średnio o około 8°C wyższą. Każdy zaoszczędzony stopień zmniejsza roczne zużycie energii o około 4%, co przekłada się na 35% redukcję OpEx, którą Jacobs udokumentował w różnych strefach klimatycznych, od Phoenix po Sztokholm.

Myślący przyszłościowo operatorzy idą o krok dalej, przekształcając ten margines termiczny w około 5% większą moc obliczeniową przy tym samym poborze mocy. W świecie, w którym każdy procesor graficzny generuje przychody, a moc jest ograniczona, ta przewaga staje się czynnikiem różnicującym konkurencję.

Plan działania dotyczący krzemu wymusza ten problem

Przejście na Generację 3 nie jest spowodowane przez dostawców układów chłodzenia, lecz przez konstrukcję procesora.

Architektura Rubin firmy NVIDIA to oczekuje się, że przekroczy 2,000 W na procesor. AMD MI450 podąża podobną trajektorią. Każdy duży producent chipów pakuje większą wydajność w mniejsze układy, co znacznie zwiększa gęstość cieplną.

Kluczowym wyzwaniem jest strumień ciepła – koncentracja ciepła mierzona w watach na centymetr kwadratowy. Wraz ze wzrostem strumienia ciepła, rozwiązania generacji 2 osiągają granice fizyczne i ekonomiczne. Natężenia przepływu stają się destrukcyjne, różnice temperatur nie do utrzymania, a koszty systemu – nie do utrzymania.

Generacja 3 została stworzona z myślą o tej rzeczywistości. Wiodący operatorzy już projektują szafy o mocy 250 kW z jasnymi ścieżkami do ponad 1 MW. Czekanie na to, „co wygra”, może wydawać się konserwatywne, ale to najbardziej ryzykowne podejście. Plan rozwoju krzemu jest stały; fizyka się nie zmieni. Pozostaje tylko decyzja, kiedy działać.

Dylemat terenów poprzemysłowych

Obecnie inwestuje się miliardy w infrastrukturę Generacji 2, która w ciągu 36 miesięcy zostanie ograniczona. Obiekty projektowane dziś z myślą o wodzie jednofazowej będą miały trudności z obsługą procesorów klasy 2027. Późniejsza modernizacja kosztuje znacznie więcej niż budowa z wykorzystaniem Generacji 3 dzisiaj.

W przypadku istniejących obiektów systemy chłodnicze mogą stanowić rozwiązanie pomostowe, ale nie są rozwiązaniem długoterminowym. Kierunek rozwoju branży jest jasny: architektury trzeciej generacji będą podstawą budowy nowych obiektów w nadchodzącym dziesięcioleciu.

Wybór pokoleniowy

Każda zmiana w systemie chłodzenia wydawała się wystarczająca, dopóki następna generacja nie uczyniła go przestarzałym. Operatorzy, którzy wcześnie wdrożyli chłodzenie cieczą – w latach 2020–2021, a nie w 2023 roku – zyskali prawie dwa lata przewagi w zakresie wdrożenia.

Znów mamy do czynienia z tym samym zwrotem akcji. Fizyka została udowodniona. Ekonomia potwierdzona przez niezależne analizy. Plany rozwoju procesorów sprawiają, że ta zmiana jest nieunikniona.

Pytanie nie brzmi, czy zmiana nastąpi, lecz czy będziesz jej przewodził, czy zostaniesz do niej zmuszony, gdy Generacja 2 osiągnie swoje granice.

Centra danych projektowane obecnie będą działać jeszcze w latach 30. XXI wieku. Budowanie ich w oparciu o architekturę trzeciej generacji gwarantuje, że pozostaną one gotowe na erę sztucznej inteligencji, zamiast stać się ograniczonymi zasobami, zanim jeszcze się ustabilizują.

Przyszłość chłodzenia centrów danych to transformacja pokoleniowa — a generacja 3 już nadeszła.