Za hranice GPU: Optimalizace AI továrny jako systému

AI továrna není větší datové centrum. Je postavena speciálně k výrobě inteligentních tokenů, nikoli k poskytování webových stránek a e-mailu. Když hyperscaler nebo neocloud investuje miliardy dolarů a roky do výstavby AI továrny, GPU zajišťující hlavní výpočetní výkon se přirozeně stávají prioritou. Optimalizace samotné GPU však neznamená optimalizaci celé továrny. Napájecí a tepelné systémy musí podporovat výpočetní výkon a rozhodnutí v jednom systému mohou mít významné důsledky pro ostatní. AI slouží k optimalizaci komplexních systémů, továrny, které ji vyrábějí, se však často optimalizovaly po jednotlivých součástech. Technologie virtuálního dvojčete umožňuje inženýrům celý systém navrhnout a optimalizovat ještě před zahájením výstavby.

Proč se konzervativní návrh stal nejbezpečnější volbou

Vzhledem k závažným důsledkům případného selhání systému nebo úzkého místa ve výkonu se první zařízení stavěla s nadměrnými bezpečnostními rezervami a předimenzovaným hardwarem. Bez plánu pro tuto novou generaci datových center se opatrná výstavba mohla jevit jako nejbezpečnější přístup. Tyto rezervy pomáhaly chránit před problémy, jako jsou teplotní špičky v blízkosti čipů, na jejichž řešení mohou mít provozovatelé před selháním hardwaru pouhou minutu. V některých prvních zařízeních zůstávalo nevyužito až 10 procent dostupného příkonu, který sloužil jako rezerva.

AI továrny jsou vystaveny teplotním výkyvům, počasí, poruchám zařízení, nedostatečné kapacitě, nedostatkům v návrhu a problémům s údržbou. Při tak vysokých sázkách může v gigawattovém měřítku každý den zpoždění navýšení kapacity znamenat ztrátu příjmů z generování tokenů ve výši přibližně 100 milionů dolarů. Opatrnost se zdála nezbytná, když nebylo možné předvídat, jaké důsledky tyto problémy přinesou.

Výzva je ještě větší, když se tato rizika týkají několika nezávislých systémů. AI továrna závisí na třech úzce propojených systémech: výpočetním výkonu, napájení a tepelném managementu. GPU potřebuje komplexní napájecí řetězec, který ji zásobuje, a stejně náročný systém odvádění tepla, které vytváří. Pokud se výpočetní výkon, napájení a tepelný management řeší jako oddělené kroky a každý se optimalizuje v rámci vlastní oblasti, týmy mohou přehlédnout, jak rozhodnutí v jednom systému ovlivňuje ostatní. Vznikají tak slepá místa a nerovnováha, zejména když se napájení a chlazení považují za požadavky na infrastrukturu, které je třeba řešit až po rozhodnutích o výpočetním výkonu.

Napájení a chlazení nelze oddělit od výpočetního výkonu. Jsou součástí systému, který určuje, jak efektivně může výpočetní výkon fungovat. Posun tedy spočívá v přechodu od optimalizace jednotlivých systémů k optimalizaci celé továrny.

Proč je důležitá společná optimalizace

Řešení tohoto problému vyžaduje přechod od samostatné optimalizace každého systému ke společné optimalizaci celé továrny. Fyzická výstavba nutí řadit rozhodnutí za sebe: nejprve se navrhne jeden systém, kolem něj se vybuduje další a pak se přidá další, který jej podpoří. Optimalizovat továrnu jako celek je proto obtížné, protože každé rozhodnutí omezuje možnosti, které zůstávají pro následující systémy. Společná optimalizace vyžaduje přesunout tento proces do virtuálního prostředí, kde lze celý systém modelovat, upravovat a vyhodnocovat ještě předtím, než se cokoli závazně stanoví v reálném světě, a vytvořit tak dynamický plán.

Modelování továrny ještě před její výstavbou

Právě zde se technologie virtuálního dvojčete na úrovni systému stává zásadní.

Virtuální dvojče využívá formální modelování systémů k propojenému znázornění výpočetní infrastruktury, napájení a tepelné infrastruktury a umožňuje modelovat AI továrnu ještě před její fyzickou výstavbou. Na rozdíl od tradičního digitálního dvojčete zaměřeného na existující fyzický majetek může virtuální dvojče modelovat systém ještě předtím, než fyzicky vznikne. Inženýrům umožňuje vyzkoušet různé konfigurace a porozumět tomu, jak změny v jedné části systému ovlivní ostatní, ještě než se tato rozhodnutí stanou závazky v reálném světě.

Zvýšení hustoty GPU například neznamená pouze přidání dalšího výpočetního výkonu. Může zvýšit elektrické zatížení, změnit požadavky na odvod tepla, ovlivnit rozmístění zařízení a přinést nové aspekty, které je třeba zohlednit při uvádění do provozu. Společné modelování těchto souvislostí umožňuje inženýrům posoudit kompromisy ještě před zahájením výstavby, místo aby na ně přicházeli až v průběhu projektu.

Technologie virtuálního dvojčete umožňuje inženýrům udělat nákladnou chybu virtuálně, ještě než se z ní stane nákladná chyba v reálném světě. Poskytuje způsob, jak ve virtuálním prostředí odhalit potenciální problémy a příležitosti a umožnit týmům vyřešit problémy ještě předtím, než se projeví v reálném světě. Testování konfigurací před fyzickým uvedením do provozu také umožňuje už ve fázi návrhu odhalit a odstranit zbytečné konstrukční rezervy, nevyužitou napájecí kapacitu a plýtvání způsobené bezpečnostními rezervami. Ve velkém měřítku se i malé úspory mohou promítnout do milionových úspor kapitálových nákladů a dřívějších příjmů.

 Jak vytvořit prediktivní model

Model může k předpovídání chování systému využívat také simulace založené na fyzikálních zákonech. Pokud jsou fyzikální nebo chemické procesy, na nichž systém spočívá, dobře známy, mohou simulační nástroje předpovídat jeho chování. Pokud vhodnější přístup umožňují rozsáhlá provozní data, mohou tyto simulace doplnit modely AI a strojového učení.

Výsledkem je prostředí, v němž lze zkoumat chování provázaného systému a koordinovat rozhodování napříč technickými obory. Model se může také vyvíjet s tím, jak jsou k dispozici provozní data, takže poznatky z jednoho zařízení nebo provozního cyklu mohou ovlivňovat budoucí návrhy a rozhodnutí.

Návrh továrny na umělou inteligenci

Odvětví již buduje základy pro tento přístup. Návrh DSX společnosti NVIDIA kodifikuje referenční návrh pro továrny na AI v gigawattovém měřítku. NVIDIA začala kodifikací výpočetní části tohoto návrhu pomocí systémového modelování a simulace virtuálního dvojčete a zve partnery z celého ekosystému, kteří se zabývají energetikou, chlazením a výstavbou, včetně společností Eaton, Vertiv a Jacobs, aby přispěli vlastními částmi návrhu. Interoperabilitu referenčních návrhů umožňuje SysML, který podporuje definici systému jako celku, zatímco OpenUSD poskytuje základ pro data zaměřená na 3D.

Cílem není, aby každá společnost optimalizovala svou vlastní komponentu a očekávala, že jednotlivé části do sebe zapadnou. Odborné znalosti v oblasti výpočetní techniky, energetiky, chlazení a správy zařízení je třeba spojit, aby každá špičková technologie přispívala k výkonu celého systému.

Každé odvětví může optimalizovat svou vlastní oblast, ale vytvoření výkonného výsledného produktu vyžaduje, aby se tyto systémy optimalizovaly společně. Jak tento přístup dozrává, umožňuje také posunout infrastrukturu AI od izolovaných jednorázových pilotních projektů k systémům v podnikovém měřítku, které dokážou řídit vysoce komplexní provozní prostředí.

Optimalizace celé továrny, nejen GPU

GPU zůstane pro výkon továrny na AI zásadní. Samotný nákup nejlepších GPU však továrnu, která na nich stojí, neoptimalizuje. Nová generace infrastruktury AI bude záviset na tom, zda se výpočetní, energetické a tepelné systémy navrhnou jako jeden integrovaný celek, zda se jejich vzájemné vztahy vymodelují ještě před přijetím zásadních závazků v oblasti fyzické infrastruktury a zda se poznatky, které systém průběžně získává, využijí ke zlepšení toho, co přijde dál. Budoucnost nedokážeme předvídat ani zabránit každé chybě, technologie virtuálního dvojčete však může týmům pomoci plánovat s ohledem na nejistotu a optimalizovat továrny na AI jako systém.