Ud over GPU’en: Optimering af AI-fabrikken som et system

En AI-fabrik er ikke et større datacenter. Den er specifikt bygget til at fremstille intelligente tokens, ikke til at levere websider og e-mails. Når en hyperscaler eller neocloud investerer milliarder dollars og år i at bygge en AI-fabrik, bliver de GPU’er, der udfører det tunge beregningsarbejde, naturligt nok en prioritet. Men det er ikke nok at optimere GPU’en alene; fabrikken omkring den skal også optimeres. Strømforsyningen og de termiske systemer skal understøtte beregningerne, og beslutninger i ét system kan få betydelige konsekvenser for de øvrige. AI skal optimere komplekse systemer, men de fabrikker, der bygger den, er ofte blevet optimeret én komponent ad gangen. Virtuel tvillingteknologi gør det muligt for ingeniører at opbygge og effektivisere hele systemet, allerede inden byggeriet begynder.

Hvorfor forsigtigt design blev den sikreste løsning

Fordi konsekvenserne af et systemnedbrud eller en flaskehals i ydelsen kunne være så alvorlige, blev de første anlæg bygget med store sikkerhedsmargener og ekstra hardware. Uden en køreplan for denne nye generation af datacentre kunne en forsigtig tilgang virke som den sikreste løsning. Disse margener bidrog til at beskytte mod problemer som temperaturspidser tæt på chipsene, der kan efterlade operatørerne med helt ned til ét minut til at reagere, før hardwaren svigter. I nogle af de tidlige anlæg stod helt op til 10 procent af den tilgængelige strøm uudnyttet som sikkerhedsmargin.

AI-fabrikker er udsat for temperatursvingninger, vejrforhold, udstyrsfejl, utilstrækkelig kapacitet, konstruktionsmæssige mangler og vedligeholdelsesproblemer. Når så meget står på spil, kan hver dag med forsinket kapacitet i gigawatt-skala betyde et tab på cirka 100 millioner dollars i indtægter fra generering af tokens. Forsigtighed virkede nødvendig, når det ikke var muligt at forudsige konsekvenserne af disse problemer.

Udfordringen bliver endnu større, når disse risici går på tværs af flere uafhængige systemer. En AI-fabrik afhænger af tre tæt sammenkoblede systemer: beregning, strømforsyning og termisk styring. GPU’en kræver en omfattende strømforsyningskæde og et lige så krævende termisk system til at bortlede den varme, den genererer. Når beregning, strømforsyning og termisk styring behandles som separate trin, hvor hvert område optimeres inden for sit eget domæne, kan teams overse, hvordan en beslutning i ét system påvirker de øvrige. Det skaber blinde vinkler og ubalancer, især når strømforsyning og køling betragtes som infrastrukturkrav, der først skal håndteres, efter at beslutningerne om beregning er truffet.

Strømforsyning og køling kan ikke adskilles fra beregningerne. De er en del af det system, der afgør, hvor effektivt beregningerne kan udføres. Skiftet går derfor fra at optimere de enkelte systemer til at optimere hele fabrikken.

Argumentet for fælles optimering

Løsningen er at gå fra at optimere hvert system uafhængigt til at optimere hele fabrikken samlet. Fysisk byggeri tvinger beslutninger ind i en bestemt rækkefølge: Ét system designes, derefter bygges et andet omkring det, og endnu et tilføjes for at understøtte det. Det gør det vanskeligt at optimere fabrikken som helhed, fordi hver beslutning begrænser de muligheder, der er til rådighed for de efterfølgende systemer. Fælles optimering kræver, at processen flyttes til et virtuelt miljø, hvor hele systemet kan modelleres, ændres og evalueres, inden noget fastlåses fysisk, så der skabes en dynamisk plan.

Modellering af fabrikken, før den findes

Det er her, virtuel tvillingteknologi på systemniveau bliver afgørende.

En virtuel tvilling bruger formel systemmodellering til at repræsentere beregning, strømforsyning og termisk infrastruktur samlet og kan modellere AI-fabrikken, før den findes fysisk. I modsætning til en traditionel digital tvilling, der fokuserer på et eksisterende fysisk aktiv, kan en virtuel tvilling modellere et system, før det findes fysisk. Den gør det muligt for ingeniører at afprøve forskellige konfigurationer og forstå, hvordan ændringer i én del af systemet påvirker de øvrige, før disse valg bliver fysiske bindinger.

Hvis GPU-tætheden for eksempel øges, betyder det ikke blot, at der tilføjes mere beregningskapacitet. Det kan øge den elektriske belastning, ændre kravene til bortledning af varme, påvirke placeringen af udstyr og medføre nye overvejelser i forbindelse med idriftsættelsen. Når disse sammenhænge modelleres samlet, kan ingeniører vurdere afvejningerne inden byggeriet i stedet for først at opdage dem, efterhånden som projektet skrider frem.

Virtuel tvillingteknologi gør det muligt for ingeniører at begå en dyr fejl virtuelt, før den bliver dyr i den fysiske verden. Teknologien gør det muligt at identificere potentielle problemer og muligheder i det virtuelle miljø, så teams kan løse problemer, før de opstår i den fysiske verden. Afprøvning af konfigurationer inden den fysiske idriftsættelse gør det også muligt at opdage og fjerne unødvendige designmargener, uudnyttet strømkapacitet og spild som følge af sikkerhedsmargener allerede på designstadiet. I stor skala kan selv små reduktioner føre til millionbesparelser på anlægsinvesteringerne og tidligere adgang til indtægter.

 Gør modellen forudsigende

Modellen kan også bruge fysikbaserede simuleringer til at forudsige systemets adfærd. Når den underliggende fysik eller kemi er velkendt, kan simuleringsværktøjer forudsige systemets adfærd. Når omfattende driftsdata giver et bedre grundlag, kan AI- og maskinlæringsmodeller supplere simuleringerne.

Resultatet er et miljø, hvor man kan undersøge, hvordan det sammenkoblede system opfører sig, og koordinere beslutninger på tværs af ingeniørdiscipliner. Modellen kan også videreudvikles, efterhånden som driftsdata bliver tilgængelige, så erfaringer fra ét anlæg eller én driftscyklus kan danne grundlag for fremtidige design og beslutninger.

En plan for AI-fabrikken

Branchen er allerede ved at opbygge grundlaget for denne tilgang. NVIDIAs DSX-plan fastlægger et referencedesign for AI-fabrikker i gigawatt-skala. NVIDIA er begyndt med at fastlægge beregningsdelen af planen ved hjælp af systemmodellering og en simuleringstilgang baseret på virtuelle tvillinger. Samtidig inviterer virksomheden partnere på tværs af økosystemet, herunder inden for strømforsyning, køling og byggeri, såsom Eaton, Vertiv og Jacobs, til at bidrage med deres egne dele af designet. Interoperabilitet mellem referencedesignene muliggøres af SysML , der understøtter definition på systemniveau, mens OpenUSD danner grundlag for data med fokus på 3D.

Målet er ikke, at hver virksomhed optimerer sin egen komponent og derefter forventer, at delene passer sammen. Ekspertise inden for beregning, strømforsyning, køling og faciliteter skal samles, så hver teknologi i verdensklasse bidrager til hele systemets ydeevne.

Hver branche kan optimere inden for sit eget område, men et stærkt slutprodukt kræver, at systemerne optimeres i fællesskab. Efterhånden som denne tilgang modnes, gør den det også muligt for AI-infrastruktur at bevæge sig væk fra isolerede enkeltstående pilotprojekter og hen imod systemer i virksomhedsskala, der kan håndtere meget komplekse driftsmiljøer.

Optimering af hele fabrikken – ikke kun GPU’en

GPU’en vil fortsat være central for AI-fabrikkens ydeevne. Men det optimerer ikke i sig selv fabrikken omkring dem at købe de bedste GPU’er. Den næste generation af AI-infrastruktur vil afhænge af, at beregnings-, strømforsynings- og termiske systemer konstrueres som ét integreret system, at sammenhængene mellem dem modelleres, før der træffes større beslutninger om fysiske anlæg, og at man løbende bruger det, systemet lærer, til at forbedre det næste. Vi kan ikke forudsige fremtiden eller forhindre enhver fejl, men teknologi med virtuelle tvillinger kan hjælpe teams med at planlægge efter usikkerhed og optimere AI-fabrikker som et samlet system.