Hemmeligheten til raskere AI er ikke flere GPU-er, men smartere nettverk

AI definerer på nytt hva som er mulig over hele industrien, inkludert helse, finansielle tjenester, produksjon og detaljhandel. Men med løftede muligheter kommer også massive infrastrukturkrav.

Organisasjoner over hele verden investerer i GPU-er i en ubeskeden skala for å akselerere AI-trening og inferens. Ifølge Gartner prognoser vil generativ AI IT-utgifter overstige 1 billion dollar i 2028. Hyperion Research forecaster at den totale HPC-markedet vil overstige 100 milliarder dollar på samme tid. Likevel, til tross for investeringer i toppmoderne akseleratorer, ser mange CIO-er fortsatt idle GPU-er, med en utnyttelse på 35% eller lavere. Dette resulterer ikke bare i underprestasjon, men også i spild av energi og økte kostnader.

Mens mange AI-prosjekter stopper, er det ikke fordi de mangler GPU-er eller beregningskraft, men fordi nettverket ikke kan holde pace, og krever en ny tilnærming til å designe for AI i stor skala.

Den skjulte kostnaden av nettverksflaskehalser

Når nettverk ikke kan levere data raskt nok til å holde GPU-er konstant beskjeftiget, opplever organisasjonene flere kritiske konsekvenser:

• Underutnyttede GPU-er og CPU-er på grunn av flaskehalser i dataoverføringen: GPU-er er designet for massivt parallell beregning, men de kan bare prosessere data like raskt som de mottar det. Hvis nettverksstrukturen ikke kan holde pace, sitter GPU-er idle og venter på data i stedet for å utføre beregninger. CPU-er kan også stoppe siden de koordinerer oppgaver og flytter data gjennom pipeline, noe som resulterer i lav utnyttelse til tross for tilgjengeligheten av dyrt utstyr.
• Ujevne inferensprestasjoner fra et ineffektivt nettverk: Nettverksineffektiviteter skaper ujevne datastrømmer, som får GPU-er til å svinge mellom full hastighet og idle tilstander. Dette produserer uforutsigbar inferensprestasjon som kan lamme AI-applikasjoner i produksjon.
• Lengre treningssykluser, som forsinker tid til marked: Trening av AI-modeller krever flytting av massive datasamlinger over servere, GPU-er og lagring. Nettverksflaskehalser strangler denne prosessen, så GPU-er tilbringer mindre tid på trening og mer tid på å vente. Dette forsinker direkte produktutvikling og utrullingsplaner.
• Økende strøm- og driftskostnader: Even om de er idle, forbruker GPU-er og omgivende infrastruktur likevel betydelig strøm. Hvis GPU-er er underutnyttet på grunn av nettverksineffektiviteter, betaler organisasjonene for høy strømforbruk uten å få proporsjonal ytelse. Driftskostnader øker fordi fasiliteter må støtte toppstrøm- og kjølelast, selv om beregningsytelse er kunstig begrenset.

Bedrifter kan fortsette å øse penger i flere GPU-er, men uten riktige nettverksforbedringer, vil de bare forverre disse flaskehalser og ineffektivitetene.

Nettverk som akselerator: En paradigmeskift

Løsningen krever en fullstendig omtenkning av nettverksarkitekturen. Introduksjon av en modell som utnytter nettverket som en akselerator snur tradisjonell tenkning om HPC- og AI-ytelse på hodet for å låse opp nye muligheter.

I stedet for å fokusere primært på å legge til mer beregning via GPU-er og CPU-er, behandler “nettverk som akselerator”-tilnærmingen nettverksstrukturen som en ytelsesmultiplikator. Dette gjør at nettverket bedre kan støtte høytetthetsberegning og akselerere avkastning ved å eliminere flaskehalser, skalerer for å møte beregningskrav og større maskinvareinvesteringer. Ved å aktivere større beregning uten nedtid, kan organisasjonene kjøre større arbeidsbelastninger i mindre plass, få resultater raskere og unngå å overspende på ekstra utstyr.

Hvordan «nettverk som akselerator»-modellen fungerer

Hvordan fungerer denne modellen så organisasjonene kan transformere nettverket fra å være en passiv dataflytter til en aktiv aktør for beregning og starte å realisere fordelene? Den leverer fire nøkkelkapasiteter som tradisjonelle nettverk mangler:

• Garantert levering på maskinvarienivå: Tradisjonelle nettverk belaster CPU-er og GPU-er med pakkeovervåking, gjenoverføring og omprioritering. Dette forbruker beregningscykluser som kunne være viet til trening eller inferens. Med en nettverksstruktur som garanterer levering på maskinvarienivå, flyttes disse oppgavene vekk fra beregningsnodene, noe som resulterer i redusert CPU- og GPU-overhead, forutsigbar og konsistent ytelse og skalerbarhet som forenkler programmering og klusterorkestrering.
• Intelligent dynamisk ruting: Konvensjonell ruting baserer seg på faste eller suboptimale ruter, som kan etterlate deler av nettverket underutnyttet eller skape flaskehalser der massive datavolumer flyter samtidig. Intelligent ruting utnytter dynamisk alle tilgjengelige ruter for å optimere trafikkflyt. Dette tillater høyere gjennomstrømming med flere aktive ruter som balanserer trafikk, lavere forsinkelse via optimal rutevalg og forbedret resiliens ettersom nettverkstrafikken automatisk omruter rundt link- eller nodefeil. Dette reduserer idle tid og holder GPU-er fullt opptatt med data.
• Linknivå automatisk gjenprøving: Når pakker går tapt eller blir ødelagt, avhenger standardnettverk av beregningslaget til å oppdage og gjenoverføre dem, noe som introduserer betydelig forsinkelse og avbryter beregningsflyt. En struktur med innebygd linknivå automatisk gjenprøvingskapasitet håndterer gjenoverføringer inne i nettverket selv. Dette tillater nærmest transparent pålitelighet ettersom pakketap blir usynlig for berekningsnodene, mens forsinkelsesimpakt reduseres ettersom gjenprøvinger skjer lokalt på linknivå, ikke over hele nettverksstakken. Dette eliminerer også behovet for kompleks applikasjonsnivå feilhåndtering. Automatisk gjenprøvingskapasitet sikrer uavbrutt, effektiv distribuert beregning, som er viktig når man skalerer over tusenvis av GPU-er.
• Nettverksbasert beregning: Mens tradisjonelle nettverksstrukturer primært flytter data, gjør nettverksbasert beregning det mulig for nettverket å bli en co-prosessor ved å utføre visse operasjoner direkte innenfor strukturen. NVIDIA SHARP er et godt eksempel – det tillater reduksjoner å skje på nettverksswitchene selv. Dette tillater akselerert distribuert operasjoner, reduserer forsinkelse ettersom data aggregeres mens de flyter gjennom nettverket og øker effektivitet ettersom beregningsnodene frigjøres fra å utføre aggregasjonsoppgaver, og lar flere sykluser tilgjengelige for trening og simulering.

Samlet sett er disse kapasitetene det som gjør “nettverksledet beregning” grunnleggende for å skalerer neste generasjons AI- og HPC-miljøer. En nettverksbasert tilnærming leverer konkrete avkastninger som inkluderer høyere GPU-utnyttelse som eliminerer datahungersnød, raskere tid til innsikt som reduserer treningssykluser og stabiliserer inferensprestasjon, forbedret ressursutnyttelse og lavere total eierkostnad.

Oppdag den sanne nettverkskraften

AI i stor skala er ikke bare et beregningsproblem – det er en systemnivå-ingeniørutfordring, med nettverk i sentrum. Å behandle nettverket som en akselerator gjør det til en kraftmultiplikator for beregning, og lar HPC- og AI-datacenter skalerer i tetthet uten å ofre ytelse. Dette leverer målbare avkastning raskere ved å trekke ut maksimal verdi fra eksisterende infrastruktur før investeringer i mer silisium.

Ved å eliminere flaskehalser, øke utnyttelse og levere forutsigbar ytelse, gjør smartere nettverk det mulig for AI-team å bli mer produktive, bedre avkastning på GPU-infrastruktur og raskere tid til innsikt, innovasjon og markedledelse. Dette lar organisasjonene oppdage hva nettverket deres kan være og utnytte kraften av AI på nye måter.