Hemligheten till snabbare AI är inte fler GPU:er, utan smartare nätverk

AI omdefinierar vad som är möjligt inom olika branscher, inklusive hälsovård, finans, tillverkning och detaljhandel. Men med lovande potential kommer också massiva infrastrukturkrav.

Organisationer över hela världen investerar i GPU:er i en aldrig tidigare skådad skala för att accelerera AI-träning och inferens. År 2028 förutspår Gartner att generativ AI IT-utgifter kommer att överstiga 1 biljon dollar. Hyperion Research förutspår att den totala HPC-marknaden kommer att överstiga 100 miljarder dollar under samma period. Trots att de investerar i toppmoderna acceleratorer ser många CIO:er fortfarande idle GPU:er, med en utnyttjandegrad på 35 % eller lägre. Detta leder inte bara till underprestation, utan också till slöseri med energi och ökade kostnader.

Många AI-projekt går i stå, inte för att de saknar GPU:er eller beräkningskraft, utan för att nätverket inte kan hålla jämna steg, vilket kräver ett nytt tillvägagångssätt för att designa för AI i stor skala.

De dolda kostnaderna för nätverksflaskhalsar

När nätverken inte kan mata data tillräckligt snabbt för att hålla GPU:erna konstant sysselsatta upplever organisationerna flera kritiska konsekvenser:

• Underutnyttjade GPU:er och CPU:er på grund av flaskhalsar i dataöverföringar: GPU:er är designade för massivt parallell beräkning, men de kan bara bearbeta data så snabbt som de levereras. Om nätverksstrukturen inte kan hålla jämna steg sitter GPU:erna idle och väntar på data istället för att bearbeta siffror. CPU:er kan också stanna på grund av att de samordnar uppgifter och flyttar data genom pipelinen, vilket leder till låg utnyttjandegrad trots tillgången på dyra maskiner.
• Ojämn inferensprestanda från ett ineffektivt nätverk: Nätverksineffektiviteter skapar ojämna dataflöden, vilket får GPU:er att fluktuera mellan full hastighet och idle-lägen. Detta producerar oförutsägbar inferensprestanda som kan lamslå AI-applikationer i produktion.
• Längre träningscykler, vilket försenar tid till marknad: Träning av AI-modeller kräver att man flyttar stora datamängder över servrar, GPU:er och lagring. Nätverksflaskhalsar bromsar upp denna process, så att GPU:er tillbringar mindre tid med träning och mer tid med väntan. Detta försenar direkt produktutveckling och distributionsplaner.
• Ökade elkostnader och driftskostnader: Även när de är inaktiva förbrukar GPU:er och den omgivande infrastrukturen fortfarande betydande mängder energi. Om GPU:er är underutnyttjade på grund av nätverksineffektiviteter betalar organisationer för hög energiförbrukning utan att få proportionerlig prestanda. Driftskostnaderna ökar eftersom anläggningarna måste stödja toppkraft och kylbelastningar, även om beräkningsprestandan är konstgjort begränsad.

Företagen kan fortsätta att ösa pengar i fler GPU:er, men utan rätt nätverksförbättringar kommer de bara att förvärra dessa flaskhalsar och ineffektiviteter.

Nätverk som accelerator: En paradigmförändring

Lösningen kräver att man omdefinierar nätverksarkitekturen helt. Genom att införa en modell som använder nätverket som en accelerator vänds den traditionella synen på HPC- och AI-prestanda upp och ner för att låsa upp nya funktioner.

Istället för att fokusera främst på att lägga till mer beräkningskraft via GPU:er och CPU:er behandlar “nätverk som accelerator”-tillvägagångssättet nätverksstrukturen som en prestandamultiplikator. Som ett resultat kan nätverket bättre stödja högdensitetsberäkning och accelerera ROI genom att eliminera flaskhalsar, skala för att möta beräkningskrav och rätt storleksbestämma hårdvaruinvesteringar. Genom att möjliggöra större arbetsbelastningar i mindre utrymme, få resultat snabbare och undvika överspending på extra hårdvara.

Hur “nätverk som accelerator”-modellen fungerar

Så, hur fungerar den här modellen så att organisationer kan förvandla sitt nätverk från att vara en passiv dataflyttare till en aktiv beräkningsaktiverare och börja inse fördelarna? Den levererar fyra nyckelfunktioner som traditionella nätverk saknar:

• Garantierad leverans på hårdvarunivå: Traditionella nätverk belastar CPU:er och GPU:er med paketövervakning, omöverföring och omordning. Detta förbrukar beräkningscykler som kunde ha ägnats åt träning eller inferens. Med en nätverksstruktur som garanterar leverans på hårdvarunivå flyttas dessa uppgifter bort från beräkningsnoderna, vilket resulterar i minskad CPU- och GPU-överbelastning, förutsägbar och konsekvent prestanda samt skalbarhet som förenklar programmering och klusterorkestrering.
• Intelligent dynamisk routning: Konventionell routning förlitar sig på fasta eller underoptimala vägar, vilket kan lämna delar av nätverket outnyttjade eller skapa flaskhalsar där stora datavolymer flödar samtidigt. Intelligent routning utnyttjar dynamiskt alla tillgängliga vägar för att optimera trafikflödet. Det möjliggör högre genomströmning med flera aktiva vägar som balanserar trafiken, lägre latens via optimal vägval och förbättrad återhämtning eftersom nätverkstrafiken automatiskt omroutas runt länk- eller nodfel. Det minskar också idétider och håller GPU:erna fullt sysselsatta med data.
• Länknivåautoupprepning: När paket förloras eller skadas förlitar sig standardnätverk på beräkningslagret för att upptäcka och återsända dem, vilket introducerar betydande latens och avbryter beräkningsflödet. En struktur med inbyggda länknivåautoupprepningsfunktioner hanterar omöverföringar inom nätverket självt. Det möjliggör nästan transparent tillförlitlighet eftersom paketförlust blir osynlig för beräkningsnoderna medan det minskar latenspåverkan eftersom omöverföringar sker lokalt på länken, inte över hela nätverksstacken. Det eliminerar också behovet av komplex applikationsnivåfelhantering. Autoupprepningsfunktioner säkerställer oavbruten, effektiv distribuerad beräkning, vilket är viktigt när man skalar över tusentals GPU:er.
• Nätverksbaserad beräkning: Medan traditionella nätverksstrukturer främst flyttar data möjliggör nätverksbaserad beräkning att nätverket blir en samberäknare genom att utföra vissa operationer direkt inom strukturen. NVIDIA SHARP är ett exempel – det möjliggör minskningar på själva nätverkskommutatorerna. Det möjliggör accelererade distribuerade operationer, minskar latens eftersom data aggregeras medan den passerar genom nätverket och ökar effektiviteten eftersom beräkningsnoderna befrias från att utföra aggregeringsuppgifter, vilket lämnar fler cyklar för träning och simulering.

Sammanfattningsvis är det här funktionerna som gör “nätverkslett beräkning” grundläggande för att skala nästa generations AI- och HPC-miljöer. En nätverkscentrerad strategi levererar mätbara avkastningar som inkluderar högre GPU-utnyttjande som eliminerar datahunger, snabbare tid till insikt som minskar träningscykler och stabiliserar inferensprestanda, förbättrad resurseffektivitet och lägre total ägandekostnad.

Upptäck den sanna nätverkskraften

AI i stor skala är inte bara ett beräkningsproblem – det är en systemnivåutmaning, med nätverk i centrum. Att behandla nätverket som en accelerator förvandlar det till en prestandamultiplikator för beräkning, vilket möjliggör för HPC- och AI-datacenter att skala i densitet utan att offra prestanda. Det levererar mätbar ROI snabbare genom att extrahera maximalt värde från befintlig infrastruktur innan man investerar i mer kisel.

Genom att eliminera flaskhalsar, öka utnyttjandegraden och leverera förutsägbar prestanda möjliggör smartare nätverk mer produktiva AI-team, bättre ROI på GPU-infrastruktur och snabbare tid till insikt, innovation och marknadsledarskap. Det möjliggör för organisationer att upptäcka vad deras nätverk verkligen kan vara och utnyttja kraften från AI på nya sätt.