Il Segreto per un AI più Veloce non è avere più GPU, ma una Rete più Intelligente

L’AI sta ridefinendo ciò che è possibile in vari settori, tra cui sanità, finanza, produzione e retail. Ma con un potenziale promettente, porta anche enormi richieste di infrastrutture.

Le organizzazioni di tutto il mondo stanno investendo in GPU a una scala senza precedenti per accelerare l’addestramento e l’inferenza dell’AI. Entro il 2028, Gartner prevede che la spesa IT per l’AI generativa supererà i 1.000 miliardi di dollari. Hyperion Research prevede che la spesa totale del mercato HPC supererà i 100 miliardi di dollari nello stesso periodo. Eppure, nonostante gli investimenti in acceleratori all’avanguardia, molti CIO continuano a vedere GPU inutilizzate, con un utilizzo che si aggira intorno al 35% o inferiore. Ciò non solo comporta prestazioni insufficienti, ma anche sprechi di energia e costi gonfiati.

Mentre molti progetti di AI sono in stallo, non è perché mancano GPU o potenza di calcolo, ma perché la rete non può stare al passo, richiedendo un nuovo approccio alla progettazione per l’AI su larga scala.

Il Costo Nascosto dei Colli di Bottiglia della Rete

Quando le reti non possono fornire dati abbastanza velocemente per mantenere le GPU costantemente impegnate, le organizzazioni subiscono diversi impatti critici:

• GPU e CPU sottoutilizzate a causa di trasferimenti di dati bloccati: le GPU sono progettate per calcoli paralleli massicci, ma possono elaborare dati solo alla velocità a cui vengono consegnati. Se la rete non può stare al passo, le GPU rimangono inattive in attesa di dati invece di eseguire calcoli. Le CPU possono anche rallentare poiché coordinano attività e spostano dati attraverso il flusso di lavoro, risultando in un utilizzo basso nonostante la disponibilità di hardware costoso.
• Prestazioni di inferenza inconsistenti a causa di una rete inefficiente: le inefficienze della rete creano flussi di dati irregolari, facendo oscillare le GPU tra velocità massima e stato di inattività. Ciò produce prestazioni di inferenza imprevedibili che possono paralizzare le applicazioni di AI in produzione.
• Cicli di addestramento più lunghi, ritardando il tempo di commercializzazione: l’addestramento di modelli di AI richiede lo spostamento di enormi set di dati attraverso server, GPU e archiviazione. I colli di bottiglia della rete rallentano questo processo, quindi le GPU trascorrono meno tempo addestrando e più tempo aspettando. Ciò rallenta direttamente i piani di sviluppo e distribuzione dei prodotti.
• Aumento dei costi di energia e operativi: anche quando sono inattive, le GPU e l’infrastruttura circostante consumano ancora una quantità significativa di energia. Se le GPU sono sottoutilizzate a causa delle inefficienze della rete, le organizzazioni pagano per un alto consumo di energia senza ottenere prestazioni proporzionali. I costi operativi aumentano perché le strutture devono supportare i carichi di picco di energia e raffreddamento, anche se la produttività di calcolo è artificialmente limitata.

Le imprese possono continuare a investire denaro in più GPU, ma senza le giuste migliorie della rete, possono solo aggravare questi colli di bottiglia e inefficienze.

Rete come Acceleratore: un Cambiamento di Paradigma

La soluzione richiede un ripensamento completo dell’architettura della rete. Introducendo un modello che utilizza la rete come acceleratore, si ribalta il pensiero tradizionale sulle prestazioni HPC e AI per sbloccare nuove capacità.

Invece di concentrarsi principalmente sull’aggiunta di calcolo tramite GPU e CPU, l’approccio “rete come acceleratore” tratta l’interconnessione come un moltiplicatore di prestazioni. Di conseguenza, la rete può supportare meglio il calcolo ad alta densità e accelerare il ROI eliminando i colli di bottiglia, scalando per soddisfare le richieste di calcolo e ottimizzando gli investimenti in hardware. Abilitando un calcolo maggiore senza rallentamenti, le organizzazioni possono eseguire carichi di lavoro più grandi in meno spazio, ottenere risultati più velocemente e evitare di spendere troppo in hardware extra.

Come Funziona il Modello “Rete come Acceleratore”

Quindi, come funziona questo modello in modo che le organizzazioni possano trasformare la loro rete da mero spostamento di dati in un attivo abilitatore di calcolo e iniziare a realizzare i benefici? Fornisce quattro capacità chiave che le reti tradizionali non hanno:

• Consegna garantita a livello di hardware: le reti tradizionali gravano sui CPU e GPU con l’onere di tracciamento dei pacchetti, ritrasmissione e riordinamento. Ciò consuma cicli di calcolo che potrebbero essere dedicati all’addestramento o all’inferenza. Con una rete che garantisce la consegna a livello di hardware, questi compiti vengono spostati lontano dai nodi di calcolo, risultando in una riduzione dell’onere per CPU e GPU, prestazioni prevedibili e coerenti e scalabilità che semplifica la programmazione e l’orchestrazione del cluster.
• Routing dinamico intelligente: il routing convenzionale si basa su percorsi fissi o subottimali, che possono lasciare parti della rete inutilizzate o creare colli di bottiglia dove volumi di dati massicci fluiscono contemporaneamente. Il routing intelligente sfrutta dinamicamente tutti i percorsi disponibili per ottimizzare il flusso di traffico. Ciò consente una maggiore velocità con più percorsi attivi che bilanciano il traffico, una latenza inferiore tramite la selezione del percorso ottimale e una maggiore resilienza poiché il traffico di rete si riavvia automaticamente intorno a guasti di link o nodi. Ciò riduce i tempi di inattività e mantiene le GPU completamente alimentate con dati.
• Ritrasmissione automatica a livello di link: quando i pacchetti vengono persi o danneggiati, le reti standard dipendono dal livello di calcolo per rilevare e ritrasmettere, il che introduce una notevole latenza e interrompe il flusso di calcolo. Una rete con capacità di ritrasmissione automatica a livello di link gestisce le ritrasmissioni all’interno della rete stessa. Ciò consente una affidabilità quasi trasparente poiché la perdita di pacchetti diventa invisibile ai nodi di calcolo, riducendo l’impatto della latenza poiché le ritrasmissioni avvengono localmente al livello del link, non in tutta la pila della rete. Ciò elimina anche la necessità di gestione degli errori a livello di applicazione complessa. Le capacità di ritrasmissione automatica garantiscono un calcolo distribuito efficiente e senza interruzioni, il che è importante quando si scala su migliaia di GPU.
• Calcolo in rete: mentre le reti tradizionali si occupano principalmente di spostare dati, il calcolo in rete consente alla rete di diventare un co-processore eseguendo determinate operazioni direttamente all’interno della rete. NVIDIA SHARP è un esempio primario – consente riduzioni sui switch di rete stessi. Ciò consente operazioni distribuite accelerate, riduce la latenza poiché i dati vengono aggregati mentre attraversano la rete e aumenta l’efficienza poiché i nodi di calcolo vengono liberati dall’esecuzione di compiti di aggregazione, lasciando più cicli per l’addestramento e la simulazione.

Nel complesso, queste capacità sono ciò che rende il “calcolo guidato dalla rete” fondamentale per la scalabilità degli ambienti AI e HPC di prossima generazione. Un approccio centrato sulla rete fornisce ritorni tangibili che includono un utilizzo più alto delle GPU che elimina la fame di dati, un tempo di insight più veloce che riduce i cicli di addestramento e stabilizza le prestazioni di inferenza, una maggiore efficienza delle risorse e un minor costo totale di proprietà.

Scopri il Vero Potere della Rete

L’AI su larga scala non è solo un problema di calcolo – è una sfida di ingegneria a livello di sistema, con la rete al centro. Trattare la rete come un acceleratore la trasforma in un moltiplicatore di forza per il calcolo, consentendo ai data center HPC e AI di scalare in densità senza sacrificare le prestazioni. Ciò fornisce un ROI più veloce estratto dal massimo valore dell’infrastruttura esistente prima di investire in più silicio.

Eliminando i colli di bottiglia, aumentando l’utilizzo e fornendo prestazioni prevedibili, una rete più intelligente consente team di AI più produttivi, un miglior ROI sull’infrastruttura GPU e un tempo di insight, innovazione e leadership di mercato più veloce. Ciò consente alle organizzazioni di scoprire cosa la loro rete possa realmente essere e di sfruttare il potere dell’AI in nuovi modi.