Salaisuus nopeamman tekoälyn takana ei ole enemmän GPU:ja, vaan älykkäämpi verkkorakentaminen

Teckoäly määrittää uudelleen mahdollisuuksia useilla aloilla, kuten terveydenhuollossa, rahoituksessa, valmistuksessa ja vähittäiskaupassa. Mutta lupaavan potentiaalin lisäksi se tuo myös massiivisia infrastruktuurivaatimuksia.

Organisaatiot ympäri maailmaa investoivat GPU:ihin ennennäkemättömässä mittakaavassa tekoälyn koulutuksen ja inference-tarkoituksiin. Vuoteen 2028 mennessä Gartner ennustaa, että generatiivisen tekoälyn IT-kulut ylittävät 1 biljoonan dollarin. Hyperion Research ennustaa, että koko HPC-markkinan kulut ylittävät 100 miljardia dollaria samanaikaisesti. Vaikka organisaatiot investoivat viimeisimmän sukupolven kiihdyttimiin, monet CIO:t jatkavat näkemästä idlettäviä GPU:ja, joilla hyötykäyttö on 35 %:n tai sitä alempi. Tämä johtaa alisuorituskykyyn, hukkaan menevään energiaan ja kohoaviin kustannuksiin.

Monet tekoälyprojektit jumiutuvat, mutta se ei johtu siitä, että niillä ei ole riittävästi GPU:ja tai laskentakapasiteettia, vaan siitä, että verkko ei pysty pitämään perässä, vaan vaatii uuden lähestymistavan tekoälyn suunnittelussa suuressa mittakaavassa.

Verkkopullonkaulien piilotettu kustannus

Kun verkot eivät pysty syöttämään dataa tarpeeksi nopeasti pitämään GPU:ja jatkuvasti käynnissä, organisaatiot kokevat useita kriittisiä vaikutuksia:

• Alikäytetyt GPU:t ja CPU:t pullotilanteiden vuoksi: GPU:t on suunniteltu massiiviselle rinnakkaislaskennalle, mutta ne voivat prosessoida dataa vain niin nopeasti kuin se toimitetaan. Jos verkkorakenne ei pysty seuraamaan, GPU:t istuvat idlessä odottaen dataa sen sijaan, että ne laskisivat lukuja. CPU:t voivat myös jumiutua, koska ne koordinoivat tehtäviä ja siirtävät dataa putken läpi, mikä johtaa matalaan hyötykäyttöön huolimatta kalliiden laitteiden saatavuudesta.
• Epävakaa inference-suorituskyky tehottoman verkon vuoksi: Verkon tehottomuus luo epätasaisia data-virtoja, mikä aiheuttaa GPU:ille vaihtelevaa suorituskykyä täydellä nopeudella ja idlessä. Tämä tuottaa ennalta-arvattavaa inference-suorituskykyä, joka voi lamauttaa tekoälysovellukset tuotannossa.
• Pitkät koulutusjaksot, jotka viivästyttävät markkinoille tulon: Tekoälymallien koulutus vaatii massiivisten tietojoukkojen siirtämistä palvelimien, GPU:iden ja tallennusvälineiden välillä. Verkkopullotilanteet hillitsevät tätä prosessia, joten GPU:t viettävät vähemmän aikaa koulutuksessa ja enemmän aikaa odottaen. Tämä viivästyttää suoraan tuotteen kehitys- ja käyttöönottoaikatauluja.
• Kasvavat sähkö- ja toimintakustannukset: Jopa kun ne ovat idlessä, GPU:t ja ympäröivä infrastruktuuri kuluttavat edelleen merkittäviä määriä sähköä. Jos GPU:t ovat alikäytettyjen verkon tehottomuuksien vuoksi, organisaatiot maksavat korkeasta sähkökulutuksesta ilman suhteellista suorituskykyä. Toimintakustannukset kasvavat, koska laitokset on tuettava huippu-tehon ja jäähdytyskuormia, vaikka laskentakapasiteetti on keinotekoisesti rajoitettu.

Yritykset voivat jatkaa rahoittamista enemmän GPU:illa, mutta ilman oikeaa verkkorakenteen parantamista, he vain lisäävät näitä pullotilanteita ja tehottomuuksia.

Verkko kiihdyttimenä: Paradigman muutos

Ratkaisu vaatii verkkorakenteen täydellistä uudelleenajattelua. “Verkko kiihdyttimenä” -mallin esittely, joka käyttää verkkoa suorituskyvyn monikertoimena, kääntää perinteisen ajattelun HPC- ja tekoälysuorituskyvystä uusiksi mahdollisuuksiksi.

Sen sijaan, että keskittyisimme lähinnä lisäämään laskentaa GPU:illa ja CPU:illa, “verkko kiihdyttimenä” -lähestymistapa käsittelee verkkoyhteyttä suorituskyvyn monikertoimena. Tämän seurauksena verkko pystyy paremmin tukemaan korkeatiheää laskentaa ja kiihdyttämään ROI:ta poistamalla pullotilanteita, skaalautumalla laskentavaatimusten mukaan ja oikein kokoamalla laitteiston investoinnit. Sallimalla suuremman laskennan ilman hidastumia organisaatiot voivat suorittaa suurempia työmäärää vähemmässä tilassa, saada tuloksia nopeammin ja välttää ylituotannon ylimääräisistä laitteista.

”Verkko kiihdyttimenä” -mallin toimintaperiaate

Miten tämä malli toimii, jotta organisaatiot voivat muuttaa verkkonsa passiivisesta data-siirtimestä aktiiviseksi laskennan mahdollistajaksi ja aloittaa hyödyntämään sen edut? Se tarjoaa neljä avainominaisuutta, joita perinteiset verkot eivät tarjoa:

• Laitteistotasolla tapahtuva toimitusvarmistus: Perinteiset verkot kuormittavat CPU:ita ja GPU:ita pakettien jäljityksellä, uudelleenlähetyskuormituksella ja uudelleenjärjestelyllä. Tämä kuluttaa laskentasykluja, jotka voitaisiin omistaa koulutukseen tai inferenceen. Verkkorakenteella, joka varmistaa toimituksen laitteistotasolla, nämä tehtävät siirretään pois laskentasolmuista, mikä johtaa vähäiseen CPU- ja GPU-kuormitukseen, ennustettavaan ja johdonmukaiseen suorituskykyyn ja skaalautuvuuteen, joka yksinkertaistaa ohjelmointia ja klusterin orkestraatiota.
• Älykäs dynaaminen reititys: Perinteinen reititys perustuu kiinteisiin tai suboptimaalisiin poluihin, jotka voivat jättää verkon osia alikäytetyiksi tai luoda pullotilanteita, kun massiiviset data-määrät virtaavat samanaikaisesti. Älykäs reititys hyödyntää dynaamisesti kaikkia saatavilla olevia polkuja liikenteen optimoimiseksi. Se sallii suuremman lähetysnopeuden useiden aktiivisten reittien tasapainottamalla liikennettä, alempaa viivettä optimaalisen polun valinnalla ja parantaa palautumista, kun verkkoliikenne uudelleenohjataan automaattisesti linkin tai solmun virheiden ympärillä. Tämä vähentää idätysajoja ja pitää GPU:t täydellä datakuormalla.
• Linkin tasolla tapahtuva automaattinen uudelleenlähetys: Kun paketit ovat kadonneet tai vahingoittuneet, standardiverkot riippuvat laskentakerroksesta havaitsemiseksi ja uudelleenlähetyskuormitukselle, mikä aiheuttaa merkittävää viivettä ja keskeyttää laskentavirran. Verkkorakenteella, joka sisältää linkin tasolla tapahtuvan automaattisen uudelleenlähetyskyvyn, käsittää uudelleenlähetystoimet itse verkon sisällä. Se sallii lähes näkymättömän luotettavuuden, kun pakettihävikkeet tulevat näkymättömiksi laskentasolmuille, vähentää viiveen vaikutusta, kun uudelleenlähetys tapahtuu paikallisesti linkin tasolla, eikä vaadi monimutkaista sovelluksen tasolla tapahtuvaa virheenkäsittelyä. Automaattinen uudelleenlähetyskyky varmistaa keskeytymättömän, tehokkaan jakelulaskennan, joka on tärkeää skaalautumisen yli tuhansien GPU:iden yli.
• Verkon sisäinen laskenta: Perinteiset verkkorakenteet siirtävät pääasiassa dataa, verkon sisäinen laskenta mahdollistaa verkon toimimisen co-prosessorina suorittamalla tiettyjä operaatioita suoraan verkkorakenteessa. NVIDIA SHARP on esimerkki – se sallii vähennykset tapahtua itse verkkovaihdinta. Tämä mahdollistaa kiihdytetyn jakelulaskennan, vähentää viivettä, koska data aggregoidaan, kun se kulkee verkon läpi, ja lisää tehokkuutta, koska laskentasolmut vapautuvat suorittamasta aggregaatiotehtävistä, jättäen enemmän sykluja koulutukseen ja simulaatioon.

Nämä ominaisuudet yhdessä muodostavat “verkkokohtaisen laskennan” perustan seuraavan sukupolven tekoäly- ja HPC-ympäristöjen skaalautumiseksi. Verkkokeskeinen lähestymistapa tarjoaa käytännöllisiä tuottoja, kuten korkeamman GPU-hyötykäytön, joka poistaa data-nälän, nopeamman aikaisen havainnon, joka vähentää koulutusjaksoja ja stabiloi inference-suorituskykyä, parantaa resurssitehokkuutta ja vähentää ylläpitokustannuksia.

Verkon todellisen voiman löytäminen

Tekoäly suuressa mittakaavassa ei ole pelkästään laskentaa vaan järjestelmätasoinen insinöörintihaaste, jonka keskipisteenä on verkkorakentaminen. Verkon käsittely kiihdyttimenä muuttaa sen suorituskyvyn monikertoimaksi, jolloin HPC- ja tekoälydatakeskukset voivat skaalautua tiheydessä ilman suorituskyvyn uhraamista. Se tarjoaa mitattavissa olevan ROI:n nopeammin poistamalla pullotilanteita, lisäämällä hyötykäyttöä ja toimittamalla ennustettavan suorituskyvyn, jolloin organisaatiot voivat löytää, mitä heidän verkkonsa voi todella olla, ja hyödyntää tekoälyn voimaa uusilla tavoilla.

Verkkorakenteen parantamisen, hyötykäytön lisäämisen ja ennustettavan suorituskyvyn toimittamisen kautta älykkäämpi verkkorakentaminen mahdollistaa tuottavammat tekoälytiimit, paremman ROI:n GPU-infrastruktuurissa ja nopeamman aikaisen havainnon, innovaation ja markkinajohtajuuden. Se sallii organisaatioille löytää, mitä heidän verkkonsa voi oikeasti olla, ja hyödyntää tekoälyn voimaa uusilla tavoilla, kiihdyttämällä hyötykäyttöä, toimittamalla ennustettavan suorituskyvyn, älykkäämmän verkkorakentamisen mahdollistaen tuottavammat tekoälytiimit, paremman ROI:n GPU-infrastruktuurissa ja nopeamman aikaisen havainnon, innovaation ja markkinajohtajuuden. Se antaa organisaatioille mahdollisuuden löytää, mitä heidän verkkonsa voi oikeasti olla, ja hyödyntää tekoälyn voimaa uusilla tavoilla.