Meridian Cloud velger Aria Networks til utforming av KI-klynger klare for inferens

Meridian Cloud har valgt Aria Networks som nettverkspartner for sin dedikerte KI-sky for inferens, som etter planen skal lanseres i andre kvartal 2027. Selskapene planlegger å utvikle standardiserte, validerte nettverksdesign som gjør utrullingen av klynger mer forutsigbar og gir tydeligere tekniske spesifikasjoner, kostnadsoverslag og tidsplaner for produksjonssetting.

Partnerskapet ble kunngjort 5. november og innebærer at Aria kommer inn i planleggingsprosessen før utstyret installeres. Arbeidet omfatter dimensjonering av GPU-nettverket på baksiden, nettverkene for frontenden og lagring, kartlegging av topologier og kabling samt koordinering av forsyning og levering opp mot Meridians utrullingsplan.

De første felles referansedesignene ventes å bli tilgjengelige for Meridian-kunder og anleggspartnere i andre kvartal 2027. Kunngjøringen beskriver et utviklings- og utrullingsprogram, ikke en fullført lansering av Meridians nye inferenssky.

Målet er å gjøre hver nye klynge til et mindre omfattende teknisk utviklingsprosjekt

Meridians tilnærming er å ha et slankt sentralt team som får støtte fra spesialiserte partnere innen teknikk, datakraft, utrulling og nettverk. Aria skal bidra til å gjøre dette arbeidet om til et bibliotek med referansedesign, hvert tilpasset en bestemt type anlegg.

Tanken er å ta utgangspunkt i hvor mye strøm et anlegg har tilgjengelig, og tilpasse dette til en konfigurasjon der nettverkskravene allerede er validert. Da kan Meridian fastsette spesifikasjoner og kostnader før byggingen starter, i stedet for å måtte gjøre om nettverksstrukturen som et eget teknisk prosjekt på hvert sted.

For en kunde med en dedikert sky er forutsigbarhet den viktigste fordelen ved standardiseringen. En klynge handler om mer enn antallet akseleratorer som bestilles: Kabeltraseer, svitsjkapasitet, vertstilkoblinger, lagringstrafikk og tidspunktet for utstyrslevering påvirker alle når systemet kan begynne å utføre nyttig arbeid.

«Aria’s Forward Deployed Engineers har vært en del av teamet vårt helt fra dag én. De har samarbeidet med oss om nettverksdesign, planlegging av forsyning og utrulling, og validert hver eneste kabel, forbindelse og konfigurasjon før en kundejobb i det hele tatt kjøres», sa Vic Rose, administrerende direktør i Meridian Cloud.

Hvorfor nettverket blir en kritisk del av inferens

Inferens er prosessen der en trent modell kjøres for å produsere et svar. I en distribuert utrulling kan deler av arbeidet og dataene som støtter det, flyttes mellom maskiner. Dermed blir kommunikasjonstiden en del av responstiden brukeren opplever.

Et eksempel er oppdelt inferens, der behandling av ledetekster og generering av tokener kjøres på separate ressurser. Systemet kan måtte flytte modellens nøkkel-verdi-hurtigbuffer – de mellomliggende oppmerksomhetsdataene som er knyttet til forespørselen – mellom dem. Kødannelse underveis kan forsinke arbeidet selv når GPU-ene er tilgjengelige.

Arias tekniske gjennomgang av nettverk for inferens legger vekt på å sammenstille aktivitet på vertsmaskinene med nettverkstelemetri. En port som ser ut til å fungere som den skal i et instrumentpanel som oppdateres med jevne mellomrom, kan likevel oppleve korte forstyrrelser som påvirker applikasjonsytelsen.

I kunngjøringen av partnerskapet vises det til hendelser med kødannelse, optiske komponenter som svekkes, og problemer på vertssiden som kan gå under radaren for verktøy som innhenter data med noen sekunders mellomrom. For å oppdage slike hendelser kreves det bedre innsyn enn bare å vite om en forbindelse er aktiv.

For en inferensvirksomhet får dette både kommersielle og tekniske konsekvenser. Tid brukt på å vente på data reduserer den nyttige ytelsen til maskinvare som fortsatt bruker strøm og medfører eierkostnader. Relevante driftsmål omfatter responstid, nyttig gjennomstrømning og kostnad per million tokener – ikke bare koblingshastighet.

Hva Arias Deep Networking tilfører

Aria beskriver Deep Networking som et samutviklet system som kombinerer svitsjeutstyr, Aria Operating System, detaljert telemetri og spesialiserte agenter. I kunngjøringen fra Meridian nevnes Aria Switch-plattformer på 800G og et standardbasert Ethernet-nettverk som skal være åpent for ulike leverandører av akseleratorer.

Selskapet hevder at telemetrien har en oppløsning som er 100 til 10 000 ganger høyere enn tradisjonelle verktøy, på tvers av svitsjer, optiske komponenter og vertsmaskiner. Dette er en påstand om måleoppløsning, ikke en påstand om at Meridians applikasjoner vil kjøre 100 til 10 000 ganger raskere.

Arias produktoversikt gir mer informasjon om maskinvaren: 800G-svitsjen har 64 800GbE-porter i et kabinett på to rackenheter, støtter RoCEv2 og nettverk på lag 2 og lag 3, og har en egen telemetriprosessor. RoCEv2 muliggjør direkte ekstern minnetilgang over Ethernet, en funksjon som brukes til å flytte data effektivt mellom maskiner i klynger med høy ytelse.

Den samme produktsiden beskriver hvordan data fra GPU-verter og svitsjer sammenstilles, diagnostiske verktøy velges gjennom spesialiserte agenter, og veiledede arbeidsflyter for problemløsning utføres. Dermed sidestilles driftsinnsyn med maskinvaredesignet: Nettverket må kunne overvåkes og vedlikeholdes etter at det er satt i drift.

Selskapene har ikke offentliggjort felles referansemålinger for Meridian-utrullinger eller en målt reduksjon i kostnad per token for dette partnerskapet. Resultatene vil avhenge av arbeidsbelastningene og konfigurasjonene som tas i bruk, samt hvordan nettverket oppfører seg under produksjonstrafikk.

Meridians modell for dedikert inferens

På nettstedet sitt presenterer Meridian tilbudet som reservert kapasitet tilpasset kundens arbeidsbelastning, med alternativer som omfatter maskinvare fra NVIDIA og AMD, samt spesialiserte inferensakseleratorer. Selskapet beskriver også administrert orkestrering og driftsmodeller med bare-metal.

Dette er beskrivelser av det bredere tjenestetilbudet, ikke en bekreftelse på at alle annonserte konfigurasjoner inngår i det første biblioteket med Aria-referansedesign. I kunngjøringen om partnerskapet oppgis verken de første datasenterlokasjonene, faste klyngestørrelser eller kundepriser.

Meridians satsing på dedikert kapasitet endrer også planleggingsbehovet. I stedet for å basere seg utelukkende på delt tilgjengelig kapasitet trenger kunden et system som er utformet for forventet trafikk, modellens egenskaper og tjenestekravene. Nettverksdesign som kan gjentas, kan gjøre planleggingen enklere og samtidig gi rom for valg som er tilpasset den enkelte arbeidsbelastningen.

Et partnerskap med fokus på gjentakbar gjennomføring

Arias rolle omfatter alt fra design til praktisk utrulling, og erfaringer fra enkeltsteder skal brukes til å forbedre senere installasjoner og programvare. Målet er å gjøre nettverksteknikk til en gjenbrukbar del av Meridians utrulling, i stedet for en tilbakevendende kilde til usikkerhet.

Den nærmeste milepælen er konkret: felles referansedesign og den planlagte skylanseringen i Q2 2027. Deretter vil partnerskapet bli satt på prøve: Spørsmålet er om validerte design og bedre operasjonell innsikt fører til klynger som leveres i tide og gir jevn inferensytelse når kundenes arbeidsbelastninger begynner å kjøre.