Meridian Cloud vælger Aria Networks til design af AI-klynger, der er klar til inferens

Meridian Cloud har valgt Aria Networks som netværkspartner til sin dedikerede AI-inferenscloud, der efter planen lanceres i andet kvartal af 2027. Virksomhederne planlægger at udvikle standardiserede, validerede netværksdesign, som gør udrulning af klynger mere ensartet og giver tydeligere tekniske specifikationer, omkostningsestimater og tidsplaner for produktion.

Partnerskabet blev annonceret den 5. november og inddrager Aria i planlægningsprocessen, før udstyret installeres. Arbejdet omfatter dimensionering af GPU-netværket på bagsiden samt front-end- og lagernetværk, kortlægning af topologier og kabelføring samt koordinering af forsyning og levering i forhold til Meridians udrulningsplan.

De første fælles referencedesign forventes at blive tilgængelige for Meridian-kunder og facilitets-partnere i Q2 2027. Meddelelsen beskriver et udviklings- og udrulningsprogram, ikke en gennemført lancering af Meridians nye inferenscloud.

Hver ny klynge skal kræve mindre nyt ingeniørarbejde

Meridians tilgang er at drive et lille centralt team, der får støtte fra specialiserede partnere inden for ingeniørarbejde, databehandling, udrulning og netværk. Aria skal hjælpe med at omsætte arbejdet til et bibliotek af referencedesign, der hver især er tilpasset en bestemt type facilitet.

Idéen er at tage udgangspunkt i den tilgængelige strømkapacitet på et sted og matche den med en konfiguration, hvis netværkskrav allerede er blevet valideret. Det vil gøre det muligt for Meridian at fastlægge specifikationer og omkostninger, før byggeriet begynder, i stedet for at skulle omarbejde netværksstrukturen som et særskilt ingeniørprojekt på hvert enkelt sted.

For en kunde med en dedikeret cloud er forudsigelighed den vigtigste fordel ved standardiseringen. En klynge handler om mere end antallet af bestilte acceleratorer: Kabelføringer, switchkapacitet, værtsforbindelser, lagringstrafik og tidspunktet for levering af udstyret påvirker alle, hvornår systemet kan begynde at udføre nyttigt arbejde.

»Aria’s Forward Deployed Engineers har været en integreret del af vores team fra dag ét. De har arbejdet sammen med os om netværksdesign, planlægning af forsyning og udrulning samt validering af hvert kabel, link og hver konfiguration, før en kundeopgave overhovedet køres,« sagde Vic Rose, administrerende direktør for Meridian Cloud.

Derfor bliver netværket afgørende for inferens

Inferens er processen, hvor en trænet model køres for at generere et svar. I en distribueret udrulning kan dele af arbejdet og de tilhørende data flyttes mellem maskiner, så kommunikationstiden bliver en del af den svartid, brugeren oplever.

Et eksempel er opdelt inferens, hvor behandling af prompten og generering af tokens foregår på separate ressourcer. Systemet kan være nødt til at flytte modellens nøgle-værdi-cache – de mellemliggende opmærksomhedsdata, der er knyttet til anmodningen – mellem dem. Overbelastning på den strækning kan forsinke arbejdet, selv når GPU’erne er tilgængelige.

Arias tekniske gennemgang af netværk til inferens fremhæver, hvor vigtigt det er at sammenholde værtsaktivitet med netværkstelemetri. En port, der ser ud til at fungere normalt i et instrumentbræt, som opdateres med jævne mellemrum, kan stadig opleve kortvarige forstyrrelser, der påvirker applikationens ydeevne.

I meddelelsen om partnerskabet peges der på overbelastning, forringet optik og problemer på værten, som kan overses af værktøjer, der foretager målinger med få sekunders mellemrum. Det kræver en anden grad af indsigt at opdage sådanne hændelser end blot at vide, om et link er aktivt.

For en inferensvirksomhed har det både kommercielle og tekniske konsekvenser. Tid brugt på at vente på data reducerer det nyttige output fra hardware, der fortsat bruger strøm og medfører ejeromkostninger. Relevante driftsmål omfatter svartid, nyttig kapacitet og omkostning pr. million tokens – ikke kun linkhastighed.

Det ekstra, Aria tilfører med Deep Networking

Aria beskriver Deep Networking som et samudviklet system, der kombinerer switchhardware, Aria Operating System, detaljeret telemetri og specialiserede agenter. I meddelelsen fra Meridian specificeres 800G Aria Switch-platforme og et Ethernet-netværk baseret på standarder, der skal kunne bruges med acceleratorer fra forskellige leverandører.

Virksomheden hævder, at telemetrien har en opløsning, der er 100 til 10.000 gange højere end traditionelle værktøjers, på tværs af switches, optik og værter. Det er en påstand om måleopløsning, ikke en påstand om, at Meridians applikationer vil køre 100 til 10.000 gange hurtigere.

Arias produktoversigt indeholder flere oplysninger om hardwaren: Dens 800G-switch har 64 800GbE-porte i et kabinet på to rackenheder, understøtter RoCEv2 samt Layer 2- og Layer 3-netværk og har en dedikeret telemetriprocessor. RoCEv2 muliggør direkte fjernadgang til hukommelse over Ethernet, en funktion, der bruges til effektivt at flytte data mellem maskiner i højtydende klynger.

Den samme produktside beskriver sammenstilling af data fra GPU-værter og switches, valg af diagnosticeringsværktøjer via specialiserede agenter og gennemførelse af vejledte arbejdsgange til problemløsning. Dermed sidestilles driftsindsigt med hardwaredesignet: Netværket skal kunne overvåges og vedligeholdes, efter at det er sat i drift.

Virksomhederne har ikke offentliggjort fælles benchmarks for Meridian-implementeringer eller en målt reduktion i omkostningen pr. token for dette partnerskab. Resultaterne afhænger af de implementerede arbejdsbelastninger og konfigurationer samt af, hvordan netværket fungerer under produktionsbelastning.

Meridians model for dedikeret inferens

På sit websted præsenterer Meridian sit tilbud som reserveret kapacitet, der er tilpasset kundens arbejdsbelastning, med muligheder, der omfatter hardware fra NVIDIA og AMD samt specialiserede inferensacceleratorer. Virksomheden beskriver også administreret orkestrering og driftsmodeller baseret på bare-metal.

Det er beskrivelser af det bredere servicetilbud og ikke en bekræftelse på, at alle annoncerede konfigurationer indgår i Aria-biblioteket med referencedesign fra starten. I meddelelsen om partnerskabet oplyses hverken de første lokationer for datacentre, faste klyngestørrelser eller kundepriser.

Meridians fokus på dedikeret kapacitet ændrer også planlægningsopgaven. I stedet for udelukkende at basere sig på delt tilgængelighed har kunden brug for et system, der er designet til den forventede trafik, modellens egenskaber og servicekravene. Gentagelige netværksdesign kan gøre planlægningen lettere og samtidig give plads til valg, der er specifikke for den enkelte arbejdsbelastning.

Et partnerskab med fokus på gentagelig implementering

Arias rolle strækker sig fra design til praktisk implementering, og erfaringer fra de enkelte lokationer skal danne grundlag for senere installationer og softwareforbedringer. Målet er at gøre netværksteknik til en genanvendelig del af Meridians udrulning i stedet for en tilbagevendende kilde til usikkerhed.

Den nært forestående milepæl er konkret: fælles referencedesign og den planlagte cloudlancering i 2. kvartal 2027. Derefter vil partnerskabet blive målt på, om validerede design og større operationel indsigt fører til klynger, der bliver leveret til tiden og leverer ensartet inferensydelse, når kundernes arbejdsbelastninger begynder at køre.