AI-modellen en platforms

MiTAC stelt AI-inferentiearchitectuur met twee servers voor op SC26

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenMiTAC splitst prefill en decode over afzonderlijke servers, zodat elke fase wordt…
Meer weergeven
  • MiTAC splitst prefill en decode over afzonderlijke servers, zodat elke fase wordt ingericht voor zijn eigen workload.
  • De decodeserver heeft 2 TB aan acceleratorgeheugen om modellen zoals Kimi K3 on-premises te draaien.
  • Het vloeistofgekoelde rack van MiTAC bereikt een 50% hogere GPU-dichtheid dan conventionele implementaties.

MiTAC Computing onthulde tijdens SC26 samen met Skymizer een AI-inferentiearchitectuur met twee servers in een aankondiging van 17 november 2026. Het bedrijf stelt 2 TB acceleratorgeheugen aan de decodezijde voor, voor een systeem dat modellen zoals de Kimi K3 met 2,8 biljoen parameters lokaal moet kunnen draaien.

De architectuur maakt deel uit van een breder portfolio met softwareorkestratie, vloeistofkoeling met een hoge dichtheid, opslag en een toekomstige AMD-rack. Sommige ondersteunende systemen worden tijdens SC26 live gedemonstreerd, terwijl andere nog in de ontwerpfase zitten of in ontwikkeling zijn. De aankondiging omvat dus zowel demonstraties van bestaande systemen als ontwerpen voor toekomstige infrastructuur.

Aparte servers voor prefill en decode

Het voorgestelde prefillplatform is de 8U G8825Z5, met AMD EPYC 9575F- of 9755-processors en Instinct MI350X-GPU’s. De resulterende key-value-cache zou via een hogesnelheidsnetwerk naar de decodeserver worden overgebracht. Voor decode combineert de voorgestelde luchtgekoelde 4U G4520G6-configuratie Intel Xeon 6-processors met acht Skymizer HTX301-4S-versnellerkaarten, elk met 256 GB geheugen.

Prefill is de rekenintensieve fase, terwijl decode veel geheugen vergt. Door beide fasen te scheiden, kunnen bedrijven voor elke fase de capaciteit afstemmen op de eigen werklast. Volgens MiTAC is het lokale decodesysteem ontworpen voor complexe agentwerklasten die diepgaand redeneervermogen vereisen. Deze architectuur verlegt een deel van de schaalbaarheidsopgave: in plaats van alleen GPU’s toe te voegen, moeten bedrijven het geheugen van de versnellers afstemmen op de netwerkverbinding tussen de fasen.

Live demonstraties van koeling en datadichtheid op SC26

De live demonstraties van MiTAC laten zien welke fysieke eisen met dit inferentieontwerp gepaard gaan. Een vloeistofgekoeld 52U-rack bevat 12 G4826Z5-servers en 96 AMD Instinct MI355X-GPU’s. Volgens het bedrijf levert deze configuratie een 50% hogere GPU-dichtheid op dan conventionele implementaties.

Bij een proof-of-concept met ZutaCore wordt de G4826Z5 voorzien van waterloze, directe tweefasige vloeistofkoeling, waarbij de diëlektrische vloeistof rechtstreeks bij de chip verdampt. MiTAC meldt dat het systeem thermische ontwerpvermogens van meer dan 4.000 W, een warmtestroomdichtheid van meer dan 250 W/cm² en een geannualiseerde partiële energieverbruikseffectiviteit (PUE) van 1,03 ondersteunt. De demonstratie richt zich op de thermische grenzen die ontstaan wanneer krachtige versnellers in dicht opeengepakte racks worden geconcentreerd.

De opslagdemonstratie combineert DDN Infinia met zeven GC68C-B8056 1U-opslagservers en is ontworpen om ononderbroken AI-datastromen te leveren zonder I/O-knelpunten. Daarmee wordt een andere beperking aangepakt dan met koeling: het risico verkleinen dat versnellers op data moeten wachten in plaats van inferentie- en agentwerklasten te verwerken.

Software en het toekomstige Helion-rack

Canonical Ubuntu levert de gecertificeerde besturingssysteemlaag, Rafay voegt dynamische orkestratie van GPU-as-a-Service toe voor verspreide werklasten en MiTACs MiCoreView-software biedt telemetrie op podniveau en een uniform overzicht van het datacenter. Samen met Infinia bestrijken deze componenten besturingssystemen, gegevenslevering, GPU-toewijzing en monitoring binnen dezelfde infrastructuurstack.

MiTAC werkt ook samen met AMD aan een toekomstig ORv3 44OU Helion Agentic AI Rack. Volgens MiTAC zal dit rack kunnen opschalen tot 32.768 AMD Zen 6-CPU-cores voor hyperscale- en bedrijfsomgevingen.

In de documentatie van Helion van AMD wordt een open referentieontwerp op rackschaal beschreven, gebaseerd op de standaarden van Open Compute Project (OCP). Het omvat hyperscaleconfiguraties met alleen CPU’s en enterpriseversies met een combinatie van CPU- en GPU-blades. De luchtgekoelde inferentieversie ondersteunt maximaal 16 Instinct MI350P-GPU’s. Klanten kunnen verschillende typen blades combineren om ze af te stemmen op uiteenlopende agentwerklasten. De enterpriseconfiguratie is bedoeld om de uitvoering van agenten en inferentie in één rack te combineren, anders dan Helios, dat is ontworpen voor training op grensverleggende schaal en grootschalige inferentie met een uniform GPU-domein dat verticaal kan opschalen.

In de praktijk betekent dit dat inzetbare lokale inferentie afhankelijk is van de samenwerking tussen het decodegeheugen en het prefillnetwerk, de opslagdoorvoer, de rackkoeling en de orkestratie. In het voorstel van MiTAC maken deze verbindingen, naast de GPU’s zelf, deel uit van de capaciteitsberekening.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.