AI-modeller och plattformar
MiTAC föreslår tvåserversarkitektur för AI-inferens vid SC26

Viktiga punkterMiTAC delar upp prefill och decode över separata servrar så att varje steg tilldelas…
Visa mer
- MiTAC delar upp prefill och decode över separata servrar så att varje steg tilldelas resurser för sin egen arbetsbelastning.
- Decode-servern har 2 TB accelerator-minne för att köra modeller som Kimi K3 på plats.
- MiTAC:s vätskekylda rack når 50 % högre GPU-densitet än konventionella distributioner.
MiTAC Computing presenterade en tvåserversarkitektur för AI-inferens tillsammans med Skymizer vid SC26 i ett tillkännagivande den 17 november 2026. Förslaget omfattar 2 TB acceleratorminne på avkodningssidan i ett system som är utformat för att köra modeller som Kimi K3 med 2,8 biljoner parametrar i egna lokaler.
Arkitekturen ingår i en bredare produktportfölj som omfattar programvaruorkestrering, vätskekylning med hög densitet, lagring och en kommande AMD-racklösning. Vissa stödsystem demonstreras live vid SC26, medan andra fortfarande är förslag eller under utveckling. Tillkännagivandet omfattar därmed både pågående demonstrationer och framtida infrastrukturlösningar.
Separata servrar för förifyllning och avkodning
Den föreslagna plattformen för förifyllning är 8U G8825Z5, med AMD EPYC 9575F- eller 9755-processorer och Instinct MI350X-grafikprocessorer. Den skulle överföra den resulterande nyckel-värdecachen till avkodningsservern via ett höghastighetsnätverk. För avkodning kombinerar den föreslagna luftkylda 4U-konfigurationen G4520G6 Intel Xeon 6-processorer med åtta Skymizer HTX301-4S-acceleratorkort, som vart och ett har 256 GB minne.
Förifyllning är det beräkningsintensiva steget, medan avkodning är minnesintensivt. Genom att separera dem vill man låta företag dimensionera varje steg efter dess specifika arbetsbelastning. Enligt MiTAC är avkodningssystemet för drift i egna lokaler utformat för komplexa, agentbaserade arbetsbelastningar som kräver djupgående resonemang. Arkitekturen flyttar en del av skalningsutmaningen från att lägga till grafikprocessorer till att balansera acceleratorminnet mot nätverksanslutningen mellan stegen.
Livevisningar av kylning och datatäthet vid SC26
MiTACs livedemonstrationer visar hur de fysiska kraven kring inferenslösningen hanteras. Ett vätskekylt rack på 52U rymmer 12 G4826Z5-servrar och 96 AMD Instinct MI355X-grafikprocessorer. Enligt företaget ger konfigurationen 50 % högre GPU-täthet än konventionella installationer.
Ett koncepttest med ZutaCore använder vattenfri tvåfasig direktvätskekylning i G4826Z5 och förångar dielektrisk vätska direkt vid kretsen. MiTAC uppger att lösningen stöder en termisk designeffekt på över 4 000 W, ett värmeflöde på över 250 W/cm² och en annualiserad partiell PUE på 1,03. Demonstrationen riktar in sig på de termiska begränsningar som uppstår när högeffektsacceleratorer koncentreras i tätt packade rack.
Lagringsdemonstrationen kombinerar DDN Infinia med sju GC68C-B8056-lagringsservrar på 1U och är utformad för att leverera kontinuerliga AI-dataströmmar utan I/O-flaskhalsar. Det hanterar en annan begränsning än kylning: att minska risken för att acceleratorer får vänta på data i stället för att bearbeta inferens- och agentarbetsbelastningar.
Programvara och det kommande Helion-racket
Canonical Ubuntu tillhandahåller det certifierade operativsystemslagret, Rafay lägger till dynamisk orkestrering av GPU som tjänst för distribuerade arbetsbelastningar och MiTACs programvara MiCoreView ger telemetri på poddnivå och en samlad överblick över datacentret. Tillsammans med Infinia täcker dessa komponenter operativsystem, dataleverans, GPU-allokering och övervakning i samma infrastrukturstack.
MiTAC samarbetar också med AMD om ett kommande ORv3 44OU Helion Agentic AI Rack. Enligt MiTAC kommer det att kunna skalas upp till 32 768 AMD Zen 6-processorkärnor för hyperskaliga miljöer och företagsmiljöer.
I AMD:s Helion-dokumentation beskrivs en öppen referensdesign på racknivå som bygger på standarder från Open Compute Project (OCP), med hyperskaliga konfigurationer som enbart använder processorer samt företagsversioner med en blandning av CPU- och GPU-blad. Den luftkylda versionen för inferens stöder upp till 16 Instinct MI350P-grafikprocessorer, och kunder kan kombinera olika bladtyper för att passa olika agentarbetsbelastningar. Företagskonfigurationen är avsedd att förena körning av agenter och inferens i ett rack, till skillnad från Helios, som är byggt för träning i frontierskala och inferens i stor skala med en enhetlig GPU-domän för uppskalning.
Den praktiska slutsatsen är att inferens som kan driftsättas i egna lokaler är beroende av att avkodningsminnet samverkar med nätverket för förifyllning, lagringskapaciteten, rackkylningen och orkestreringen. MiTACs förslag räknar därför in dessa kopplingar i kapacitetsberäkningen, tillsammans med själva grafikprocessorerna.












