AI-modeller og plattformer
MiTAC foreslår arkitektur for AI-inferens med to servere på SC26

Viktige punkterMiTAC deler prefill og decode på tvers av separate servere slik at hvert trinn blir…
Vis mer
- MiTAC deler prefill og decode på tvers av separate servere slik at hvert trinn blir provisjonert for sin egen arbeidsbelastning.
- Decode-serveren har 2 TB akseleratorminne for å kjøre modeller som Kimi K3 på stedet.
- MiTACs væskekjølte rack når 50 % høyere GPU-tetthet enn konvensjonelle utplasseringer.
MiTAC Computing avduket en arkitektur for AI-inferens med to servere sammen med Skymizer på SC26 i en kunngjøring 17. november 2026. Forslaget omfatter 2 TB akseleratorminne på dekodesiden i et system utviklet for å kjøre modeller som Kimi K3, med 2,8 billioner parametere, lokalt.
Arkitekturen inngår i en bredere produktportefølje som omfatter programvareorkestrering, væskekjøling med høy tetthet, lagring og en kommende AMD-rackløsning. Noen av støttesystemene demonstreres direkte på SC26, mens andre fortsatt er på planleggings- eller utviklingsstadiet. Kunngjøringen omfatter dermed både demonstrasjoner av tilgjengelige løsninger og framtidige infrastrukturdesign.
Separate servere for prefylling og dekoding
Den foreslåtte plattformen for prefylling er 8U G8825Z5, med AMD EPYC 9575F- eller 9755-prosessorer og Instinct MI350X-GPU-er. Den skal overføre den resulterende nøkkel-verdi-cachen til dekodeserveren via høyhastighetsnettverk. For dekoding kombinerer den foreslåtte luftkjølte 4U G4520G6-konfigurasjonen Intel Xeon 6-prosessorer med åtte Skymizer HTX301-4S-akseleratorkort, som hver har 256 GB minne.
Prefylling er den beregningsintensive fasen, mens dekoding er minneintensiv. Ved å skille dem skal virksomheter kunne dimensjonere hver fase etter den tilhørende arbeidsbelastningen. MiTAC sier at dekodesystemet for lokal drift er utviklet for komplekse agentbaserte arbeidsbelastninger som krever dyp resonnering. Arkitekturen flytter en del av skaleringsutfordringen fra å legge til GPU-er til å balansere akseleratorminnet mot nettverksforbindelsen mellom fasene.
Direkte demonstrasjoner av kjøling og datatetthet på SC26
MiTACs direkte demonstrasjoner viser hvordan inferensdesignet håndterer de fysiske kravene. En væskekjølt rackløsning på 52U rommer 12 G4826Z5-servere og 96 AMD Instinct MI355X-GPU-er. Ifølge selskapet gir denne konfigurasjonen 50 % høyere GPU-tetthet enn konvensjonelle installasjoner.
Et konseptbevis utviklet sammen med ZutaCore bruker vannfri, tofase direkte væskekjøling på G4826Z5, der dielektrisk væske fordamper direkte ved brikken. MiTAC oppgir støtte for termisk designeffekt over 4 000 W, varmefluks over 250 W/cm² og en annualisert delvis PUE-verdi på 1,03. Demonstrasjonen retter seg mot de termiske grensene som oppstår når akseleratorer med høyt effektforbruk samles i kompakte rack.
Lagringsdemonstrasjonen kombinerer DDN Infinia med sju GC68C-B8056-lagringsservere på 1U og er utviklet for å levere kontinuerlige AI-datastrømmer uten I/O-flaskehalser. Dette løser en annen utfordring enn kjøling: å redusere risikoen for at akseleratorene må vente på data i stedet for å behandle inferens- og agentbaserte arbeidsbelastninger.
Programvare og den kommende Helion-rackløsningen
Canonical Ubuntu leverer det sertifiserte operativsystemlaget, Rafay sørger for dynamisk orkestrering av GPU-som-tjeneste på tvers av distribuerte arbeidsbelastninger, og MiTACs MiCoreView-programvare gir telemetri på pod-nivå og samlet oversikt over datasenteret. Sammen med Infinia dekker disse komponentene operativsystemer, datalevering, GPU-allokering og overvåking i samme infrastrukturstakk.
MiTAC samarbeider også med AMD om en kommende ORv3 44OU Helion-rackløsning for agentbasert AI. Ifølge MiTAC vil den kunne skaleres til 32 768 CPU-kjerner av typen AMD Zen 6 for hyperskala- og bedriftsmiljøer.
AMDs Helion-dokumentasjon beskriver et åpent referansedesign på rackskala basert på standardene til Open Compute Project (OCP), med hyperskalakonfigurasjoner som bare bruker CPU-er og bedriftsversjoner med en blanding av CPU- og GPU-blader. Den luftkjølte inferensversjonen støtter opptil 16 Instinct MI350P-GPU-er, og kundene kan kombinere ulike bladtyper for å tilpasse løsningen til forskjellige agentbaserte arbeidsbelastninger. Bedriftskonfigurasjonen er ment å kombinere agentkjøring og inferens i ett rack, i motsetning til Helios, som er utviklet for trening i frontlinjeskala og inferens i stor skala med et enhetlig GPU-domene for skalering opp.
I praksis betyr dette at inferens som kan tas i bruk lokalt, avhenger av at minnet for dekoding fungerer sammen med nettverket for prefylling, lagringsgjennomstrømningen, rackkjølingen og orkestreringen. MiTACs forslag gjør disse forbindelsene til en del av kapasitetsberegningen, sammen med selve GPU-ene.












