AI-modeller og platforme
MiTAC foreslår arkitektur med to servere til AI-inferens på SC26

NøglepunkterMiTAC opdeler prefill og decode på separate servere, så hvert trin dimensioneres til…
Vis mere
- MiTAC opdeler prefill og decode på separate servere, så hvert trin dimensioneres til sin egen arbejdsbelastning.
- Decode-serveren har 2 TB acceleratorhukommelse til at køre modeller som Kimi K3 on-premises.
- MiTACs væskekølede rack opnår 50 % højere GPU-tæthed end konventionelle installationer.
MiTAC Computing præsenterede en arkitektur med to servere til AI-inferens sammen med Skymizer på SC26 i en meddelelse den 17. november 2026. Forslaget omfatter 2 TB acceleratorhukommelse på afkodningssiden til et system, der er udviklet til at køre modeller som Kimi K3 med 2,8 billioner parametre lokalt.
Arkitekturen indgår i en bredere produktportefølje, der spænder over softwareorkestrering, væskekøling med høj tæthed, lagring og en kommende AMD-rackløsning. Nogle af de understøttende systemer demonstreres live på SC26, mens andre stadig er på forslagsstadiet eller under udvikling. Meddelelsen omfatter derfor både aktuelle demonstrationer og fremtidige infrastrukturløsninger.
Separate servere til præfyldning og afkodning
Den foreslåede præfyldningsplatform er 8U G8825Z5 med AMD EPYC 9575F- eller 9755-processorer og Instinct MI350X-GPU’er. Den overfører den resulterende nøgleværdicache til afkodningsserveren via et højhastighedsnetværk. Til afkodning kombinerer den foreslåede luftkølede 4U G4520G6-konfiguration Intel Xeon 6-processorer med otte Skymizer HTX301-4S-acceleratorkort, som hver har 256 GB hukommelse.
Præfyldning er den beregningstunge fase, mens afkodning er hukommelsestung. Ved at adskille faserne skal virksomheder kunne dimensionere hver af dem efter den tilhørende arbejdsbelastning. Ifølge MiTAC er det lokale afkodningssystem udviklet til komplekse agentbaserede arbejdsbelastninger, der kræver dyb ræsonnering. Arkitekturen flytter en del af skaleringsproblemet fra at tilføje GPU’er til at afstemme acceleratorhukommelsen med netværksforbindelsen mellem faserne.
Live-demonstrationer af køling og datatæthed på SC26
MiTACs live-demonstrationer tager fat på de fysiske krav, der følger med inferensdesignet. En væskekølet 52U-rackløsning rummer 12 G4826Z5-servere og 96 AMD Instinct MI355X-GPU’er. Ifølge virksomheden giver konfigurationen 50 % højere GPU-tæthed end konventionelle installationer.
Et proof of concept med ZutaCore bruger vandfri, tofase direkte væskekøling i G4826Z5 og fordamper dielektrisk væske direkte ved chippen. MiTAC oplyser, at løsningen understøtter termiske designeffekter på over 4.000 W, en varmeflux på over 250 W/cm² og en annualiseret delvis PUE på 1,03. Demonstrationen retter sig mod de termiske grænser, der opstår, når acceleratorer med højt effektforbrug samles i tætpakkede racks.
Lagringsdemonstrationen kombinerer DDN Infinia med syv GC68C-B8056 1U-lagringsservere og er udviklet til at levere kontinuerlige AI-datastrømme uden I/O-flaskehalse. Det adresserer en anden begrænsning end køling: at mindske risikoen for, at acceleratorer venter på data i stedet for at behandle inferens- og agentbaserede arbejdsbelastninger.
Software og den kommende Helion-rackløsning
Canonical Ubuntu leverer det certificerede operativsystemlag, Rafay tilføjer dynamisk orkestrering af GPU som tjeneste på tværs af distribuerede arbejdsbelastninger, og MiTACs MiCoreView-software giver telemetri på podniveau og samlet overblik over datacentret. Sammen med Infinia dækker disse komponenter operativsystemer, datalevering, GPU-allokering og overvågning i samme infrastrukturlag.
MiTAC samarbejder også med AMD om den kommende ORv3 44OU Helion Agentic AI Rack. Ifølge MiTAC kan den skaleres til 32.768 CPU-kerner af typen AMD Zen 6 til hyperscale- og virksomhedsmiljøer.
AMDs dokumentation for Helion beskriver et åbent referenzdesign på rackniveau, der bygger på standarderne fra Open Compute Project (OCP), med hyperscale-konfigurationer, der kun bruger CPU’er, og virksomhedsversioner, der kombinerer CPU- og GPU-blade. Den luftkølede version til inferens understøtter op til 16 Instinct MI350P-GPU’er, og kunderne kan kombinere forskellige bladtyper, så de passer til forskellige agentbaserede arbejdsbelastninger. Virksomhedskonfigurationen skal samle agentkørsel og inferens i ét rack, i modsætning til Helios, der er udviklet til træning i frontier-skala og inferens i stor skala med et samlet GPU-domæne til skalering op.
Den praktiske konsekvens er, at inferens, der kan implementeres lokalt, afhænger af, at afkodningshukommelsen fungerer sammen med præfyldningsnetværket, lagerets gennemløbshastighed, rackkølingen og orkestreringen. MiTACs forslag gør disse forbindelser til en del af kapacitetsberegningen på linje med selve GPU’erne.












