Modely a platformy AI
MiTAC navrhuje architekturu AI inference se dvěma servery pro SC26

Klíčové bodyMiTAC rozděluje prefill a decode na samostatné servery, takže každá fáze je dimenzována…
Zobrazit více
- MiTAC rozděluje prefill a decode na samostatné servery, takže každá fáze je dimenzována pro své vlastní zatížení.
- Server pro decode disponuje 2 TB paměti akcelerátorů, aby mohl provozovat modely jako Kimi K3 v místním prostředí.
- Kapalinou chlazený rack společnosti MiTAC dosahuje o 50 % vyšší hustoty GPU než konvenční nasazení.
Společnost MiTAC Computing na konferenci SC26 představila se společností Skymizer architekturu AI inference se dvěma servery. V oznámení ze 17. listopadu 2026 navrhla systém s 2 TB paměti akcelerátorů na straně dekódování, určený ke spouštění modelů, jako je Kimi K3 s 2,8 bilionu parametrů, v místním prostředí.
Architektura je součástí širšího portfolia zahrnujícího softwarovou orchestraci, kapalinové chlazení s vysokou hustotou, úložiště a připravovaný rack AMD. Některé podpůrné systémy jsou na SC26 předváděny živě, zatímco jiné jsou stále ve fázi návrhu nebo vývoje. Oznámení tak představuje kombinaci současných ukázek a návrhů infrastruktury pro budoucnost.
Oddělené servery pro fáze prefillu a dekódování
Navrhovanou platformou pro fázi prefillu je 8U G8825Z5 s procesory AMD EPYC 9575F nebo 9755 a GPU Instinct MI350X. Výslednou mezipaměť klíč–hodnota by do dekódovacího serveru přenášela vysokorychlostní síť. Navrhovaná vzduchem chlazená konfigurace 4U G4520G6 pro dekódování kombinuje procesory Intel Xeon 6 s osmi akceleračními kartami Skymizer HTX301-4S, z nichž každá má 256 GB paměti.
Prefill je výpočetně náročná fáze, zatímco dekódování je náročné na paměť. Jejich oddělení má podnikům umožnit přidělovat prostředky každé fázi podle jejích vlastních nároků. MiTAC uvádí, že její místní dekódovací systém je určen pro komplexní agentní úlohy vyžadující hloubkové uvažování. Architektura přesouvá část problému škálování od přidávání GPU k vyvažování kapacity paměti akcelerátorů a síťového propojení mezi jednotlivými fázemi.
Živé ukázky chlazení a datové hustoty na SC26
Živé ukázky společnosti MiTAC se zaměřují na fyzické nároky spojené s tímto návrhem inference. Rack s kapalinovým chlazením o výšce 52U integruje 12 serverů G4826Z5 a 96 GPU AMD Instinct MI355X. Podle společnosti tato konfigurace dosahuje o 50 % vyšší hustoty GPU než běžná řešení.
Ověření koncepce se společností ZutaCore využívá v serveru G4826Z5 dvoufázové přímé kapalinové chlazení bez vody, při němž se dielektrická kapalina odpařuje přímo na čipu. MiTAC uvádí podporu tepelných návrhových příkonů přesahujících 4 000 W, tepelného toku vyššího než 250 W/cm² a anualizovaného částečného ukazatele efektivity využití energie 1,03. Ukázka cílí na tepelné limity, které vznikají při soustředění výkonných akcelerátorů v hustě osazených rackách.
Ukázka úložiště kombinuje DDN Infinia se sedmi úložnými servery GC68C-B8056 1U a je navržena tak, aby zajišťovala nepřetržité datové toky pro AI bez úzkých míst při vstupu a výstupu dat. Řeší tak jiné omezení než chlazení: snižuje riziko, že akcelerátory budou čekat na data místo zpracovávání inference a agentních úloh.
Software a připravovaný rack Helion
Certifikovanou vrstvu operačního systému zajišťuje Canonical Ubuntu, Rafay přidává dynamickou orchestraci GPU jako služby napříč distribuovanými úlohami a software MiCoreView od společnosti MiTAC poskytuje telemetrii na úrovni podů a jednotný přehled o datovém centru. Spolu s Infinia tyto komponenty pokrývají operační systémy, dodávání dat, přidělování GPU i monitorování v rámci jednoho infrastrukturního souboru.
MiTAC také spolupracuje se společností AMD na připravovaném racku ORv3 44OU Helion Agentic AI Rack. Podle MiTAC bude možné jeho kapacitu rozšířit až na 32 768 jader CPU AMD Zen 6 pro hyperscaleová i podniková prostředí.
Dokumentace společnosti AMD k Helionu popisuje otevřený referenční návrh racku založený na standardech Open Compute Project (OCP), který zahrnuje hyperscaleové konfigurace pouze s CPU i podnikové verze kombinující výpočetní moduly CPU a GPU. Jeho vzduchem chlazená verze pro inferenci podporuje až 16 GPU Instinct MI350P a zákazníci mohou kombinovat různé typy modulů podle potřeb jednotlivých agentních úloh. Podniková konfigurace má spojit provádění agentních úloh a inferenci v jednom racku, na rozdíl od systému Helios, který je určen k trénování modelů v rozsahu nejpokročilejších systémů a k rozsáhlé inferenci s jednotnou škálovací doménou GPU.
V praxi to znamená, že nasaditelná inference v místním prostředí závisí na součinnosti paměti pro dekódování se sítí pro prefill, propustností úložiště, chlazením racku a orchestrací. Návrh MiTAC proto do výpočtu kapacity zahrnuje také tyto vzájemné vazby, nejen samotné GPU.












