Modele și platforme AI
MiTAC propune la SC26 o arhitectură de inferență AI cu două servere

Puncte cheieMiTAC separă prefill și decode pe servere distincte, astfel încât fiecare etapă să fie…
Vezi mai mult
- MiTAC separă prefill și decode pe servere distincte, astfel încât fiecare etapă să fie dimensionată pentru propria încărcare de lucru.
- Serverul de decode dispune de 2 TB de memorie pentru acceleratoare pentru a rula modele precum Kimi K3 în regim on-premises.
- Rackul cu răcire lichidă al MiTAC atinge o densitate de GPU cu 50% mai mare decât implementările convenționale.
MiTAC Computing a prezentat la SC26, împreună cu Skymizer, o arhitectură de inferență AI cu două servere, într-un anunț din 17 noiembrie 2026, propunând 2 TB de memorie pentru acceleratoare pe partea de decodare într-un sistem conceput să ruleze local modele precum Kimi K3, cu 2,8 trilioane de parametri.
Arhitectura face parte dintr-un portofoliu mai amplu, care include orchestrarea software, răcirea cu lichid de înaltă densitate, stocarea și un rack AMD aflat în pregătire. Unele sisteme de susținere sunt demonstrate live la SC26, în timp ce altele sunt încă propuneri sau se află în dezvoltare, astfel că anunțul reunește demonstrații actuale și proiecte de infrastructură viitoare.
Servere separate pentru prefill și decodare
Platforma propusă pentru etapa de prefill este modelul 8U G8825Z5, echipat cu procesoare AMD EPYC 9575F sau 9755 și GPU-uri Instinct MI350X. Aceasta ar transfera memoria cache cheie-valoare rezultată către serverul de decodare printr-o rețea de mare viteză. Pentru decodare, configurația propusă, răcită cu aer și formată dintr-un șasiu 4U G4520G6, combină procesoare Intel Xeon 6 cu opt plăci acceleratoare Skymizer HTX301-4S, fiecare având 256 GB de memorie.
Etapa de prefill solicită intens capacitatea de calcul, în timp ce decodarea solicită intens memoria; separarea lor urmărește, așadar, să permită întreprinderilor să aloce resurse fiecăreia în funcție de propria sarcină de lucru. MiTAC afirmă că sistemul local de decodare este conceput pentru sarcini agentice complexe, care necesită raționament aprofundat. Arhitectura mută o parte din problema extinderii capacității: în loc să adauge GPU-uri, pune accentul pe echilibrarea memoriei acceleratoarelor cu conexiunea de rețea dintre etape.
Răcire și densitate a datelor demonstrate live la SC26
Demonstrațiile live ale MiTAC abordează cerințele fizice ale acestei arhitecturi de inferență. Un rack răcit cu lichid, de 52U, integrează 12 servere G4826Z5 și 96 de GPU-uri AMD Instinct MI355X; potrivit companiei, această configurație oferă o densitate a GPU-urilor cu 50% mai mare decât implementările convenționale.
O dovadă de concept realizată împreună cu ZutaCore folosește răcirea directă cu lichid, în două faze și fără apă, pe modelul G4826Z5, vaporizând fluidul dielectric direct la nivelul cipului. MiTAC declară că soluția acceptă puteri de proiectare termică de peste 4.000 W, un flux termic de peste 250 W/cm² și un indicator parțial al eficienței utilizării energiei de 1,03, anualizat. Demonstrația vizează limitele termice generate de concentrarea acceleratoarelor de mare putere în rackuri dense.
Demonstrația de stocare combină DDN Infinia cu șapte servere de stocare GC68C-B8056 de 1U și este concepută să furnizeze fluxuri continue de date pentru AI, fără blocaje de intrare/ieșire. Aceasta abordează o constrângere diferită de răcire: reducerea riscului ca acceleratoarele să aștepte date în loc să proceseze sarcini de inferență și de tip agentic.
Software și rackul Helion aflat în pregătire
Canonical Ubuntu furnizează stratul certificat al sistemului de operare, Rafay adaugă orchestrarea dinamică a GPU-urilor ca serviciu pentru sarcini de lucru distribuite, iar software-ul MiCoreView al MiTAC oferă telemetrie la nivel de pod și o imagine unificată asupra centrului de date. Împreună cu Infinia, aceste componente acoperă sistemele de operare, furnizarea datelor, alocarea GPU-urilor și monitorizarea în cadrul aceleiași stive de infrastructură.
MiTAC colaborează, de asemenea, cu AMD la un rack ORv3 44OU Helion Agentic AI aflat în pregătire. Potrivit MiTAC, acesta va putea fi extins până la 32.768 de nuclee CPU AMD Zen 6, pentru medii hiperscalabile și de întreprindere.
Documentația Helion de la AMD descrie un design de referință deschis, la scară de rack, construit pe baza standardelor Open Compute Project (OCP), cu configurații hiperscalabile doar cu CPU și versiuni pentru întreprinderi care combină lame CPU și GPU. Versiunea sa de inferență răcită cu aer acceptă până la 16 GPU-uri Instinct MI350P, iar clienții pot combina tipuri diferite de lame pentru a le adapta diverselor sarcini de lucru agentice. Configurația pentru întreprinderi este concepută să reunească execuția agenților și inferența într-un singur rack, spre deosebire de Helios, destinat antrenării la scară de vârf și inferenței la scară largă, cu un domeniu GPU unificat de extindere pe verticală.
În practică, inferența implementabilă local depinde de funcționarea în tandem a memoriei pentru decodare și a rețelei pentru prefill, a debitului de stocare, a răcirii rackului și a orchestrării; propunerea MiTAC include aceste conexiuni în calculul capacității, alături de GPU-uri.












