Modelli e piattaforme di IA
MiTAC propone a SC26 un’architettura di inferenza IA a due server

Punti chiaveMiTAC separa prefill e decode su server distinti in modo che ogni fase venga…
Vedi di più
- MiTAC separa prefill e decode su server distinti in modo che ogni fase venga dimensionata per il proprio carico di lavoro.
- Il server di decode dispone di 2 TB di memoria per acceleratori per eseguire modelli come Kimi K3 on premises.
- Il rack raffreddato a liquido di MiTAC raggiunge una densità di GPU superiore del 50% rispetto alle implementazioni convenzionali.
In un annuncio del 17 novembre 2026, MiTAC Computing ha presentato a SC26, insieme a Skymizer, un’architettura di inferenza IA a due server, proponendo 2 TB di memoria acceleratrice sul lato decode per un sistema progettato per eseguire in locale modelli come Kimi K3, con 2.8 trilioni di parametri.
L’architettura rientra in un portafoglio più ampio che comprende orchestrazione software, raffreddamento a liquido ad alta densità, sistemi di archiviazione e un rack AMD di prossima uscita. Alcuni sistemi di supporto vengono presentati dal vivo a SC26, mentre altri sono ancora proposte o in fase di sviluppo: l’annuncio riunisce quindi dimostrazioni attuali e progetti di infrastrutture future.
Server separati per prefill e decode
La piattaforma proposta per il prefill è il modello 8U G8825Z5, dotato di processori AMD EPYC 9575F o 9755 e GPU Instinct MI350X. Trasferirebbe la cache chiave-valore risultante al server di decode tramite una rete ad alta velocità. Per il decode, la configurazione proposta, raffreddata ad aria e in formato 4U, combina processori Intel Xeon 6 con otto schede acceleratrici Skymizer HTX301-4S, ciascuna dotata di 256 GB di memoria.
Il prefill è la fase ad alta intensità di calcolo, mentre il decode è ad alta intensità di memoria; separarli dovrebbe quindi consentire alle aziende di dimensionare le risorse per ciascuna fase in base al relativo carico di lavoro. MiTAC afferma che il sistema di decode on-premise è progettato per carichi di lavoro agentici complessi, che richiedono ragionamenti approfonditi. L’architettura sposta parte del problema di scalabilità dall’aggiunta di GPU al bilanciamento tra la memoria degli acceleratori e la connessione di rete tra le due fasi.
Raffreddamento dal vivo e densità dei dati a SC26
Le dimostrazioni dal vivo di MiTAC affrontano le esigenze fisiche legate a questo progetto di inferenza. Un rack raffreddato a liquido da 52U integra 12 server G4826Z5 e 96 GPU AMD Instinct MI355X; secondo l’azienda, questa configurazione offre una densità di GPU superiore del 50% rispetto alle installazioni convenzionali.
Una prova di fattibilità condotta con ZutaCore utilizza sul modello G4826Z5 un sistema di raffreddamento diretto a liquido, bifase e senza acqua, che vaporizza il fluido dielettrico direttamente sul chip. MiTAC dichiara di supportare potenze di progettazione termica superiori a 4,000W, un flusso termico superiore a 250W/cm² e un indice parziale di efficienza nell’uso dell’energia annualizzato pari a 1.03. La dimostrazione affronta i limiti termici causati dalla concentrazione di acceleratori ad alta potenza all’interno di rack ad alta densità.
La dimostrazione di archiviazione abbina DDN Infinia a sette server di storage GC68C-B8056 da 1U ed è progettata per fornire flussi continui di dati IA senza colli di bottiglia di I/O. Si tratta di un vincolo diverso da quello del raffreddamento: ridurre il rischio che gli acceleratori restino in attesa dei dati invece di elaborare inferenze e carichi di lavoro agentici.
Software e rack Helion di prossima uscita
Canonical Ubuntu fornisce il livello del sistema operativo certificato, Rafay aggiunge l’orchestrazione dinamica delle GPU come servizio per i carichi di lavoro distribuiti e il software MiCoreView di MiTAC offre telemetria a livello di pod e una visibilità unificata del data center. Insieme a Infinia, questi componenti coprono sistemi operativi, distribuzione dei dati, allocazione delle GPU e monitoraggio all’interno dello stesso stack infrastrutturale.
MiTAC collabora inoltre con AMD allo sviluppo del rack ORv3 44OU Helion Agentic AI, di prossima uscita. Secondo MiTAC, il sistema arriverà a 32,768 core CPU AMD Zen 6 per ambienti hyperscale e aziendali.
La documentazione di Helion di AMD descrive un progetto di riferimento aperto su scala rack, basato sugli standard Open Compute Project (OCP), con configurazioni hyperscale dotate solo di CPU e versioni aziendali che combinano blade CPU e GPU. La versione di inferenza raffreddata ad aria supporta fino a 16 GPU Instinct MI350P e consente ai clienti di combinare diversi tipi di blade per adattarsi ai vari carichi di lavoro agentici. La configurazione aziendale è pensata per riunire in un unico rack l’esecuzione degli agenti e l’inferenza, a differenza di Helios, progettato per l’addestramento di modelli di frontiera e l’inferenza su larga scala con un dominio GPU unificato in architettura scale-up.
In pratica, l’inferenza on-premise distribuibile dipende dal funzionamento coordinato della memoria di decode con la rete di prefill, la velocità effettiva dello storage, il raffreddamento del rack e l’orchestrazione; la proposta di MiTAC include queste interdipendenze nel calcolo della capacità, insieme alle GPU stesse.












