KI-Modelle und Plattformen

MiTAC schlägt auf der SC26 eine KI-Inferenzarchitektur mit zwei Servern vor

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteMiTAC teilt Prefill und Decode auf separate Server auf, sodass jede Phase für ihre…
Mehr anzeigen
  • MiTAC teilt Prefill und Decode auf separate Server auf, sodass jede Phase für ihre eigene Arbeitslast bereitgestellt wird.
  • Der Decode-Server verfügt über 2 TB Beschleunigerspeicher, um Modelle wie Kimi K3 vor Ort auszuführen.
  • MiTACs flüssigkeitsgekühltes Rack erreicht eine um 50% höhere GPU-Dichte als herkömmliche Bereitstellungen.

MiTAC Computing stellte auf der SC26 eine KI-Inferenzarchitektur mit zwei Servern und Skymizer vor. In einer Mitteilung vom 17. November 2026 schlug das Unternehmen 2 TB Beschleunigerspeicher auf der Decode-Seite für ein System vor, das Modelle wie das Kimi K3 mit 2,8 Billionen Parametern lokal ausführen soll.

Die Architektur ist Teil eines umfassenderen Portfolios, das Software-Orchestrierung, Flüssigkeitskühlung mit hoher Packungsdichte, Speicher und einen kommenden AMD-Rack umfasst. Einige unterstützende Systeme werden auf der SC26 live vorgeführt, andere befinden sich noch in der Planung oder Entwicklung. Die Ankündigung umfasst somit sowohl aktuelle Demonstrationen als auch künftige Infrastrukturkonzepte.

Getrennte Server für Prefill und Decode

Die vorgeschlagene Prefill-Plattform ist der 8U-G8825Z5 mit AMD-EPYC-9575F- oder -9755-Prozessoren und Instinct-MI350X-GPUs. Der dabei erzeugte Key-Value-Cache würde über ein Hochgeschwindigkeitsnetzwerk an den Decode-Server übertragen. Für Decode umfasst die vorgeschlagene luftgekühlte 4U-Konfiguration G4520G6 Intel-Xeon-6-Prozessoren und acht Skymizer-HTX301-4S-Beschleunigerkarten mit jeweils 256 GB Speicher.

Prefill ist die rechenintensive Phase, während Decode besonders speicherintensiv ist. Durch die Trennung sollen Unternehmen jede Phase passend zu ihrer jeweiligen Arbeitslast dimensionieren können. MiTAC zufolge ist das lokale Decode-System für komplexe agentenbasierte Arbeitslasten mit tiefgreifendem Schlussfolgern ausgelegt. Die Architektur verlagert einen Teil der Skalierungsaufgabe: Statt weitere GPUs hinzuzufügen, muss das Verhältnis zwischen dem Speicher der Beschleuniger und der Netzwerkverbindung zwischen den Phasen abgestimmt werden.

Live-Demonstrationen zu Kühlung und Datendichte auf der SC26

Die Live-Demonstrationen von MiTAC zeigen, welche physischen Anforderungen mit diesem Inferenzkonzept verbunden sind. Ein flüssigkeitsgekühltes 52U-Rack vereint 12 G4826Z5-Server und 96 AMD Instinct MI355X GPUs. Laut MiTAC bietet diese Konfiguration eine um 50 % höhere GPU-Dichte als herkömmliche Installationen.

Ein Machbarkeitsnachweis mit ZutaCore nutzt beim G4826Z5 eine wasserlose, zweiphasige direkte Flüssigkeitskühlung, bei der die dielektrische Flüssigkeit unmittelbar am Chip verdampft. MiTAC gibt an, thermische Auslegungsleistungen von über 4.000 W, einen Wärmestrom von über 250 W/cm² und einen annualisierten partiellen Power Usage Effectiveness-Wert von 1,03 zu unterstützen. Die Demonstration zielt auf die thermischen Grenzen, die entstehen, wenn leistungsstarke Beschleuniger in dichten Racks konzentriert werden.

Die Speicherdemonstration kombiniert DDN Infinia mit sieben GC68C-B8056-1U-Speicherservern und soll kontinuierliche KI-Datenströme ohne I/O-Engpässe bereitstellen. Damit wird eine andere Einschränkung als die Kühlung adressiert: Das Risiko soll sinken, dass Beschleuniger auf Daten warten müssen, statt Inferenz- und Agenten-Workloads zu verarbeiten.

Software und das geplante Helion-Rack

Canonical Ubuntu stellt die zertifizierte Betriebssystemebene bereit, Rafay ergänzt eine dynamische Orchestrierung von GPU-as-a-Service über verteilte Arbeitslasten hinweg, und MiTACs Software MiCoreView bietet Telemetrie auf Pod-Ebene sowie einen einheitlichen Überblick über das Rechenzentrum. Zusammen mit Infinia decken diese Komponenten Betriebssysteme, Datenbereitstellung, GPU-Zuweisung und Überwachung innerhalb desselben Infrastruktur-Stacks ab.

MiTAC arbeitet außerdem mit AMD an einem geplanten ORv3-44OU-Helion-Agentic-AI-Rack. Laut MiTAC soll es für Hyperscale- und Unternehmensumgebungen auf 32.768 CPU-Kerne auf Basis von AMD Zen 6 skalierbar sein.

Die Helion-Dokumentation von AMD beschreibt ein offenes Referenzdesign auf Rack-Ebene, das auf den Standards des Open Compute Project (OCP) basiert und sowohl reine CPU-Konfigurationen für Hyperscale-Umgebungen als auch Unternehmensversionen mit einer Mischung aus CPU- und GPU-Blades umfasst. Die luftgekühlte Inferenzversion unterstützt bis zu 16 Instinct-MI350P-GPUs; Kunden können verschiedene Blade-Typen kombinieren, um sie an unterschiedliche agentenbasierte Arbeitslasten anzupassen. Die Unternehmenskonfiguration soll die Ausführung von Agenten und Inferenz in einem Rack vereinen. Helios hingegen ist für Training auf Frontier-Niveau und Inferenz in großem Maßstab mit einem einheitlichen GPU-Skalierungsbereich ausgelegt.

Für den praktischen Einsatz bedeutet das: Lokal bereitstellbare Inferenz hängt davon ab, dass der Decode-Speicher mit dem Prefill-Netzwerk, dem Speicherdurchsatz, der Rack-Kühlung und der Orchestrierung zusammenspielt. MiTACs Vorschlag berücksichtigt diese Verbindungen bei der Kapazitätsplanung ebenso wie die GPUs selbst.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.