Modele i platformy AI
MiTAC proponuje na SC26 architekturę wnioskowania AI opartą na dwóch serwerach

Kluczowe punktyMiTAC rozdziela prefill i decode na osobne serwery, aby każdy etap był provisionowany…
Zobacz więcej
- MiTAC rozdziela prefill i decode na osobne serwery, aby każdy etap był provisionowany pod własne obciążenie.
- Serwer decode dysponuje 2 TB pamięci akceleratora, aby uruchamiać modele takie jak Kimi K3 lokalnie.
- Chłodzona cieczą szafa MiTAC osiąga o 50% wyższą gęstość GPU niż konwencjonalne wdrożenia.
MiTAC Computing zaprezentowała na SC26 architekturę wnioskowania AI opartą na dwóch serwerach, opracowaną we współpracy z firmą Skymizer. W komunikacie z 17 listopada 2026 r. firma zaproponowała 2 TB pamięci akceleratorów po stronie dekodowania w systemie zaprojektowanym do lokalnego uruchamiania modeli, takich jak Kimi K3 z 2,8 biliona parametrów.
Architektura jest częścią szerszej oferty obejmującej orkiestrację oprogramowania, chłodzenie cieczą o wysokiej gęstości, pamięć masową i przygotowywaną szafę serwerową AMD. Niektóre systemy wspierające są prezentowane na żywo podczas SC26, inne zaś pozostają na etapie propozycji lub prac rozwojowych. Ogłoszenie łączy zatem bieżące demonstracje z projektami infrastruktury planowanymi na przyszłość.
Oddzielne serwery do wstępnego przetwarzania i dekodowania
Proponowaną platformą do wstępnego przetwarzania jest 8U G8825Z5, wyposażona w procesory AMD EPYC 9575F lub 9755 oraz układy GPU Instinct MI350X. Powstała pamięć podręczna klucz-wartość byłaby przesyłana do serwera dekodującego za pośrednictwem szybkiej sieci. W proponowanej, chłodzonej powietrzem konfiguracji 4U G4520G6 do dekodowania zastosowano procesory Intel Xeon 6 oraz osiem kart akceleratorowych Skymizer HTX301-4S, z których każda ma 256 GB pamięci.
Wstępne przetwarzanie jest etapem wymagającym dużej mocy obliczeniowej, natomiast dekodowanie intensywnie korzysta z pamięci. Ich rozdzielenie ma więc umożliwić przedsiębiorstwom dostosowanie zasobów dla każdego etapu do jego własnego obciążenia. MiTAC informuje, że lokalny system dekodujący został zaprojektowany z myślą o złożonych, agentowych obciążeniach wymagających zaawansowanego rozumowania. Architektura przenosi część problemu skalowania z dodawania układów GPU na zrównoważenie pamięci akceleratorów i połączenia sieciowego między etapami.
Pokazy chłodzenia i gęstości danych na żywo podczas SC26
Prezentowane na żywo przez MiTAC rozwiązania odpowiadają na fizyczne wymagania związane z opisaną architekturą wnioskowania. Chłodzona cieczą szafa 52U mieści 12 serwerów G4826Z5 i 96 układów GPU AMD Instinct MI355X. Według firmy taka konfiguracja zapewnia o 50% większą gęstość układów GPU niż konwencjonalne wdrożenia.
W ramach weryfikacji koncepcji opracowanej z firmą ZutaCore zastosowano w serwerze G4826Z5 bezwodne, dwufazowe chłodzenie bezpośrednie cieczą, w którym płyn dielektryczny odparowuje bezpośrednio przy układzie. MiTAC informuje o obsłudze mocy projektowej przekraczającej 4 000 W, strumienia ciepła powyżej 250 W/cm² oraz rocznego, częściowego wskaźnika efektywności wykorzystania energii na poziomie 1,03. Demonstracja dotyczy ograniczeń termicznych wynikających ze skupienia akceleratorów dużej mocy w gęsto upakowanych szafach.
W demonstracji pamięci masowej połączono DDN Infinia z siedmioma serwerami pamięci masowej GC68C-B8056 1U. Rozwiązanie ma zapewniać nieprzerwany przesył strumieni danych AI bez wąskich gardeł wejścia/wyjścia. Odpowiada to na inne ograniczenie niż chłodzenie: zmniejsza ryzyko, że akceleratory będą czekać na dane zamiast przetwarzać obciążenia związane z wnioskowaniem i pracą agentów.
Oprogramowanie i przygotowywana szafa Helion
Canonical Ubuntu zapewnia certyfikowaną warstwę systemu operacyjnego, Rafay dodaje dynamiczną orkiestrację GPU jako usługi dla rozproszonych obciążeń, a oprogramowanie MiCoreView firmy MiTAC udostępnia telemetrię na poziomie podów i ujednolicony wgląd w centrum danych. W połączeniu z Infinia te komponenty obejmują systemy operacyjne, dostarczanie danych, przydzielanie układów GPU i monitorowanie w ramach tego samego stosu infrastruktury.
MiTAC współpracuje również z AMD nad przygotowywaną szafą serwerową ORv3 44OU Helion do agentowej AI. Według MiTAC będzie ona skalować się do 32 768 rdzeni CPU AMD Zen 6, z myślą o środowiskach hiperskalowych i korporacyjnych.
Dokumentacja Helion firmy AMD opisuje otwarty projekt referencyjny na poziomie szafy serwerowej, oparty na standardach Open Compute Project (OCP), obejmujący konfiguracje hiperskalowe wyłącznie z procesorami CPU oraz wersje korporacyjne z serwerami kasetowymi wyposażonymi w procesory CPU i układy GPU. Chłodzona powietrzem wersja przeznaczona do wnioskowania obsługuje maksymalnie 16 układów GPU Instinct MI350P, a klienci mogą łączyć różne typy serwerów kasetowych, aby dostosować konfigurację do odmiennych obciążeń agentowych. Konfiguracja korporacyjna ma łączyć wykonywanie zadań przez agentów i wnioskowanie w jednej szafie, w przeciwieństwie do Helios, zaprojektowanego do trenowania modeli na granicy możliwości technologicznych oraz wnioskowania na dużą skalę w ramach ujednoliconej domeny skalowania w górę GPU.
W praktyce wdrożenie lokalnego wnioskowania zależy od współpracy pamięci dekodującej z siecią obsługującą wstępne przetwarzanie, przepustowością pamięci masowej, chłodzeniem szafy i orkiestracją. Propozycja MiTAC uwzględnia te powiązania w obliczeniach przepustowości, obok samych układów GPU.












