Modele i platformy AI

MiTAC proponuje na SC26 architekturę wnioskowania AI opartą na dwóch serwerach

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyMiTAC rozdziela prefill i decode na osobne serwery, aby każdy etap był provisionowany…
Zobacz więcej
  • MiTAC rozdziela prefill i decode na osobne serwery, aby każdy etap był provisionowany pod własne obciążenie.
  • Serwer decode dysponuje 2 TB pamięci akceleratora, aby uruchamiać modele takie jak Kimi K3 lokalnie.
  • Chłodzona cieczą szafa MiTAC osiąga o 50% wyższą gęstość GPU niż konwencjonalne wdrożenia.

MiTAC Computing zaprezentowała na SC26 architekturę wnioskowania AI opartą na dwóch serwerach, opracowaną we współpracy z firmą Skymizer. W komunikacie z 17 listopada 2026 r. firma zaproponowała 2 TB pamięci akceleratorów po stronie dekodowania w systemie zaprojektowanym do lokalnego uruchamiania modeli, takich jak Kimi K3 z 2,8 biliona parametrów.

Architektura jest częścią szerszej oferty obejmującej orkiestrację oprogramowania, chłodzenie cieczą o wysokiej gęstości, pamięć masową i przygotowywaną szafę serwerową AMD. Niektóre systemy wspierające są prezentowane na żywo podczas SC26, inne zaś pozostają na etapie propozycji lub prac rozwojowych. Ogłoszenie łączy zatem bieżące demonstracje z projektami infrastruktury planowanymi na przyszłość.

Oddzielne serwery do wstępnego przetwarzania i dekodowania

Proponowaną platformą do wstępnego przetwarzania jest 8U G8825Z5, wyposażona w procesory AMD EPYC 9575F lub 9755 oraz układy GPU Instinct MI350X. Powstała pamięć podręczna klucz-wartość byłaby przesyłana do serwera dekodującego za pośrednictwem szybkiej sieci. W proponowanej, chłodzonej powietrzem konfiguracji 4U G4520G6 do dekodowania zastosowano procesory Intel Xeon 6 oraz osiem kart akceleratorowych Skymizer HTX301-4S, z których każda ma 256 GB pamięci.

Wstępne przetwarzanie jest etapem wymagającym dużej mocy obliczeniowej, natomiast dekodowanie intensywnie korzysta z pamięci. Ich rozdzielenie ma więc umożliwić przedsiębiorstwom dostosowanie zasobów dla każdego etapu do jego własnego obciążenia. MiTAC informuje, że lokalny system dekodujący został zaprojektowany z myślą o złożonych, agentowych obciążeniach wymagających zaawansowanego rozumowania. Architektura przenosi część problemu skalowania z dodawania układów GPU na zrównoważenie pamięci akceleratorów i połączenia sieciowego między etapami.

Pokazy chłodzenia i gęstości danych na żywo podczas SC26

Prezentowane na żywo przez MiTAC rozwiązania odpowiadają na fizyczne wymagania związane z opisaną architekturą wnioskowania. Chłodzona cieczą szafa 52U mieści 12 serwerów G4826Z5 i 96 układów GPU AMD Instinct MI355X. Według firmy taka konfiguracja zapewnia o 50% większą gęstość układów GPU niż konwencjonalne wdrożenia.

W ramach weryfikacji koncepcji opracowanej z firmą ZutaCore zastosowano w serwerze G4826Z5 bezwodne, dwufazowe chłodzenie bezpośrednie cieczą, w którym płyn dielektryczny odparowuje bezpośrednio przy układzie. MiTAC informuje o obsłudze mocy projektowej przekraczającej 4 000 W, strumienia ciepła powyżej 250 W/cm² oraz rocznego, częściowego wskaźnika efektywności wykorzystania energii na poziomie 1,03. Demonstracja dotyczy ograniczeń termicznych wynikających ze skupienia akceleratorów dużej mocy w gęsto upakowanych szafach.

W demonstracji pamięci masowej połączono DDN Infinia z siedmioma serwerami pamięci masowej GC68C-B8056 1U. Rozwiązanie ma zapewniać nieprzerwany przesył strumieni danych AI bez wąskich gardeł wejścia/wyjścia. Odpowiada to na inne ograniczenie niż chłodzenie: zmniejsza ryzyko, że akceleratory będą czekać na dane zamiast przetwarzać obciążenia związane z wnioskowaniem i pracą agentów.

Oprogramowanie i przygotowywana szafa Helion

Canonical Ubuntu zapewnia certyfikowaną warstwę systemu operacyjnego, Rafay dodaje dynamiczną orkiestrację GPU jako usługi dla rozproszonych obciążeń, a oprogramowanie MiCoreView firmy MiTAC udostępnia telemetrię na poziomie podów i ujednolicony wgląd w centrum danych. W połączeniu z Infinia te komponenty obejmują systemy operacyjne, dostarczanie danych, przydzielanie układów GPU i monitorowanie w ramach tego samego stosu infrastruktury.

MiTAC współpracuje również z AMD nad przygotowywaną szafą serwerową ORv3 44OU Helion do agentowej AI. Według MiTAC będzie ona skalować się do 32 768 rdzeni CPU AMD Zen 6, z myślą o środowiskach hiperskalowych i korporacyjnych.

Dokumentacja Helion firmy AMD opisuje otwarty projekt referencyjny na poziomie szafy serwerowej, oparty na standardach Open Compute Project (OCP), obejmujący konfiguracje hiperskalowe wyłącznie z procesorami CPU oraz wersje korporacyjne z serwerami kasetowymi wyposażonymi w procesory CPU i układy GPU. Chłodzona powietrzem wersja przeznaczona do wnioskowania obsługuje maksymalnie 16 układów GPU Instinct MI350P, a klienci mogą łączyć różne typy serwerów kasetowych, aby dostosować konfigurację do odmiennych obciążeń agentowych. Konfiguracja korporacyjna ma łączyć wykonywanie zadań przez agentów i wnioskowanie w jednej szafie, w przeciwieństwie do Helios, zaprojektowanego do trenowania modeli na granicy możliwości technologicznych oraz wnioskowania na dużą skalę w ramach ujednoliconej domeny skalowania w górę GPU.

W praktyce wdrożenie lokalnego wnioskowania zależy od współpracy pamięci dekodującej z siecią obsługującą wstępne przetwarzanie, przepustowością pamięci masowej, chłodzeniem szafy i orkiestracją. Propozycja MiTAC uwzględnia te powiązania w obliczeniach przepustowości, obok samych układów GPU.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.