AI-mallit ja alustat

MiTAC ehdottaa SC26-messuilla kahden palvelimen tekoälyn päättelyarkkitehtuuria

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatMiTAC jakaa prefillingin ja dekoodauksen erillisille palvelimille, jotta kukin vaihe…
Näytä lisää
  • MiTAC jakaa prefillingin ja dekoodauksen erillisille palvelimille, jotta kukin vaihe mitoitetaan omaa työkuormaansa varten.
  • Dekoodauspalvelimessa on 2 TB kiihdytinmuistia sellaisten mallien, kuten Kimi K3:n, ajamiseen paikallisesti.
  • MiTACin nesteytysjäähdytetty teline saavuttaa 50 % korkeamman GPU-tiheyden kuin tavanomaiset käyttöönotot.

MiTAC Computing esitteli SC26-messuilla 17. marraskuuta 2026 julkaistussa tiedotteessa yhdessä Skymizerin kanssa kahden palvelimen tekoälyn päättelyarkkitehtuurin. Ehdotetussa järjestelmässä dekoodauspalvelimen kiihdyttimien muistia olisi 2 Tt, ja se on suunniteltu ajamaan esimerkiksi 2,8 biljoonan parametrin Kimi K3 -mallia paikallisesti.

Arkkitehtuuri on osa laajempaa tuotevalikoimaa, johon kuuluu ohjelmistojen orkestrointia, suurtiheyksistä nestejäähdytystä, tallennustilaa ja tuleva AMD-räkki. Joitakin tukijärjestelmiä esitellään SC26-messuilla käytännössä, kun taas toiset ovat vielä ehdotus- tai kehitysvaiheessa. Tiedotteessa esitellään siis sekä tämänhetkisiä demonstraatioita että tulevaisuuden infrastruktuurimalleja.

Erilliset palvelimet esitäyttöön ja dekoodaukseen

Ehdotettu esitäyttöalusta on 8U G8825Z5, jossa käytetään AMD EPYC 9575F- tai 9755-prosessoreita ja Instinct MI350X -grafiikkasuorittimia. Syntynyt avain-arvovälimuisti siirrettäisiin dekoodauspalvelimelle nopean verkkoyhteyden kautta. Dekoodausta varten ehdotetussa ilmajäähdytteisessä 4U G4520G6 -kokoonpanossa yhdistyvät Intel Xeon 6 -prosessorit ja kahdeksan Skymizer HTX301-4S -kiihdytinkorttia, joissa kussakin on 256 Gt muistia.

Esitäyttö on laskentatehoa vaativa vaihe, kun taas dekoodaus kuluttaa paljon muistia. Vaiheiden erottelun tarkoituksena on antaa yrityksille mahdollisuus mitoittaa kumpikin omaa työkuormaansa varten. MiTACin mukaan paikallinen dekoodausjärjestelmä on suunniteltu monimutkaisiin, syvällistä päättelyä vaativiin agenttipohjaisiin työkuormiin. Arkkitehtuuri siirtää osan skaalauksen haasteesta grafiikkasuorittimien lisäämisestä siihen, että kiihdyttimien muisti ja vaiheiden välinen verkkoyhteys saadaan tasapainoon.

Jäähdytys ja datatiheys käytännössä SC26-messuilla

MiTACin käytännön demonstraatioissa käsitellään kyseisen päättelyratkaisun fyysisiä vaatimuksia. 52U:n nestejäähdytteisessä räkkikaapissa on 12 G4826Z5-palvelinta ja 96 AMD Instinct MI355X -grafiikkasuoritinta. Yhtiön mukaan kokoonpanon grafiikkasuoritintiheys on 50 % suurempi kuin tavanomaisissa ratkaisuissa.

ZutaCoren kanssa toteutettavassa konseptitodistuksessa käytetään G4826Z5-palvelimen vedetöntä, kaksivaiheista suoraa nestejäähdytystä, jossa dielektrinen neste höyrystyy suoraan sirun pinnalla. MiTAC ilmoittaa ratkaisun tukevan yli 4 000 W:n lämpösuunnittelutehoa, yli 250 W/cm²:n lämpövuota ja 1,03:n vuotuiseksi muunnettua osittaista energiankäytön tehokkuutta. Demonstraatiolla haetaan ratkaisua lämpörajoihin, joita tehokkaiden kiihdyttimien keskittäminen tiiviisiin räkkeihin aiheuttaa.

Tallennustilan demonstraatio yhdistää DDN Infinian seitsemään GC68C-B8056 1U -tallennuspalvelimeen, ja sen tarkoituksena on toimittaa jatkuvia tekoälyn datavirtoja ilman syöttö- ja tulostustoimintojen pullonkauloja. Näin vastataan jäähdytyksestä poikkeavaan rajoitteeseen: vähennetään riskiä, että kiihdyttimet joutuvat odottamaan dataa päättely- ja agenttityökuormien käsittelyn sijasta.

Ohjelmistot ja tuleva Helion-räkki

Canonical Ubuntu tarjoaa sertifioidun käyttöjärjestelmäkerroksen, Rafay lisää hajautettujen työkuormien dynaamisen GPU palveluna -orkestroinnin, ja MiTACin MiCoreView-ohjelmisto tuo käyttöön pod-tason telemetrian ja yhtenäisen näkymän datakeskukseen. Yhdessä Infinian kanssa nämä komponentit kattavat käyttöjärjestelmät, datan toimituksen, grafiikkasuorittimien kohdentamisen ja valvonnan samassa infrastruktuuripinossa.

MiTAC tekee myös AMD:n kanssa yhteistyötä tulevan ORv3 44OU Helion Agentic AI Rack -räkkijärjestelmän parissa. MiTACin mukaan se skaalautuu 32 768 AMD Zen 6 -prosessoriytimeen hyperskaalaus- ja yritysympäristöissä.

AMD:n Helion-dokumentaatiossa kuvataan avoin räkkitason vertailumalli, joka perustuu Open Compute Project (OCP) -standardeihin. Siihen kuuluu vain suorittimia käyttäviä hyperskaalauskokoonpanoja sekä yrityskäyttöön tarkoitettuja versioita, joissa yhdistellään suoritin- ja grafiikkasuoritinlapoja. Sen ilmajäähdytteinen päättelyversio tukee enintään 16:ta Instinct MI350P -grafiikkasuoritinta, ja asiakkaat voivat yhdistellä lapatyyppejä eri agenttityökuormien tarpeisiin. Yrityskokoonpanon tarkoituksena on yhdistää agenttien suoritus ja päättely samaan räkkikaappiin. Se eroaa Helios-järjestelmästä, joka on suunniteltu huipputason mallien koulutukseen ja laajamittaiseen päättelyyn yhtenäisellä, skaalautuvalla grafiikkasuoritinalueella.

Käytännössä paikallisesti käyttöönotettavan päättelyn toimivuus riippuu siitä, että dekoodauksen muisti toimii yhdessä esitäyttöverkon, tallennustilan läpimenon, räkkijäähdytyksen ja orkestroinnin kanssa. MiTACin ehdotuksessa nämä yhteydet otetaan huomioon kapasiteettia laskettaessa grafiikkasuorittimien rinnalla.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.