Partnerskap
SambaNova kombinerer Intel-GPU-er med SN50 for luftkjølt AI-inferens

Viktige punkterSambaNova deler opp inferensen slik at Intel-GPU-er håndterer prefill mens RDUs…
Vis mer
- SambaNova deler opp inferensen slik at Intel-GPU-er håndterer prefill mens RDUs håndterer minnebundet dekoding.
- Standard Ethernet og åpen serveringsprogramvare kobler de to akseleratorpoolene sammen uten proprietære sammenkoblinger.
- Det luftkjølte designet retter seg mot eksisterende datasentre der ettermontering av væskekjøling er upraktisk.
SambaNova Systems kunngjorde 15. november 2026 at selskapet og Intel hadde demonstrert et luftkjølt AI-inferenssystem på SuperComputing 2026. Systemet kjørte GLM-5.3 på tvers av fire Intel GPU D-Series-akseleratorer for behandling av spørringer og en SambaRack SN50 for generering av tokener.
Systemet deler inferensen inn i prefill, som behandler en innkommende spørring og bygger opp hurtigbufferen for nøkkel-verdi-par (KV), og dekoding, som genererer utdata-tokener. Intels maskinvare håndterer den beregningstunge prefill-fasen, mens Sambanovas femte generasjon reconfigurerbare dataflytenheter (RDUs) håndterer den minnebåndbreddebegrensede dekodingen. SambaNova presenterer det innspilte systemet som et design kundene vil kunne ta i bruk i eksisterende datasentre.
Ulike typer maskinvare for hver inferensfase
Demonstrasjonen er langt mindre enn Intels referansekonfigurasjon. SambaNova beskriver et referanserack i D-Series med 80 GPU-er, som leverer en maksimal FP4-ytelse på 208 petaflops og har fra 12 TB til 38 TB minne, avhengig av konfigurasjonen. Disse tallene gjelder det større prefill-designet; de er ikke ytelsesmålinger fra SuperComputing-oppsettet.
Intels produktspesifikasjoner for D270 oppgir en luftkjølt GPU på 350 W med 32 Xe3P-kjerner, 256 XMX-matriseenheter, standard PCIe 5.0 og opptil 480 GB LPDDR5X-minne per kort. Standardformatet er utformet for å fungere i eksisterende servere uten proprietære nettverksløsninger eller spesialbygde systemer.
Hver SambaRack SN50 inneholder 16 RDUs og krever vanligvis 20 kW for inferens. Opptil 16 rack kan fungere som én enhet med opptil 256 RDUs, slik at en arbeidsbelastning fordeles på rack med lavere effektbehov. SambaNova sier at dataflytarkitekturen deres kjeder sammen modelloperasjoner på tvers av brikker, i stedet for å sende data tilbake til minnet mellom separate GPU-kjerner, noe som reduserer minnetrafikken og ekstrakostnadene ved å starte kjerner på nytt under generering av tokener.
Åpen programvare kobler sammen maskinvarepoolene
NVIDIA Dynamo ligger foran de to akseleratorpoolene og er utviklet for å rute hver forespørsel til maskinvaren som allerede har den tilhørende konteksten i hurtigbufferen. vLLM håndterer både Intel-prefillbanen og SN50-dekodingsbanen, mens NIXL overfører KV-hurtigbufferdata via UCX/RDMA med standard RoCEv2-Ethernet. Overføringen kan dermed bruke et etablert Ethernet-nettverk i stedet for en proprietær sammenkobling mellom de ulike maskinvaretypene.
SN50 beholder KV-prefikser fra tidligere spørringer i tilkoblet DDR-minne, mens SRAM og HBM på brikken støtter aktiv dekoding. Når en agent går tilbake til en samtale eller en delt kontekst, kan hurtigbufferbevisst ruting sende forespørselen til SN50-enheten som har dette prefikset, slik at bare nytt innhold går gjennom GPU-prefill og mindre KV-tilstand overføres over nettverket. SambaNova sier at disse treffene i hurtigbufferen forkorter tiden til første token og frigjør GPU-kapasitet til nye forespørsler. Innlegget beskriver disse fordelene uten å rapportere målte resultater for forsinkelse eller gjennomstrømning fra den kombinerte demonstrasjonen.
Skalering på eksisterende luftkjølte anlegg
Denne oppdelingen gjør det også mulig for leverandører å utvide kapasiteten for hver fase uavhengig av den andre. Lengre spørringer kan kreve større prefill-kapasitet i D-Series, mens agenter som genererer lengre svar, kan ha behov for mer SN50-dekodingskapasitet, uten at den andre kapasitetspoolen må utvides tilsvarende.
Denne fleksibiliteten er rettet mot operatører med anlegg som det er vanskelig å tilpasse til væskekjølte systemer. Intel sier at D270s standard PCIe-format og luftkjølte effektprofil på 350 W er utformet for eksisterende rack uten behov for å bygge om til spesialisert væskekjøling. Sammen med SN50s effektprofil på racknivå skal designet gjøre det mulig å øke inferenskapasiteten i etablerte, luftkjølte miljøer.
Det viktigste ved demonstrasjonen er integrasjonen: To akseleratorarkitekturer, koblet sammen med mye brukt programvare for modellservering og standard Ethernet, kan tilordnes ulike inferensfaser og skaleres etter arbeidsbelastningen. For leverandører som står overfor faste grenser for strømforsyning og kjøling, gjenstår spørsmålet om produksjonsarbeidsbelastninger gir tilstrekkelig utbytte av de beskrevne fordelene med hurtigbufring og utnyttelse til å forsvare driften av begge kapasitetspoolene.












