Partnerskaber
SambaNova kombinerer Intel-GPU’er med SN50 til luftkølet AI-inferens

NøglepunkterSambaNova opdeler inferens, så Intel GPU'er håndterer prefill, mens dets RDU'er…
Vis mere
- SambaNova opdeler inferens, så Intel GPU'er håndterer prefill, mens dets RDU'er håndterer hukommelsesbundet decode.
- Standard Ethernet og åben serving-software forbinder de to acceleratorpuljer uden proprietære interconnect-forbindelser.
- Det luftkølede design er rettet mod eksisterende datacentre, hvor eftermontering af væskekøling er upraktisk.
SambaNova Systems meddelte den 15. november 2026, at virksomheden og Intel havde demonstreret et luftkølet AI-inferenssystem på SuperComputing 2026. Systemet kørte GLM-5.3 på tværs af fire Intel GPU D-Series-acceleratorer til promptbehandling og en SambaRack SN50 til generering af tokens.
Systemet opdeler inferens i præfyldning, der behandler en indgående prompt og opbygger dens key-value-cache (KV-cache), og afkodning, der genererer outputtokens. Intels hardware håndterer den beregningstunge præfyldning, mens SambaNovas femte generation af omkonfigurerbare dataflowenheder (RDU’er) håndterer den hukommelsesbundne afkodning. SambaNova præsenterer det optagede system som et design, kunder vil kunne implementere i eksisterende datacentre.
Forskellig hardware til hver inferensfase
Demonstrationen er langt mindre end Intels referencekonfiguration. SambaNova beskriver et D-Series-reference-rack med 80 GPU’er, der leverer 208 petaflops maksimal FP4-beregningskraft og har 12 TB til 38 TB hukommelse afhængigt af konfigurationen. Disse tal beskriver det større design til præfyldning; de er ikke præstationsmålinger fra SuperComputing-opsætningen.
I Intels produktspecifikationer for D270 beskrives en luftkølet GPU på 350 W med 32 Xe3P-kerner, 256 XMX-matrixmotorer, standard PCIe 5.0 og op til 480 GB LPDDR5X-hukommelse pr. kort. Standardformfaktoren er beregnet til at fungere i eksisterende servere uden proprietære netværksløsninger eller specialbyggede systemer.
Hver SambaRack SN50 indeholder 16 RDU’er og kræver typisk 20 kW til inferens. Op til 16 racks kan fungere som én enhed med op til 256 RDU’er, så en arbejdsbelastning fordeles på racks med lavere strømforbrug. SambaNova siger, at virksomhedens dataflowarkitektur kæder modeloperationer sammen på tværs af chips i stedet for at sende data tilbage til hukommelsen mellem separate GPU-kerner, hvilket reducerer hukommelsestrafikken og den ekstra belastning ved at genstarte kerner under generering af tokens.
Åben software forbinder hardwarepuljerne
NVIDIA Dynamo ligger foran de to acceleratorpuljer og er designet til at dirigere hver anmodning til den hardware, der allerede har dens cachelagrede kontekst. vLLM håndterer både Intels præfyldningssti og SN50’s afkodningssti, mens NIXL overfører KV-cachedata via UCX/RDMA ved hjælp af standard RoCEv2-Ethernet. Overdragelsen kan derfor ske via et etableret Ethernet-netværk i stedet for en proprietær forbindelse mellem hardwaretyperne.
SN50 bevarer KV-præfikser fra tidligere prompts i tilsluttet DDR-hukommelse, mens SRAM og HBM på chippen understøtter aktiv afkodning. Når en agent vender tilbage til en samtale eller en delt kontekst, kan cachebevidst routing sende anmodningen til den SN50, der har dette præfiks, så kun nyt materiale behandles via GPU-præfyldning, og mindre KV-tilstand sendes over netværket. SambaNova siger, at disse cachetræffere forkorter tiden til første token og frigør GPU-kapacitet til nye anmodninger. Indlægget beskriver disse fordele uden at rapportere målte resultater for latenstid eller gennemløb i den kombinerede demonstration.
Skalering på eksisterende luftkølede anlæg
Opdelingen gør det også muligt for udbydere at udvide hver fase uafhængigt. Længere prompts kan kræve større præfyldningskapacitet fra D-Series, mens agenter, der producerer længere output, kan have brug for yderligere SN50-afkodningskapacitet, uden at den anden pulje behøver at blive udvidet tilsvarende.
Denne fleksibilitet er rettet mod operatører, hvis faciliteter ikke uden videre kan rumme væskekølede systemer. Intel siger, at D270’s standard PCIe-formfaktor og luftkølede effektprofil på 350 W er udviklet til eksisterende racks uden behov for en særlig ombygning til væskekøling. Sammen med SN50’s strømforbrug på rackniveau er designet tænkt til at øge inferenskapaciteten i eksisterende luftkølede miljøer.
Demonstrationens betydning ligger i integrationen: To acceleratorarkitekturer, der er forbundet via almindeligt anvendt serveringssoftware og standard-Ethernet, kan tildeles forskellige inferensfaser og skaleres efter arbejdsbelastningen. For udbydere, der er underlagt faste begrænsninger for strømforsyning og køling, er det stadig et åbent spørgsmål, om produktionsarbejdsbelastninger giver tilstrækkeligt udbytte af de beskrevne fordele ved caching og udnyttelse til at retfærdiggøre driften af begge puljer.












