Partenariats
SambaNova associe les GPU Intel au SN50 pour l’inférence IA refroidie par air

Points clésSambaNova répartit l'inférence de sorte que les GPU Intel traitent le prefill tandis…
Voir plus
- SambaNova répartit l'inférence de sorte que les GPU Intel traitent le prefill tandis que ses RDU traitent le décodage limité par la mémoire.
- Ethernet standard et un logiciel de serving ouvert relient les deux pools d'accélérateurs sans interconnexions propriétaires.
- La conception refroidie par air cible les centres de données existants où des rénovations pour le refroidissement liquide sont impraticables.
SambaNova Systems a annoncé le 15 novembre 2026 qu’elle avait démontré avec Intel, lors de SuperComputing 2026, un système d’inférence IA refroidi par air faisant tourner GLM-5.3 sur quatre accélérateurs Intel GPU D-Series pour le traitement des invites et sur un SambaRack SN50 pour la génération de jetons.
Le système répartit l’inférence entre le préremplissage, qui traite une invite entrante et construit son cache clé-valeur (KV), et le décodage, qui génère les jetons de sortie. Le matériel d’Intel prend en charge le préremplissage, qui exige une forte puissance de calcul, tandis que les unités de flux de données reconfigurables (RDU) de cinquième génération de SambaNova assurent le décodage, limité par la mémoire. SambaNova présente le système enregistré comme une conception que les clients pourront déployer dans leurs centres de données existants.
Du matériel différent pour chaque phase de l’inférence
La démonstration est bien plus modeste que la configuration de référence d’Intel. SambaNova décrit une baie de référence D-Series équipée de 80 GPU, offrant une puissance de calcul FP4 de pointe de 208 pétaflops et une mémoire de 12 à 38 To selon la configuration. Ces chiffres décrivent la conception de préremplissage de plus grande envergure ; ils ne correspondent pas à des mesures de performance réalisées lors de la démonstration à SuperComputing.
Les caractéristiques du produit D270 d’Intel indiquent un GPU refroidi par air de 350 W doté de 32 cœurs Xe3P, de 256 moteurs matriciels XMX, d’une interface PCIe 5.0 standard et d’une mémoire LPDDR5X pouvant atteindre 480 Go par carte. Le format standard est conçu pour fonctionner dans des serveurs existants, sans réseau propriétaire ni système sur mesure.
Chaque SambaRack SN50 comprend 16 RDU et nécessite généralement 20 kW pour l’inférence. Jusqu’à 16 baies peuvent fonctionner comme une seule unité, avec un maximum de 256 RDU, ce qui permet de répartir une charge de travail entre des baies moins énergivores. SambaNova affirme que son architecture de flux de données enchaîne les opérations du modèle sur plusieurs puces, au lieu de renvoyer les données en mémoire entre des noyaux GPU distincts, ce qui réduit le trafic mémoire et la surcharge liée au relancement des noyaux pendant la génération de jetons.
Des logiciels ouverts relient les groupes de matériel
NVIDIA Dynamo se place en amont des deux groupes d’accélérateurs et est conçu pour acheminer chaque requête vers le matériel qui détient déjà son contexte mis en cache. vLLM prend en charge à la fois le parcours de préremplissage sur Intel et le parcours de décodage sur SN50, tandis que NIXL transfère les données du cache KV sur UCX/RDMA au moyen d’Ethernet RoCEv2 standard. Le transfert peut ainsi s’appuyer sur une infrastructure Ethernet éprouvée plutôt que sur une interconnexion propriétaire entre les différents types de matériel.
Le SN50 conserve en mémoire DDR connectée les préfixes KV des invites précédentes, tandis que la mémoire SRAM intégrée à la puce et la mémoire HBM prennent en charge le décodage en cours. Lorsqu’un agent revient à une conversation ou à un contexte partagé, le routage tenant compte du cache peut envoyer la requête au SN50 qui détient ce préfixe ; seul le nouveau contenu passe alors par le préremplissage sur GPU, et une quantité moindre de données d’état KV traverse le réseau. SambaNova affirme que ces accès au cache réduisent le délai avant le premier jeton et libèrent de la capacité GPU pour de nouvelles requêtes. La publication décrit ces avantages sans communiquer de résultats mesurés en matière de latence ou de débit pour la démonstration combinée.
Mise à l’échelle dans les sites existants refroidis par air
Cette séparation permet également aux fournisseurs d’augmenter indépendamment la capacité de chaque phase. Des invites plus longues peuvent nécessiter une plus grande capacité de préremplissage D-Series, tandis que des agents qui produisent des réponses plus longues peuvent requérir une capacité de décodage SN50 supplémentaire, sans qu’il soit nécessaire d’augmenter proportionnellement l’autre groupe.
Cette flexibilité s’adresse aux exploitants dont les installations ne peuvent pas facilement accueillir des systèmes refroidis par liquide. Selon Intel, le format PCIe standard du D270 et son profil de refroidissement par air de 350 W sont conçus pour les baies existantes, sans rénovation nécessitant un refroidissement liquide spécialisé. Associée au profil énergétique du SN50 à l’échelle de la baie, cette conception vise à accroître la capacité d’inférence dans les environnements existants refroidis par air.
L’intérêt de cette démonstration réside dans l’intégration : deux architectures d’accélérateurs, reliées par des logiciels de service couramment utilisés et par une connexion Ethernet standard, peuvent être affectées à différentes phases de l’inférence et mises à l’échelle en fonction de la charge de travail. Pour les fournisseurs soumis à des limites fixes en matière d’alimentation électrique et de refroidissement, il reste à déterminer si les charges de travail en production tirent suffisamment parti des gains de mise en cache et d’utilisation décrits pour justifier l’exploitation des deux groupes.












