Συνεργασίες
Η SambaNova συνδυάζει GPU της Intel με το SN50 για αερόψυκτη εξαγωγή συμπερασμάτων με τεχνητή νοημοσύνη

Βασικά σημείαΗ SambaNova διαχωρίζει τη συμπερασματοποίηση ώστε οι GPU της Intel να χειρίζονται το…
Δείτε περισσότερα
- Η SambaNova διαχωρίζει τη συμπερασματοποίηση ώστε οι GPU της Intel να χειρίζονται το prefill ενώ οι RDU της να χειρίζονται το decode που περιορίζεται από τη μνήμη.
- Το τυπικό Ethernet και το ανοιχτό λογισμικό εξυπηρέτησης συνδέουν τις δύο δεξαμενές επιταχυντών χωρίς ιδιόκτητες διασυνδέσεις.
- Ο σχεδιασμός αερόψυξης στοχεύει σε υπάρχοντα κέντρα δεδομένων όπου οι αναβαθμίσεις υγρής ψύξης είναι μη πρακτικές.
Η SambaNova Systems ανακοίνωσε στις 15 Νοεμβρίου 2026 ότι, μαζί με την Intel, παρουσίασε στο SuperComputing 2026 ένα αερόψυκτο σύστημα εξαγωγής συμπερασμάτων με τεχνητή νοημοσύνη, το οποίο εκτελεί το GLM-5.3 σε τέσσερις επιταχυντές Intel GPU D-Series για την επεξεργασία προτροπών και σε ένα SambaRack SN50 για τη δημιουργία token.
Το σύστημα χωρίζει την εξαγωγή συμπερασμάτων σε δύο στάδια: το prefill, το οποίο επεξεργάζεται μια εισερχόμενη προτροπή και δημιουργεί την κρυφή μνήμη ζευγών κλειδιού-τιμής (KV), και το decode, το οποίο παράγει τα token εξόδου. Το υλικό της Intel αναλαμβάνει το prefill, που απαιτεί πολλούς υπολογιστικούς πόρους, ενώ οι πέμπτης γενιάς Επαναδιαμορφώσιμες Μονάδες Ροής Δεδομένων (RDUs) της SambaNova αναλαμβάνουν το decode, που περιορίζεται από τη μνήμη. Η SambaNova παρουσιάζει το καταγεγραμμένο σύστημα ως σχεδιασμό που οι πελάτες θα μπορούν να εγκαταστήσουν σε υφιστάμενα κέντρα δεδομένων brownfield.
Διαφορετικό υλικό για κάθε στάδιο εξαγωγής συμπερασμάτων
Η επίδειξη είναι πολύ μικρότερη από τη διαμόρφωση αναφοράς της Intel. Η SambaNova περιγράφει ένα rack αναφοράς D-Series με 80 GPU, το οποίο αποδίδει μέγιστη υπολογιστική ισχύ 208 petaflops σε FP4 και διαθέτει μνήμη από 12 TB έως 38 TB, ανάλογα με τη διαμόρφωση. Αυτά τα στοιχεία αφορούν τον μεγαλύτερο σχεδιασμό prefill· δεν είναι μετρήσεις επιδόσεων από τη διάταξη του SuperComputing.
Στις προδιαγραφές προϊόντος D270, η Intel αναφέρει αερόψυκτη GPU 350 W με 32 πυρήνες Xe3P, 256 μηχανές πινάκων XMX, τυπικό PCIe 5.0 και έως 480 GB μνήμης LPDDR5X ανά κάρτα. Ο τυπικός μορφότυπος έχει σχεδιαστεί ώστε να λειτουργεί σε υφιστάμενους διακομιστές, χωρίς ιδιόκτητη δικτύωση ή ειδικά κατασκευασμένα συστήματα.
Κάθε SambaRack SN50 περιλαμβάνει 16 RDU και απαιτεί συνήθως 20 kW για την εξαγωγή συμπερασμάτων. Έως και 16 rack μπορούν να λειτουργούν ως ενιαία μονάδα, με έως 256 RDU, κατανέμοντας τον φόρτο εργασίας σε rack χαμηλότερης ισχύος. Η SambaNova αναφέρει ότι η αρχιτεκτονική ροής δεδομένων της συνδέει τις λειτουργίες του μοντέλου μεταξύ των τσιπ, αντί να μεταφέρει τα δεδομένα πίσω στη μνήμη ανάμεσα σε ξεχωριστούς πυρήνες GPU, μειώνοντας την κίνηση δεδομένων στη μνήμη και την επιβάρυνση από την επανεκκίνηση των πυρήνων κατά τη δημιουργία token.
Το ανοιχτό λογισμικό συνδέει τις ομάδες υλικού
Το NVIDIA Dynamo βρίσκεται μπροστά από τις δύο ομάδες επιταχυντών και έχει σχεδιαστεί ώστε να δρομολογεί κάθε αίτημα προς το υλικό που διαθέτει ήδη το αποθηκευμένο πλαίσιο του. Το vLLM εξυπηρετεί τόσο τη διαδρομή prefill της Intel όσο και τη διαδρομή decode του SN50, ενώ το NIXL μεταφέρει δεδομένα της κρυφής μνήμης KV μέσω UCX/RDMA, χρησιμοποιώντας τυπικό Ethernet RoCEv2. Έτσι, η μεταφορά μπορεί να αξιοποιεί μια καθιερωμένη υποδομή Ethernet, αντί για μια ιδιόκτητη διασύνδεση ανάμεσα στους δύο τύπους υλικού.
Το SN50 διατηρεί προθέματα KV από προηγούμενες προτροπές στη συνδεδεμένη μνήμη DDR, ενώ οι SRAM και HBM του τσιπ υποστηρίζουν την ενεργή αποκωδικοποίηση. Όταν ένας πράκτορας επιστρέφει σε μια συνομιλία ή σε κοινό πλαίσιο, η δρομολόγηση που λαμβάνει υπόψη την κρυφή μνήμη μπορεί να στείλει το αίτημα στο SN50 που διατηρεί αυτό το πρόθεμα, ώστε μόνο το νέο περιεχόμενο να υποβάλλεται σε prefill μέσω GPU και να μεταφέρεται λιγότερη κατάσταση KV μέσω του δικτύου. Η SambaNova αναφέρει ότι αυτές οι επιτυχημένες ανακτήσεις από την κρυφή μνήμη μειώνουν τον χρόνο έως το πρώτο token και αποδεσμεύουν χωρητικότητα GPU για νέα αιτήματα. Η ανάρτηση περιγράφει αυτά τα οφέλη, χωρίς να αναφέρει μετρημένα αποτελέσματα καθυστέρησης ή ρυθμαπόδοσης για τη συνδυασμένη επίδειξη.
Κλιμάκωση σε υφιστάμενες αερόψυκτες εγκαταστάσεις
Ο διαχωρισμός επιτρέπει επίσης στους παρόχους να επεκτείνουν ανεξάρτητα κάθε στάδιο. Οι μεγαλύτερες προτροπές μπορεί να απαιτούν μεγαλύτερη χωρητικότητα D-Series για prefill, ενώ οι πράκτορες που παράγουν μεγαλύτερες εξόδους μπορεί να χρειάζονται πρόσθετη χωρητικότητα SN50 για decode, χωρίς να απαιτείται ανάλογη επέκταση της άλλης ομάδας.
Αυτή η ευελιξία απευθύνεται σε φορείς εκμετάλλευσης των οποίων οι εγκαταστάσεις δεν μπορούν εύκολα να υποστηρίξουν συστήματα υγρής ψύξης. Η Intel αναφέρει ότι ο τυπικός μορφότυπος PCIe και η αερόψυκτη σχεδίαση των 350 W του D270 προορίζονται για υφιστάμενα rack, χωρίς να απαιτείται ειδική μετασκευή για υγρή ψύξη. Σε συνδυασμό με το προφίλ ισχύος του SN50 σε επίπεδο rack, ο σχεδιασμός αποσκοπεί στην προσθήκη χωρητικότητας για εξαγωγή συμπερασμάτων σε καθιερωμένα αερόψυκτα περιβάλλοντα.
Η σημασία της επίδειξης έγκειται στην ενσωμάτωση: δύο αρχιτεκτονικές επιταχυντών, συνδεδεμένες μέσω ευρέως χρησιμοποιούμενου λογισμικού εξυπηρέτησης και τυπικού Ethernet, μπορούν να αναλαμβάνουν διαφορετικά στάδια εξαγωγής συμπερασμάτων και να κλιμακώνονται ανάλογα με τον φόρτο εργασίας. Για τους παρόχους που αντιμετωπίζουν σταθερά όρια ισχύος και ψύξης, το ερώτημα που απομένει είναι αν οι φόρτοι εργασίας παραγωγής αποκομίζουν αρκετά από τα περιγραφόμενα οφέλη στην προσωρινή αποθήκευση και την αξιοποίηση, ώστε να δικαιολογείται η λειτουργία και των δύο ομάδων.












