Η Supermicro θα κατασκευάζει και θα πουλά συστήματα συμπερασματολογίας ΤΝ με τεχνολογία SambaNova

Η SambaNova και η Supermicro ανακοίνωσαν στις 3 Νοεμβρίου 2026 ότι η Supermicro θα κατασκευάζει, θα πουλά και θα υποστηρίζει συστήματα συμπερασματολογίας ΤΝ, τα οποία κατανέμουν τον φόρτο εργασίας ανάμεσα στις GPU της NVIDIA και στις μονάδες επαναδιαμορφώσιμης ροής δεδομένων SN50 της SambaNova. Η συνεργασία προβλέπει αρχικά την προμήθεια 10.000 τσιπ SN50.

Τα συστήματα θα ενταχθούν στο χαρτοφυλάκιο Data Center Building Block Solutions της Supermicro. Η Supermicro θα αναλάβει την ενσωμάτωση, τις δοκιμές, την παράδοση και την υποστήριξή τους, συμπεριλαμβανομένης της επιτόπιας εξυπηρέτησης, ενώ οι μηχανικοί της SambaNova θα θέσουν τα μοντέλα σε λειτουργία και θα τα ρυθμίσουν για το SN50, καθώς και θα συνδράμουν στις εγκαταστάσεις των πελατών. Έτσι, η συμφωνία συνδυάζει ένα δίκτυο κατασκευής και εξυπηρέτησης διακομιστών με την απαιτούμενη εργασία μηχανικής μοντέλων για την ανάπτυξη ενός συστήματος με ετερογενείς επιταχυντές.

Γιατί η συμπερασματολογία κατανέμεται ανάμεσα σε GPU και RDU

Η αρχιτεκτονική χωρίζει τη συμπερασματολογία σε δύο φάσεις. Κατά την προπλήρωση, οι GPU της NVIDIA επεξεργάζονται την εισερχόμενη προτροπή, μια εργασία που απαιτεί πολλούς υπολογιστικούς πόρους. Οι RDU SN50 αναλαμβάνουν την αποκωδικοποίηση, κατά την οποία παράγεται η απάντηση ένα διακριτικό (token) κάθε φορά και η απόδοση περιορίζεται από τη μνήμη. Η SambaNova αναφέρει ότι η ανάθεση κάθε φάσης στο κατάλληλο υλικό προσφέρει ταχύτερη και αποδοτικότερη συμπερασματολογία από ό,τι θα πετύχαινε καθεμία από τις δύο κατηγορίες υλικού μόνη της.

Η συνοδευτική ανακοίνωση της SambaNova θέτει την πρακτορική ΤΝ στο επίκεντρο, ως βασική περίπτωση χρήσης: οι πράκτορες μπορούν να πραγματοποιούν χιλιάδες κλήσεις σε μεγάλα γλωσσικά μοντέλα, κάθε κλήση μπορεί να διαρκεί λεπτά και οι πρακτορικοί φόρτοι εργασίας αφιερώνουν το μεγαλύτερο μέρος του χρόνου τους στην αποκωδικοποίηση. Έτσι, η παραγωγή διακριτικών βρίσκεται στην κρίσιμη διαδρομή για την επόμενη ενέργεια ενός πράκτορα. Κατά συνέπεια, οι εταιρείες αντιμετωπίζουν την αποκωδικοποίηση ως ξεχωριστό πρόβλημα υποδομής, με τις πρόσθετες RDU να προορίζονται για την επιτάχυνση των απαντήσεων, ενώ οι GPU εξακολουθούν να αναλαμβάνουν την επεξεργασία των προτροπών.

Στο εσωτερικό της σχεδίασης του SN50

Το SN50 είναι η πέμπτη γενιά RDU της SambaNova. Το επίσημο φύλλο τεχνικών χαρακτηριστικών αναφέρει ότι κατασκευάζεται με διεργασία 5 νανομέτρων της TSMC, διαθέτει 432 MB ενσωματωμένης SRAM και 64 GB HBM2E, ενώ η DDR5 αποτελεί την τρίτη βαθμίδα μνήμης. Το τσιπ χρησιμοποιεί την αρχιτεκτονική Reconfigurable Dataflow Architecture της SambaNova και έχει σχεδιαστεί για τη φάση αποκωδικοποίησης, η οποία περιορίζεται από τη μνήμη, και όχι για γενικούς φόρτους εργασίας επιταχυντών.

Η τεκμηρίωση του προϊόντος της SambaNova αποδίδει στη σχεδίαση ταχύτερη συμπερασματολογία, υψηλότερη διεκπεραιωτική ικανότητα και βελτιωμένη ενεργειακή απόδοση. Οι λειτουργίες συνδέονται σε μια συνεχή ροή δεδομένων, μειώνοντας τις επαναλαμβανόμενες μεταφορές δεδομένων μεταξύ μνήμης και επεξεργαστή, καθώς και την επιβάρυνση από την επανεκκίνηση των εργασιών σε κάθε στάδιο. Κάθε βαθμίδα μνήμης έχει επίσης διαφορετικό ρόλο: η SRAM διατηρεί τα δεδομένα άμεσης χρήσης τοπικά, κοντά στις μονάδες υπολογισμού, η HBM2E αποθηκεύει τα ενεργά βάρη μοντέλων και την κρυφή μνήμη KV άμεσης χρήσης, ενώ η DDR5 φιλοξενεί κρυφές μνήμες προτροπών, μεγαλύτερες δεξαμενές μοντέλων και την κρυφή μνήμη KV ψυχρής χρήσης.

Η SambaNova αναφέρει ότι το SN50 μπορεί να κλιμακωθεί σε έως και 256 RDU σε πολλαπλά ικριώματα και έχει σχεδιαστεί για διαδραστικούς πράκτορες, βοηθούς προγραμματισμού και άλλους φόρτους εργασίας συμπερασματολογίας πολλών βημάτων, συμπεριλαμβανομένων εφαρμογών που εναλλάσσονται μεταξύ πολλών μοντέλων. Η σχεδίαση πολλαπλών ικριωμάτων συνάδει με το σχέδιο της συνεργασίας για ανάπτυξη σε επίπεδο ικριώματος, με τη Supermicro να ενσωματώνει RDU και GPU σε συστήματα τα οποία θα επικυρώνει και θα υποστηρίζει.

Διάθεση μέσω δικτύου συνεργατών και περιορισμοί των κέντρων δεδομένων

Οι πελάτες θα μπορούν να αγοράζουν RDU SN50 μαζί με GPU μέσω της Supermicro, χρησιμοποιώντας το ίδιο δίκτυο διάθεσης με την υπόλοιπη υποδομή ΤΝ τους. Η διάθεση θα ξεκινήσει από τα NeoClouds και τα κυρίαρχα νέφη, προτού επεκταθεί σε επιχειρήσεις που εκτελούν εφαρμογές ΤΝ στα δικά τους κέντρα δεδομένων. Η σταδιακή αυτή προσέγγιση ξεκινά από τους φορείς εκμετάλλευσης νέφους και, στη συνέχεια, φέρνει την ίδια συνδυασμένη αρχιτεκτονική GPU-RDU στις εγκαταστάσεις επιχειρήσεων.

Η ισχύς και η ψύξη αποτελούν βασικούς παράγοντες για την ανάπτυξη των συστημάτων. Οι εταιρείες αναφέρουν ότι το SN50 μπορεί να εξυπηρετεί μεγάλα μοντέλα με υψηλή ταχύτητα και διεκπεραιωτική ικανότητα, χωρίς ακραία πυκνότητα ισχύος ανά ικρίωμα, διευκολύνοντας έτσι την εγκατάσταση των συστημάτων σε υφιστάμενα κέντρα δεδομένων. Αυτό το προφίλ ισχύος στηρίζει την πρόταση αναβάθμισης των υφιστάμενων εγκαταστάσεων στο πλαίσιο της συνεργασίας: οι RDU προορίζονται να προσθέσουν δυναμικότητα σε εγκαταστάσεις που οι φορείς εκμετάλλευσης ήδη λειτουργούν.

Οι εταιρείες αναφέρουν επίσης ότι η προσθήκη RDU για την αποκωδικοποίηση μπορεί να αυξήσει τη δυναμικότητα συμπερασματολογίας, χωρίς να χρειάζεται αναμονή για νέες κατασκευές που περιορίζονται από την ισχύ και την ψύξη, ενώ παράλληλα παρατείνει την ωφέλιμη ζωή των ήδη εγκατεστημένων GPU. Επομένως, η πρόταση συνδέει την αύξηση της δυναμικότητας με τις εγκαταστάσεις και τις GPU που διαθέτουν ήδη οι φορείς εκμετάλλευσης.

Η SambaNova και η Supermicro αναμένουν ότι η συνεργασία θα καταστήσει δυνατή, το 2027, σημαντικά μεγαλύτερη δυναμικότητα συμπερασματολογίας υψηλών επιδόσεων από όση θα ήταν εφικτή διαφορετικά. Η σημασία του σχεδίου έγκειται στον συνδυασμό υλικού ειδικά σχεδιασμένου για την αποκωδικοποίηση και του δικτύου διάθεσης της Supermicro. Για τους φορείς εκμετάλλευσης που αντιμετωπίζουν περιορισμούς ισχύος και ψύξης, το ανοιχτό ερώτημα είναι αν οι προγραμματισμένες εγκαταστάσεις RDU μπορούν να προσθέσουν χρήσιμη δυναμικότητα συμπερασματολογίας στις υφιστάμενες εγκαταστάσεις, στην κλίμακα που προβλέπουν οι εταιρείες.