Enfabrica Παρουσιάζει Ένα Ιστό για Μνήμη Βασισμένο στο Ethernet που Μπορεί να Αναδιαμορφώσει την Ένταξη του AI σε Κλίμακα

Enfabrica, μια εταιρεία startup με έδρα την κοιλάδα του Σιλικόνης και υποστηριζόμενη από την Nvidia, έχει παρουσιάσει ένα προϊόν που μπορεί να αλλάξει σημαντικά τον τρόπο με τον οποίο αναπτύσσονται και κλιμακώνονται οι großen φόρτους εργασίας του AI. Το νέο σύστημα ιστών ελαστικής μνήμης (EMFASYS) της εταιρείας είναι το πρώτο εμπορικά διαθέσιμο ιστό για μνήμη βασισμένο στο Ethernet, που σχεδιάστηκε ειδικά για να αντιμετωπίσει το βασικό εμπόδιο της γεννητικής έξοδος του AI: την πρόσβαση στη μνήμη.

Σε μια εποχή που τα μοντέλα του AI γίνονται ολοένα και πιο σύνθετα, συνειδητοποιημένα και διαρκείς – απαιτώντας τεράστιες ποσότητες μνήμης ανά συνεδρία χρήστη – το EMFASYS προσφέρει μια νέα προσέγγιση για την αποσύνδεση της μνήμης από τον υπολογισμό, επιτρέποντας στα κέντρα δεδομένων του AI να βελτιώσουν σημαντικά την απόδοση, να μειώσουν το κόστος και να αυξήσουν τη χρήση των πιο ακριβών πόρων τους: των GPU.

Τι είναι ένας Ιστός Μνήμης — και Γιατί έχει Σημασία;

Παραδοσιακά, η μνήμη μέσα στα κέντρα δεδομένων έχει συνδεθεί στενά με τον διακομιστή ή τον κόμβο στον οποίο βρίσκεται. Κάθε GPU ή CPU έχει πρόσβαση μόνο στη μνήμη υψηλής ταχύτητας που είναι συνδεδεμένη απευθείας σε αυτό — συνήθως HBM για τις GPU ή DRAM για τις CPU. Αυτή η αρχιτεκτονική λειτουργεί καλά όταν οι φόρτοι εργασίας είναι μικρές και προβλέψιμες. Nhưng η γεννητική έξοδος του AI έχει αλλάξει το παιχνίδι. Οι LLMs απαιτούν πρόσβαση σε μεγάλες παραθύρες контекstu, ιστορία χρήστη και μνήμη πολλαπλών агέντων — όλα αυτά πρέπει να επεξεργαστούν γρήγορα και χωρίς καθυστέρηση. Αυτές οι απαιτήσεις μνήμης συχνά υπερβαίνουν τη διαθέσιμη ικανότητα της τοπικής μνήμης, δημιουργώντας εμπόδια που εμποδίζουν τους πυρήνες της GPU και αυξάνουν το κόστος της υποδομής.

Ένας ιστός μνήμης λύνει αυτό το πρόβλημα μετατρέποντας τη μνήμη σε一个 κοινό, κατανεμημένο πόρο — ένα είδος δικτυακά συνδεδεμένης πισίνας μνήμης που είναι προσβάσιμη από οποιοδήποτε GPU ή CPU στο cluster. Σκεφτείτε το ως τη δημιουργία ενός “νεφελώδους” μνήμης μέσα στο ράφι του κέντρου δεδομένων. Αντί να αναπαράγετε τη μνήμη σε διακομιστές ή να υπερφορτώνετε την ακριβή HBM, ένας ιστός επιτρέπει τη μνήμη να συναθροίζεται, να αποσυνδέεται και να προσεγγίζεται κατ’ απαίτηση μέσω eines δικτύου υψηλής ταχύτητας. Αυτό επιτρέπει στους φόρτους εργασίας της έξοδου του AI να κλιμακωθούν πιο αποτελεσματικά χωρίς να εμποδίζονται από τα φυσικά όρια μνήμης ενός seul κόμβου.

Η Προσέγγιση της Enfabrica: Ethernet και CXL, Μαζί για Πρώτη Φορά

Το EMFASYS επιτυγχάνει αυτή την αρχιτεκτονική ιστών σε κλίμακα ραφιού συνδυάζοντας δύο ισχυρές τεχνολογίες: RDMA over Ethernet και Compute Express Link (CXL). Η πρώτη ermögνίζει μεταφορά δεδομένων με χαμηλή καθυστέρηση και υψηλή απόδοση σε стандартικά δίκτυα Ethernet. Η δεύτερη επιτρέπει τη μνήμη να αποσυνδεθεί από τις CPU και τις GPU και να συναθροιστεί σε κοινές πόρους, προσβάσιμες μέσω των υψηλής ταχύτητας συνδέσμων CXL.

Στο κέντρο του EMFASYS βρίσκεται ο chip ACF-S της Enfabrica, ένας “SuperNIC” 3,2 terabits-per-second (Tbps) που συνδυάζει τη δικτύωση και τον έλεγχο της μνήμης σε μια seule συσκευή. Αυτή η συσκευή επιτρέπει στους διακομιστές να διεπαφθούν με τεράστιες πισίνες μνήμης DRAM — μέχρι 18 terabytes ανά κόμβο — που κατανέμονται σε όλο το ράφι. Κρίσιμο είναι ότι το κάνει αυτό χρησιμοποιώντας стандартικές θύρες Ethernet, επιτρέποντας στους операторες να εκμεταλλευτούν την υπάρχουσα υποδομή του κέντρου δεδομένων χωρίς να επενδύσουν σε ιδιόκτητους διασυνδέσμους.

Τι κάνει το EMFASYS ιδιαίτερα ελκυστικό είναι η ικανότητά του να αποφορτίζει δυναμικά τους φόρτους εργασίας που зависουν από τη μνήμη από τις ακριβές GPU-συνδεδεμένες HBM σε πολύ πιο προσιτές DRAM, διατηρώντας παράλληλα την καθυστέρηση πρόσβασης σε επίπεδο microseconds. Η στοίβα λογισμικού πίσω από το EMFASYS περιλαμβάνει έξυπνους μηχανισμούς cache και ισορροπίας φόρτου που κρύβουν την καθυστέρηση και ορχηστρώνουν την κίνηση της μνήμης με τρόπο που είναι διαφανής για τις LLMs που εκτελούνται στο σύστημα.

Επιπτώσεις για τη Βιομηχανία του AI

Αυτό είναι περισσότερο από μια έξυπνη λύση υλικού — αντιπροσωπεύει μια φιλοσοφική αλλαγή στον τρόπο με τον οποίο κατασκευάζεται και κλιμακώνεται η υποδομή του AI. Όταν η γεννητική έξοδος του AI περνά από την καινοτομία στην αναγκαιότητα, με δισεκατομμύρια ερωτήσεων χρηστών να επεξεργάζονται καθημερινά, το κόστος εξυπηρέτησης αυτών των μοντέλων έχει γίνει αβίωτο για πολλές εταιρείες. Οι GPU είναι συχνά υποαπασχολούμενες όχι λόγω έλλειψης υπολογισμού, αλλά επειδή περιμένουν τη μνήμη. Το EMFASYS αντιμετωπίζει αυτή την ανισορροπία απευθείας.

Βελτιώνοντας τη μνήμη που είναι συνδεδεμένη με τον ιστό και προσβάσιμη μέσω Ethernet, η Enfabrica προσφέρει στους операторες των κέντρων δεδομένων μια εναλλακτική λύση για να αυξήσουν τη χωρητικότητα της μνήμης με τη χρήση μνήμης DRAM και έξυπνης δικτύωσης, μειώνοντας το συνολικό αποτύπωμα και βελτιώνοντας την οικονομία της έξοδου του AI.

Οι επιπτώσεις υπερβαίνουν τα άμεσα οικονομικά οφέλη. Αυτή η είδους αρχιτεκτονική ανοίγει το δρόμο για μοντέλα μνήμης ως υπηρεσία, όπου ο контекστ, η ιστορία και η κατάσταση του агента μπορούν να διαρκέσουν πέρα από μια seule συνεδρία ή διακομιστή, ανοίγοντας την πόρτα σε πιο έξυπνες και προσωποποιημένες συστήματα AI. Επίσης, θέτει το στάδιο για πιο ανθεκτικά σύννεφα AI, όπου οι φόρτοι εργασίας μπορούν να κατανεμηθούν ελαστικά σε όλο το ράφι ή σε όλο το κέντρο δεδομένων χωρίς σκληρά όρια μνήμης.

Ματιά στο Μέλλον

Το EMFASYS της Enfabrica είναι επί του παρόντος σε φάση δειγματοληψίας με επιλεγμένους πελάτες, και ενώ η εταιρεία δεν έχει αποκαλύψει ποιους είναι αυτοί οι συνεργάτες, η Reuters αναφέρει ότι μεγάλοι πάροχοι σύννεφων AI έχουν ήδη ξεκινήσει πιλοτικές δοκιμές του συστήματος. Αυτό θέτει την Enfabrica όχι μόνο ως προμηθευτή组件, αλλά και ως βασικό ενεργοποιητή στην επόμενη γενιά της υποδομής του AI.

Αποσυνδέοντας τη μνήμη από τον υπολογισμό και καθιστώντας τη διαθέσιμη σε υψηλής ταχύτητας, κοινές δίκτυα Ethernet, η Enfabrica θέτει τις βάσεις για μια νέα εποχή αρχιτεκτονικής του AI — μια εποχή όπου η έξοδος μπορεί να κλιμακωθεί χωρίς συμβιβασμούς, όπου οι πόροι δεν είναι πλέον εγκλωβισμένοι και όπου η οικονομία της ανάπτυξης μεγάλων μοντέλων γλώσσας τελικά αρχίζει να έχει νόημα.

Σε ένα κόσμο που ορίζεται ολοένα και περισσότερο από συστήματα AI που είναι πλούσια σε контекστ, πολλαπλά агέντα, η μνήμη δεν είναι πλέον ένας δευτερεύων ρόλος — είναι η σκηνή. Και η Enfabrica στοιχηματίζει ότι όποιος κατασκευάσει τη καλύτερη σκηνή θα ορίσει την απόδοση του AI για χρόνια να έρθουν.