Η Enfabrica Παρουσιάζει Ένα Σύστημα Ιστού Μνήμης Βασισμένο στο Ethernet που Μπορεί να Αναδείξει την Εφαρμογή του AI σε Κλίμακα

Η Enfabrica, μια εταιρεία στούντιο της κοιλάδας του Σιλικόνης που υποστηρίζεται από την Nvidia (NVDA ), έχει παρουσιάσει ένα προϊόν που μπορεί να αλλάξει σημαντικά τον τρόπο με τον οποίο αναπτύσσονται και κλιμακώνονται οι μεγάλης κλίμακας εργασίες του AI. Το νέο σύστημα Elastic Memory Fabric System (EMFASYS) της εταιρείας είναι το πρώτο εμπορικά διαθέσιμο σύστημα ιστού μνήμης βασισμένο στο Ethernet, που σχεδιάστηκε ειδικά για να αντιμετωπίσει το βασικό εμπόδιο της ανίχνευσης του AI: την πρόσβαση στη μνήμη.

Σε μια εποχή που τα μοντέλα του AI γίνονται όλο και πιο σύνθετα, ευαίσθητα στο контέκστ και διαρκείς – απαιτώντας τεράστιες ποσότητες μνήμης ανά συνεδρία χρήστη – το EMFASYS παρέχει μια καινοτόμο προσέγγιση για την αποσύνδεση της μνήμης από τον υπολογισμό, επιτρέποντας στους κεντρικούς υπολογιστές του AI να βελτιώσουν δραματικά την απόδοσή τους, να μειώσουν το κόστος και να αυξήσουν την利用ποίηση των πιο ακριβών πόρων τους: των GPU.

Τι είναι ένας Ιστός Μνήμης και Γιατί έχει Σημασία;

Παραδοσιακά, η μνήμη μέσα στους κεντρικούς υπολογιστές έχει συνδεθεί στενά με τον сервер ή τον κόμβο στον οποίο βρίσκεται. Κάθε GPU ή CPU έχει πρόσβαση μόνο στη μνήμη υψηλής ταχύτητας που είναι trực tiếp συνδεδεμένη με αυτό – συνήθως HBM για τις GPU ή DRAM για τις CPU. Αυτή η αρχιτεκτονική λειτουργεί καλά όταν οι εργασίες είναι μικρές και προβλέψιμες. Nhưng το γεννητικό AI έχει αλλάξει το παιχνίδι. Τα LLMs απαιτούν πρόσβαση σε μεγάλες παραθύρων контέκστ, ιστορία χρήστη και μνήμη πολλαπλών πρακτόρων – όλα τα οποία πρέπει να επεξεργαστούν γρήγορα και χωρίς καθυστέρηση. Αυτές οι απαιτήσεις μνήμης συχνά υπερβαίνουν την διαθέσιμη ικανότητα της τοπικής μνήμης, δημιουργώντας εμπόδια που αφήνουν τους πυρήνες της GPU ανενεργούς και φουσκώνουν το κόστος της υποδομής.

Ένας ιστός μνήμης λύνει αυτό το πρόβλημα μετατρέποντας τη μνήμη σε一个 κοινό, κατανεμημένο πόρο – ένα είδος δικτυακά συνδεδεμένης πισίνας μνήμης που είναι προσβάσιμη από οποιοδήποτε GPU ή CPU στο cluster. Σκεφτείτε το ως τη δημιουργία ενός “νεφελώδους μνήμης” μέσα στο ράφι του κεντρικού υπολογιστή. Αντί να αναπαράγουμε τη μνήμη σε διακομιστές ή να υπερφορτώνουμε την ακριβή HBM, ένας ιστός επιτρέπει τη μνήμη να συναγερθεί, να αποσυνδεθεί και να προσεγγιστεί κατά demande μέσω ενός δικτύου υψηλής ταχύτητας. Αυτό επιτρέπει στις εργασίες ανίχνευσης του AI να κλιμακωθούν πιο αποτελεσματικά χωρίς να είναι δεσμευμένες από τα φυσικά όρια μνήμης ενός seul κόμβου.

Η Προσέγγιση της Enfabrica: Ethernet και CXL, Μαζί για Πρώτη Φορά

Το EMFASYS επιτυγχάνει αυτή την αρχιτεκτονική μνήμης σε κλίμακα ραφιού συνδυάζοντας δύο ισχυρές τεχνολογίες: RDMA over Ethernet και Compute Express Link (CXL). Η πρώτη ermögίζει την ultra-χαμηλή-καθυστέρηση, υψηλής ταχύτητας μεταφορά δεδομένων через стандартικά δίκτυα Ethernet. Η δεύτερη επιτρέπει τη μνήμη να αποσυνδεθεί από τις CPU και τις GPU και να συναγερθεί σε κοινές πόρους, προσβάσιμους μέσω υψηλής ταχύτητας συνδέσεων CXL.

Στο κέντρο του EMFASYS βρίσκεται ο chíπ ACF-S της Enfabrica, ένας “SuperNIC” 3,2 terabits-per-second (Tbps) που συνδυάζει τη δικτύωση και τον έλεγχο της μνήμης σε ένα seul συσκευή. Αυτός ο chíπ επιτρέπει στους διακομιστές να συνδεθούν με τεράστιες πισίνες μνήμης DRAM – μέχρι 18 terabytes ανά κόμβο – κατανεμημένες σε όλο το ράφι. Κρίσιμο, το κάνει αυτό χρησιμοποιώντας стандартικές θύρες Ethernet, επιτρέποντας στους операторες να εκμεταλλευτούν την υπάρχουσα υποδομή του κεντρικού υπολογιστή χωρίς να επενδύουν σε ιδιωτικά διασυνδετικά.

Τι κάνει το EMFASYS ιδιαίτερα ελκυστικό είναι η δυνατότητά του να απομακρύνει δυναμικά τις εργασίες που зависουν από τη μνήμη από τις ακριβές GPU-συνδεδεμένες HBM σε πολύ πιο προσιτές DRAM, διατηρώντας παράλληλα τη μικροδευτερόλεπτη-επίπεδο καθυστέρηση πρόσβασης. Το λογισμικό πίσω από το EMFASYS περιλαμβάνει έξυπνους μηχανισμούς cache και ισορροπίας φορτίου που κρύβουν την καθυστέρηση και ορχηστρώνουν την κίνηση της μνήμης με τρόπους που είναι διαφανείς για τα LLMs που τρέχουν στο σύστημα.

Επιβεβαιώσεις για τη Βιομηχανία του AI

Αυτό είναι περισσότερο από ένα έξυπνο υλικό λύση – αντιπροσωπεύει μια φιλοσοφική μετατόπιση στο πώς χτίζεται και κλιμακώνεται η υποδομή του AI. Όταν το γεννητικό AI μετατρέπεται από νεωτερικότητα σε αναγκαιότητα, με δισεκατομμύρια ερωτήματα χρηστών να επεξεργάζονται καθημερινά, το κόστος της εξυπηρέτησης αυτών των μοντέλων έχει γίνει αβέβαιο για πολλές εταιρείες. Οι GPU είναι συχνά υποαπασχολούμενες όχι λόγω έλλειψης υπολογισμού, αλλά επειδή περιμένουν τη μνήμη. Το EMFASYS αντιμετωπίζει αυτή την ανισορροπία απευθείας.

Επιτρέποντας τη μνήμη να είναι συνδεδεμένη σε ένα δίκτυο και να είναι προσβάσιμη μέσω Ethernet, η Enfabrica προσφέρει στους операторες του κεντρικού υπολογιστή μια κλιμακώσιμη εναλλακτική λύση για την αγορά συνεχώς περισσότερων GPU ή HBM. Αντίθετα, μπορούν να αυξήσουν τη χωρητικότητα της μνήμης με modularity, χρησιμοποιώντας off-the-shelf DRAM και έξυπνη δικτύωση, μειώνοντας το συνολικό αποτύπωμα και βελτιώνοντας την οικονομία της ανίχνευσης του AI.

Οι επιπτώσεις υπερβαίνουν τα άμεσα οικονομικά οφέλη. Αυτού του είδους η αρχιτεκτονική αποσύνδεσης ανοίγει το δρόμο για μοντέλα μνήμης-ως-υπηρεσία, όπου ο контέκστ, η ιστορία και η κατάσταση του πράκτορα μπορούν να διαρκέσουν πέρα από μια seule συνεδρία ή διακομιστή, ανοίγοντας την πόρτα σε πιο έξυπνες και προσωποποιημένες συστήματα AI. Επίσης, θέτει το στάδιο για πιο ανθεκτικά συστήματα AI, όπου οι εργασίες μπορούν να κατανεμηθούν ελαστικά σε όλο το ράφι ή σε όλο τον κεντρικό υπολογιστή χωρίς σκληρά όρια μνήμης.

Ματιά στο Μέλλον

Το EMFASYS της Enfabrica είναι目前 σε δειγματοληψία με επιλεγμένους πελάτες, και ενώ η εταιρεία δεν έχει αποκαλύψει ποιούς είναι αυτοί οι συνεργάτες, η Reuters αναφέρει ότι μεγάλοι πάροχοι cloud AI έχουν ήδη αρχίσει να πιλοτάρουν το σύστημα. Αυτό θέτει την Enfabrica όχι μόνο ως προμηθεύτρια συστατικών, αλλά και ως κλειδί ενεργοποιητής στην επόμενη γενιά της υποδομής του AI.

Αποσυνδέοντας τη μνήμη από τον υπολογισμό και κάνωντάς τη διαθέσιμη σε υψηλής ταχύτητας, προσιτά δίκτυα Ethernet, η Enfabrica χτίζει τις βάσεις για μια νέα εποχή αρχιτεκτονικής του AI – μια εποχή όπου η ανίχνευση μπορεί να κλιμακωθεί χωρίς συμβιβασμούς, όπου οι πόροι δεν είναι πλέον στραγγαλισμένοι, και όπου η οικονομία της εξυπηρέτησης μεγάλων μοντέλων γλώσσας τελικά αρχίζει να έχει νόημα.

Σε ένα κόσμο που ορίζεται όλο και περισσότερο από συστήματα AI που είναι πλούσια σε контέκστ και πολλαπλούς πράκτορες, η μνήμη δεν είναι πλέον ένας βοηθητικός ηθοποιός – είναι η σκηνή. Και η Enfabrica στοιχηματίζει ότι όποιος χτίσει τη καλύτερη σκηνή θα ορίσει την απόδοση του AI για χρόνια να έρθουν.