Η ARIA επιλέγει τους οπτικούς διακομιστές της Lumai για δοκιμές συμπερασματολογίας ΤΝ σε επίπεδο rack

Η Lumai δοκιμάζει το οπτικό υλικό της για ΤΝ σε ένα νέο περιβάλλον αξιολόγησης: στο Εργαστήριο Κλιμάκωσης της Συμπερασματολογίας, το οποίο υποστηρίζεται από την Advanced Research and Invention Agency του Ηνωμένου Βασιλείου, ή ARIA. Το εργαστήριο σχεδιάζει να αναπτύξει διακομιστές συμπερασματολογίας Lumai Iris ως την πρώτη του πλατφόρμα οπτικών υπολογισμών, δίνοντας στους ερευνητές τη δυνατότητα να δοκιμάσουν την αρχιτεκτονική σε επίπεδο rack, σε περιβάλλον εμπορικού κέντρου δεδομένων.

Το εργαστήριο, το οποίο λειτουργεί από την CommonAI CIC, φιλοδοξεί να γεφυρώσει ένα σημαντικό χάσμα για το αναδυόμενο υλικό ΤΝ: άλλο είναι να επιδείξει κανείς έναν καινοτόμο επεξεργαστή και άλλο να τον κάνει να λειτουργήσει ως μέρος ενός ολοκληρωμένου συστήματος, με πραγματικά μοντέλα και τις συνήθεις απαιτήσεις σε ισχύ, ψύξη και rack.

Η ανακοίνωση έρχεται σε συνέχεια της κυκλοφορίας του Iris Nova τον Απρίλιο. Το νέο βήμα είναι μια αξιολόγηση πολλαπλών κόμβων μέσω μιας δημόσια υποστηριζόμενης υποδομής δοκιμών, όχι η δημοσίευση ολοκληρωμένης, ανεξάρτητης συγκριτικής αξιολόγησης που να αποδεικνύει τους εντυπωσιακούς ισχυρισμούς της Lumai για την ενεργειακή απόδοση.

Χρήση του φωτός για εκτέλεση υπολογισμών πινάκων

Η Lumai, εταιρεία-τεχνοβλαστός του Πανεπιστημίου της Οξφόρδης που ιδρύθηκε το 2021, αναπτύσσει μια υβριδική οπτική και ψηφιακή αρχιτεκτονική. Ο οπτικός κινητήρας της στοχεύει στις πυκνές μαθηματικές πράξεις που χρησιμοποιούνται στη συμπερασματολογία ΤΝ, ενώ τα ηλεκτρονικά εξαρτήματα εξακολουθούν να αναλαμβάνουν τις υποστηρικτικές λειτουργίες του συστήματος.

Στην τεχνική περιγραφή της εταιρείας, οι πληροφορίες κωδικοποιούνται σε δέσμες φωτός και υποβάλλονται σε επεξεργασία μέσω οπτικών εξαρτημάτων στον τρισδιάστατο χώρο. Στόχος είναι να εκτελούνται πολλές μαθηματικές πράξεις παράλληλα μέσω της διάδοσης του φωτός, αντί να πραγματοποιείται κάθε υπολογισμός με εναλλαγή τρανζίστορ.

Αυτό δεν σημαίνει ότι ολόκληρος ο διακομιστής είναι παθητικός ή δεν καταναλώνει ενέργεια. Το πλήρες σύστημα εξακολουθεί να χρειάζεται πηγές φωτός, μετατροπή δεδομένων, μνήμη, ψηφιακή επεξεργασία και έλεγχο. Το κρίσιμο ερώτημα από μηχανικής άποψης είναι πόσο από την αποδοτικότητα του οπτικού κινητήρα διατηρείται, αφού συνυπολογιστεί το κόστος αυτών των υποστηρικτικών λειτουργιών, όταν εκτελείται πράγματι ένα χρήσιμο μοντέλο.

Η Lumai περιγράφει μια ευρεία διεπαφή δεδομένων, σχεδιασμένη ώστε να επιμερίζει την επιβάρυνση από τη μετατροπή σε μεγάλους φόρτους εργασίας, μια μνήμη τριών επιπέδων για την κρυφή μνήμη κλειδιού-τιμής του μοντέλου και κβαντοποίηση με επίγνωση του υλικού. Πρόκειται για πρακτικές πτυχές της αρχιτεκτονικής: η μεταφορά δεδομένων, η διατήρηση αξιοποιήσιμης αριθμητικής ακρίβειας και η διαρκής τροφοδοσία του επιταχυντή με εργασίες επηρεάζουν την απόδοση και έξω από τις εργαστηριακές επιδείξεις.

Γιατί η Lumai εστιάζει στην προεπεξεργασία εισόδου

Η συμπερασματολογία μεγάλων γλωσσικών μοντέλων έχει δύο διακριτές φάσεις. Κατά την προεπεξεργασία εισόδου, το σύστημα επεξεργάζεται την είσοδο και δημιουργεί την εσωτερική κατάσταση που απαιτείται για την παραγωγή απάντησης. Κατά την αποκωδικοποίηση, παράγει τα διακριτικά εξόδου βήμα προς βήμα, προσπελαύνοντας επανειλημμένα τα βάρη του μοντέλου και το αποθηκευμένο περιβάλλον.

Στην προεπεξεργασία εισόδου κυριαρχούν συχνά οι μεγάλες πράξεις πινάκων, ενώ η αποκωδικοποίηση μπορεί να περιορίζεται από το εύρος ζώνης της μνήμης, ιδίως όταν τα μεγέθη παρτίδας είναι μικρότερα. Η ισορροπία μεταβάλλεται ανάλογα με το μέγεθος του μοντέλου, το μήκος της προτροπής, την ομαδοποίηση σε παρτίδες και τη διαμόρφωση εξυπηρέτησης. Η προσέγγιση της Lumai είναι να εξειδικεύεται στο στάδιο που απαιτεί πολλούς υπολογισμούς, αντί να βελτιστοποιεί ολόκληρη τη ροή εργασιών με έναν μόνο τύπο επεξεργαστή.

Η τεκμηρίωση προϊόντος Iris παρουσιάζει τον οπτικό επιταχυντή ως μέρος ετερογενών υπολογιστικών συστημάτων, μεταξύ άλλων για χρήση ως επεξεργαστή προεπεξεργασίας εισόδου σε συνδυασμό με υλικό βελτιστοποιημένο για αποκωδικοποίηση. Η Lumai αναφέρει ότι το Iris Nova υποστηρίζει μοντέλα Llama με 8 δισεκατομμύρια και 70 δισεκατομμύρια παραμέτρους και είναι διαθέσιμο για αξιολόγηση σε κέντρα δεδομένων. Η οικογένεια προϊόντων έχει σχεδιαστεί για τυπική υποδομή rack και αερόψυξη.

«Η λειτουργία ενός συστήματος πολλαπλών κόμβων σε εμπορικό κέντρο δεδομένων είναι το σημείο όπου αποδεικνύεται αν οι νέες υπολογιστικές αρχιτεκτονικές είναι έτοιμες για πραγματική ανάπτυξη», δήλωσε ο Xianxin Guo, συνιδρυτής και διευθύνων σύμβουλος της Lumai. Το έργο της ARIA θέτει αυτό το ζήτημα ενσωμάτωσης στο επίκεντρο της επόμενης φάσης.

Υποδομή δοκιμών ολοκληρωμένων συστημάτων

Η ARIA είναι δημόσιος φορέας χρηματοδότησης της έρευνας και ανάπτυξης στο Ηνωμένο Βασίλειο, ο οποίος υποστηρίζει φιλόδοξες τεχνολογίες με δυνατότητα να αποφέρουν κοινωνικά οφέλη. Το πρόγραμμά της Scaling Compute διερευνά εναλλακτικές στις καθιερωμένες υπολογιστικές προσεγγίσεις, όπως νέα υπολογιστικά δομικά στοιχεία, δικτύωση και σχεδιασμό συστημάτων.

Το Εργαστήριο Κλιμάκωσης της Συμπερασματολογίας υποστηρίζεται από την ARIA με 50 εκατομμύρια λίρες. Η ARIA το περιγράφει ως μια σειρά οργανωμένων πιλοτικών δοκιμών σε επίπεδο rack, καθεμία από τις οποίες ενσωματώνει μια μη δοκιμασμένη τεχνολογία σε ένα σύστημα έτοιμο για ανάπτυξη, στο οποίο οι τελικοί χρήστες μπορούν να εκτελούν μοντέλα. Στόχος είναι να συγκρίνεται η απόδοση ολόκληρου του συστήματος με εμπορικές εναλλακτικές και να γίνονται γρήγορες επαναλήψεις, με νέο rack να προγραμματίζεται κάθε έξι μήνες.

Η CommonAI, μη κερδοσκοπικός οργανισμός με έδρα το Κέιμπριτζ και ιδιότητα μέλους, που υλοποιεί το εργαστήριο, φέρνει σε συνεργασία εταιρείες, δημόσιους φορείς και ακαδημαϊκούς συμμετέχοντες για την από κοινού ανάπτυξη λύσεων μηχανικής. Το περίγραμμα του προγράμματός της περιγράφει περισσότερα από πέντε συστήματα σε επίπεδο rack και δίνει έμφαση στην ανεξάρτητη επικύρωση, ώστε να βοηθήσει το αναδυόμενο υλικό να αποδείξει την πραγματική απόδοσή του σε λειτουργία.

Αυτή η δομή έχει σημασία, επειδή ένας επιταχυντής μπορεί να αποδίδει καλά σε μια μεμονωμένη λειτουργία, αλλά να προσφέρει μικρότερο όφελος όταν συνυπολογίζονται η μεταφορά δεδομένων, ο προγραμματισμός εργασιών, η υποστήριξη λογισμικού και το υπόλοιπο της ροής εξυπηρέτησης. Ένα κοινό περιβάλλον δοκιμών μπορεί να συμβάλει στην ανάδειξη τόσο των πλεονεκτημάτων όσο και των σημείων συμφόρησης.

Τι δείχνουν —και τι δεν δείχνουν— οι ισχυρισμοί για την ενεργειακή απόδοση

Η Lumai αναφέρει ότι η αρχιτεκτονική έχει τη δυνατότητα να μειώσει την κατανάλωση ενέργειας των κέντρων δεδομένων έως και κατά 90% και να περιορίσει το συνολικό κόστος ιδιοκτησίας περίπου στο ένα δέκατο εκείνου των συμβατικών αρχιτεκτονικών GPU. Στον ιστότοπό της περιγράφει έναν οδικό χάρτη που στοχεύει σε 50 φορές υψηλότερες επιδόσεις. Η ανακοίνωση αναφέρει ξεχωριστά τουλάχιστον 16 φορές μεγαλύτερη ενεργειακή απόδοση ανά διεργασία συμπερασμού, όταν η οπτική προπλήρωση συνδυάζεται με αποκωδικοποίηση βασισμένη σε πυρίτιο.

Τα στοιχεία αυτά αφορούν διαφορετικές συγκρίσεις και δεν θα πρέπει να θεωρούνται εναλλάξιμα μέτρα ούτε αποτελέσματα που έχει ήδη επαληθεύσει ανεξάρτητα η ARIA. Η ανακοίνωση δεν παρέχει κοινή διαμόρφωση συγκριτικής αξιολόγησης, σύγκριση ποιότητας μοντέλων ή δημοσιευμένο σύνολο αποτελεσμάτων σε επίπεδο ικριώματος που να τεκμηριώνει τα οφέλη σε εμπορικούς φόρτους εργασίας.

Η αξιολόγηση του εργαστηρίου αποτελεί, επομένως, την ουσιαστική εξέλιξη. Χρήσιμες μετρήσεις θα περιλάμβαναν την ενέργεια ανά ολοκληρωμένο αίτημα, τον χρόνο μέχρι το πρώτο token, τη σταθερή ρυθμαπόδοση εξόδου, την ακρίβεια του μοντέλου και το κόστος λειτουργίας του πλήρους συστήματος. Για ουσιαστικές συγκρίσεις απαιτούνται το ίδιο μοντέλο, τα ίδια μήκη συμφραζομένων, οι ίδιες παραδοχές για την ομαδοποίηση αιτημάτων και οι ίδιες απαιτήσεις εξυπηρέτησης.

Για τη φιλοδοξία του Ηνωμένου Βασιλείου να ενισχύσει την εγχώρια δυναμικότητα τεχνητής νοημοσύνης με περιορισμένους προϋπολογισμούς ισχύος, ένα επιτυχημένο οπτικό σύστημα θα μπορούσε να προσφέρει μια ακόμη υπολογιστική επιλογή. Η ανάπτυξη της Lumai αποτελεί ένα βήμα προς τη δοκιμή αυτής της δυνατότητας υπό εμπορικές συνθήκες. Το αν το πλεονέκτημά του θα μεταφραστεί σε χαμηλότερο κόστος εξυπηρέτησης σε μεγάλη κλίμακα θα εξαρτηθεί από τα στοιχεία που θα προκύψουν από την αξιολόγηση του πλήρους συστήματος.