Οι Infineon Technologies και d-Matrix Συνεργάζονται για Υποδομή AI με Χαμηλή Καθυστέρηση

Οι Infineon Technologies έχουν ανακοινώσει μια συνεργασία με d-Matrix που επικεντρώνεται στην βελτίωση της απόδοσης και της ενεργειακής αποδοτικότητας των συστημάτων suy luận AI που χρησιμοποιούνται σε σύγχρονα κέντρα δεδομένων. Η συνεργασία επικεντρώνεται γύρω από το πλατφόρμα Corsair AI suy luận της d-Matrix και τα δίδυμα ισχύος OptiMOS της Infineon, τα οποία σχεδιάστηκαν για να υποστηρίξουν περιβάλλοντα υψηλής πυκνότητας υπολογισμού για διαδραστικές εργασίες AI.

Η ανακοίνωση υπογραμμίζει μια αυξανόμενη μετατόπιση μέσα στη βιομηχανία υλικού AI. Ενώ μεγάλο μέρος της επέκτασης της υποδομής τα τελευταία χρόνια επικεντρώθηκε στην εκπαίδευση ολοένα και μεγαλύτερων μοντέλων AI, η βιομηχανία επεκτείνεται τώρα γρήγορα στην suy luận — τη διαδικασία εκτέλεσης μοντέλων σε πραγματικές εφαρμογές όπως chatbots, συστήματα AI, συναγώνιστες, αναζήτηση, οικονομική ανάλυση και υποστήριξη λήψης αποφάσεων υγείας. Αυτές οι εργασίες τοποθετούν διαφορετικές απαιτήσεις στο υλικό, ιδιαίτερα γύρω από την καθυστέρηση, την απόκριση και την κατανάλωση ενέργειας.

Γιατί το Suy luận AI Γίνεται Ένας Μεγάλος Αγώνας Υλικού

Το suy luận AI έχει αναδυθεί ως ένας από τους ταχύτερα αναπτυσσόμενους τομείς της αγοράς υποδομής AI, επειδή τα διαδραστικά συστήματα AI απαιτούν απαντήσεις σε χιλιοστά του δευτερολέπτου και όχι σε δευτερόλεπτα. Η d-Matrix έχει τοποθετήσει το Corsair ειδικά για αυτές τις εργασίες, τονίζοντας την υπερχαμη καθυστέρηση και την ενεργειακά αποδοτική suy luận για μεγάλα μοντέλα γλωσσών και πράκτορες AI.

Σύμφωνα με την d-Matrix, το Corsair σχεδιάστηκε γύρω από μια ψηφιακή αρχιτεκτονική υπολογισμού στη μνήμη που προορίζεται να μειώσει τα μπουκάλια μνήμης που συχνά επιβραδύνουν την suy luận των γεννητικών μοντέλων AI. Η εταιρεία ισχυρίζεται ότι η πλατφόρμα μπορεί να μειώσει σημαντικά την καθυστέρηση και να βελτιώσει την απόδοση σε σύγκριση με τα παραδοσιακά συστήματα suy luận που βασίζονται σε GPU, ιδιαίτερα για διαδραστικές εφαρμογές.

Η συνεργασία με την Infineon giải quyếtει ένα άλλο αυξανόμενο κρίσιμο πρόβλημα: την παράδοση ισχύος.

Καθώς οι διακομιστές AI συνεχίζουν να αυξάνονται σε πυκνότητα, η αποτελεσματική παράδοση ισχύος στους επιταχυντές έχει γίνει ένας περιοριστικός παράγοντας για την κλιμάκωση της υποδομής. Τα μονάχα OptiMOS TDM2254xx της Infineon σχεδιάστηκαν για αρχιτεκτονικές κατακόρυφης παράδοσης ισχύος που βοηθούν στην μείωση των ηλεκτρικών απωλειών ενώ βελτιώνουν την πυκνότητα ισχύος μέσα σε συμπαγείς συστήματα διακομιστών.

Η Μετατόπιση προς τα Συστήματα AI σε Εchtzeit

Οι εταιρείες κατέγραψαν τη συνεργασία γύρω από την άνοδο της “διαδραστικής AI”, όπου τα συστήματα suy luận πρέπει να παράγουν συνεχώς εξόδους με εξαιρετικά χαμηλή καθυστέρηση. Αυτό περιλαμβάνει συστήματα AI συνομιλίας, πράκτορες AI, συστήματα λογικής σε εchtzeit και εφαρμογές που απαιτούν γρήγορη γεννήτωση token από μεγάλα μοντέλα γλωσσών.

Ο ιδρυτής και διευθύνων σύμβουλος της d-Matrix, Sid Sheth, ανέφερε ότι η αρχιτεκτονική πίσω από το Corsair χτίστηκε ειδικά για καθυστέρηση token κάτω από 2 χιλιοστά του δευτερολέπτου, ένα μέτρο που έχει γίνει ολοένα και πιο σημαντικό καθώς οι επιχειρήσεις μεταφέρουν τα συστήματα AI από πειραματικές σε περιβάλλοντα που αντιμετωπίζουν τους πελάτες.

Η ευρύτερη βιομηχανία AI αρχίζει επίσης να αναγνωρίζει ότι η υποδομή suy luận μπορεί να εξελιχθεί διαφορετικά από την υποδομή εκπαίδευσης. Ενώ τα κλάστερ GPU κυριαρχούσαν στην πρώτη φάση της επέκτασης των γεννητικών μοντέλων AI, το suy luận ανταμείβει ολοένα και περισσότερο τις αρχιτεκτονικές που βελτιστοποιούνται γύρω από την εύρος ζώνης μνήμης, την καθυστέρηση, τη δικτύωση και την ενεργειακή αποδοτικότητα παρά μόνο την καθαρή υπολογιστική ισχύ.

Η Ενεργειακή Αποδοτικότητα Γίνεται Κεντρική για την Κλιμάκωση AI

Ένας από τους μεγαλύτερους περιορισμούς που αντιμετωπίζουν οι υπερ-κλιμάκωτες και οι παρόχοι AI cloud είναι η ζήτηση ηλεκτρικής ενέργειας. Οι εργασίες suy luận AI μπορούν να εκτελεστούν συνεχώς σε εκατομμύρια αιτήματα την ημέρα, καθιστώντας την λειτουργική αποδοτικότητα κρίσιμη για το κόστος ανάπτυξης.

Η Infineon έχει επεκτείνει επιθετικά τη θέση της στην υποδομή AI μέσω τεχνολογιών ημιαγωγών που βασίζονται σε πυρίτιο, πυρίτιο-καربίδιο (SiC) και γαλλίου-νιτρίδιο (GaN). Η εταιρεία έχει επικεντρωθεί ολοένα και περισσότερο στην παροχή του στρώματος παράδοσης ισχύος κάτω από τους επιταχυντές AI και την υποδομή διακομιστών.

Η συνεργασία με την d-Matrix αντικατοπτρίζει τον τρόπο με τον οποίο οι εταιρείες ημιαγωγών γίνονται ολοένα και πιο στενά ενταγμένες με τις εταιρείες επιταχυντών AI, καθώς η βιομηχανία αναζητά εναλλακτικές λύσεις στις παραδοσιακές αρχιτεκτονικές που βασίζονται σε GPU.

Η Υποδομή AI Εκτείνεται Πέρα από τις Παραδοσιακές GPU

Η συνεργασία έρχεται επίσης κατά τη διάρκεια μιας ευρύτερης κυμάτων πειραματισμού στο υλικό AI. Ένας αυξανόμενος αριθμός εταιρειών αναπτύσσει εξειδικευμένους επιταχυντές που επικεντρώνονται ειδικά στην suy luận, την επεξεργασία με κεντρικό σημείο τη μνήμη ή τη δικτύωση AI.

Η d-Matrix έχει διαφοροποιηθεί μέσω της έμφασης της στις τεχνολογίες υπολογισμού στη μνήμη και τα συστήματα suy luận χαμηλής καθυστέρησης που προορίζονται για γεννητικά μοντέλα AI. Η εταιρεία έχει επίσης επεκτείνει την στρατηγική της υποδομής πέρα από τους επιταχυντές alone, τονίζοντας最近 τη δικτύωση, την υποδομή composable και την βελτιστοποίηση του συστήματος για κλάστερ suy luận.

Καθώς οι εφαρμογές AI γίνονται ολοένα και πιο διαδραστικές και αυτονομικές, οι παρόχοι υποδομής αναμένεται να τοποθετήσουν μεγαλύτερη έμφαση στην μείωση της καθυστέρησης, την μείωση της κατανάλωσης ενέργειας και την βελτίωση της απόδοσης του συστήματος σε ολόκληρες στοίβες κέντρων δεδομένων παρά μόνο στην εστίαση στην καθαρή υπολογιστική ισχύ.