Infineon Technologies και d-Matrix Συνεργάζονται για Υποδομή AI με Χαμηλή Καθυστέρηση

Infineon Technologies έχει ανακοινώσει μια συνεργασία με d-Matrix που επικεντρώνεται στη βελτίωση της απόδοσης και της ενεργειακής αποδοτικότητας των συστημάτων suy luận AI που χρησιμοποιούνται σε σύγχρονα κέντρα δεδομένων. Η συνεργασία επικεντρώνεται γύρω από το πλατφόρμα Corsair AI suy luận της d-Matrix και τα δίδυμα μονά OptiMOS της Infineon, τα οποία σχεδιάστηκαν για να υποστηρίξουν περιβάλλοντα υπολογισμού υψηλής πυκνότητας για διαδραστικά φορτία εργασίας AI.

Η ανακοίνωση υπογραμμίζει μια αυξανόμενη μετατόπιση μέσα στην βιομηχανία υλικού AI. Ενώ μεγάλο μέρος της ανάπτυξης υποδομής τα τελευταία χρόνια επικεντρώθηκε στην εκπαίδευση ολοένα και μεγαλύτερων μοντέλων AI, η βιομηχανία τώρα επεκτείνεται γρήγορα στην suy luận — τη διαδικασία εκτέλεσης μοντέλων σε πραγματικές εφαρμογές όπως chatbots, συστήματα AI, συν-πιλότοι, αναζήτηση, οικονομική ανάλυση και υποστήριξη λήψης αποφάσεων για την υγεία. Αυτά τα φορτία εργασίας τοποθετούν διαφορετικές απαιτήσεις στο υλικό, ιδιαίτερα γύρω από την καθυστέρηση, την απόκριση και την κατανάλωση ενέργειας.

Γιατί το Suy luận AI Γίνεται Ένας Μεγάλος Αγώνας Υλικού

Το Suy luận AI έχει αναδυθεί ως ένας από τους ταχύτερα αναπτυσσόμενους τομείς της αγοράς υποδομής AI, επειδή τα διαδραστικά συστήματα AI απαιτούν απαντήσεις σε χιλιοστά του δευτερολέπτου και όχι δευτερόλεπτα. Η d-Matrix έχει τοποθετήσει το Corsair ειδικά για αυτά τα φορτία εργασίας, τονίζοντας την υπερ-χαμηλή καθυστέρηση και την ενεργειακά αποδοτική suy luận για μεγάλα μοντέλα γλωσσών και πράκτορες AI.

Σύμφωνα με την d-Matrix, το Corsair σχεδιάστηκε γύρω από μια ψηφιακή αρχιτεκτονική υπολογισμού στη μνήμη που προορίζεται να μειώσει τα μπουκάλια μνήμης που συχνά επιβραδύνουν την suy luận γεννητικών AI. Η εταιρεία ισχυρίζεται ότι η πλατφόρμα μπορεί να μειώσει σημαντικά την καθυστέρηση και να βελτιώσει την απόδοση σε σύγκριση με τα παραδοσιακά συστήματα suy luận που βασίζονται σε GPU, ιδιαίτερα για διαδραστικές εφαρμογές.

Η συνεργασία με την Infineon αντιμετωπίζει ένα άλλο αυξανόμενο κρίσιμο πρόβλημα: την παράδοση ενέργειας.

Καθώς οι 서버 AI συνεχίζουν να αυξάνονται σε πυκνότητα, η αποτελεσματική παράδοση ενέργειας στους επιταχυντές έχει γίνει ένας περιοριστικός παράγοντας για την κλιμάκωση της υποδομής. Τα μονά OptiMOS TDM2254xx της Infineon σχεδιάστηκαν για αρχιτεκτονικές παράδοσης ενέργειας που βοηθούν στη μείωση των ηλεκτρικών απωλειών ενώ βελτιώνουν την πυκνότητα ενέργειας μέσα σε συμπαγή συστήματα сервер.

Η Μετατόπιση προς τα Πραγματικά Συστήματα AI

Οι εταιρείες πλαισίωσαν τη συνεργασία γύρω από την άνοδο του “διαδραστικού AI”, όπου τα συστήματα suy luận πρέπει να παράγουν συνεχώς εξόδους με εξαιρετικά χαμηλή καθυστέρηση. Αυτό περιλαμβάνει συνομιλητικά συστήματα AI, πράκτορες AI, συστήματα λογικής σε πραγματικό χρόνο και εφαρμογές που απαιτούν γρήγορη γεννήτρια token από μεγάλα μοντέλα γλωσσών.

Ο ιδρυτής και διευθύνων σύμβουλος της d-Matrix, Sid Sheth, είπε ότι η αρχιτεκτονική πίσω από το Corsair χτίστηκε ειδικά για καθυστέρηση token κάτω από 2 χιλιοστά του δευτερολέπτου, ένα μέτρο που έχει γίνει ολοένα και πιο σημαντικό καθώς οι επιχειρήσεις μεταφέρουν τα συστήματα AI από πειραματικά περιβάλλοντα σε περιβάλλοντα που αφορούν τους πελάτες.

Η ευρύτερη βιομηχανία AI αρχίζει επίσης να αναγνωρίζει ότι η υποδομή suy luận μπορεί να εξελιχθεί διαφορετικά από την υποδομή εκπαίδευσης. Ενώ τα κλάστερ GPU κυριαρχούσαν στην πρώτη φάση της επέκτασης των γεννητικών AI, η suy luận ολοένα και περισσότερο ανταμείβει αρχιτεκτονικές που βελτιστοποιούνται γύρω από την εύρος ζώνης μνήμης, την καθυστέρηση, τη δικτύωση και την ενεργειακή αποδοτικότητα plutôt από τη seule υπολογιστική δύναμη.

Η Ενεργειακή Αποδοτικότητα Γίνεται Κεντρική για την Κλιμάκωση του AI

Ένας από τους μεγαλύτερους περιορισμούς που αντιμετωπίζουν οι υπερ-κλιμακωτές και οι παρόχοι AI cloud είναι η ζήτηση ηλεκτρικής ενέργειας. Τα φορτία εργασίας suy luận AI μπορούν να τρέχουν συνεχώς σε εκατομμύρια αιτήματα την ημέρα, καθιστώντας την λειτουργική αποδοτικότητα κρίσιμη για το κόστος ανάπτυξης.

Η Infineon έχει επεκτείνει αγрессίβως τη θέση της στην υποδομή AI μέσω τεχνολογιών ημιαγωγών που βασίζονται στο πυρίτιο, το καρβίδιο του πυριτίου (SiC) και το νιτρίδιο του γαλλίου (GaN). Η εταιρεία έχει επικεντρωθεί ολοένα και περισσότερο στην παροχή του στρώματος παράδοσης ενέργειας κάτω από τους επιταχυντές AI και την υποδομή του сервер.

Η συνεργασία με την d-Matrix αντανακλά πώς οι εταιρείες ημιαγωγών γίνονται ολοένα και πιο στενά ενσωματωμένες με τις startups επιταχυντών AI καθώς η βιομηχανία αναζητά εναλλακτικές λύσεις στις συμβατικές αρχιτεκτονικές που βασίζονται σε GPU.

Η Υποδομή AI Εκτείνεται Πέρα από τις Παραδοσιακές GPU

Η συνεργασία φτάνει επίσης κατά τη διάρκεια ενός ευρύτερου κύματος πειραματισμού στο υλικό AI. Ένας αυξανόμενος αριθμός startups αναπτύσσει ειδικούς επιταχυντές που επικεντρώνονται ειδικά στην suy luận, την υπολογιστική με κεντρικό σημείο τη μνήμη ή τη δικτύωση AI.

d-Matrix έχει διαφοροποιηθεί μέσω της έμφασης της στις τεχνολογίες υπολογισμού στη μνήμη και τα συστήματα suy luận χαμηλής καθυστέρησης που προορίζονται για γεννητικά μοντέλα AI. Η εταιρεία έχει επίσης επεκτείνει την στρατηγική της για την υποδομή πέρα από τους επιταχυντές μόνο, τόνιζοντας πρόσφατα τη δικτύωση, την υποδομή που μπορεί να αναδιαμορφωθεί και την πλήρη βελτιστοποίηση του συστήματος για κλάστερ suy luận.

Καθώς οι εφαρμογές AI γίνονται ολοένα και πιο αυτονομικές και διαδραστικές, οι παρόχοι υποδομής αναμένεται να δώσουν μεγαλύτερη έμφαση στη μείωση της καθυστέρησης, τη μείωση της κατανάλωσης ενέργειας και τη βελτίωση της αποδοτικότητας του συστήματος σε ολόκληρους στακ κέντρων δεδομένων παρά να επικεντρώνονται αποκλειστικά στην καθαρή υπολογιστική δύναμη.