Η Cornelis παρουσιάζει το CN6000: Τι σημαίνει η δικτύωση 800G για την τεχνητή νοημοσύνη και τους υπερυπολογιστές

Η Cornelis παρουσίασε το CN6000, μια οικογένεια δικτυακών προϊόντων 800 gigabit που έχει σχεδιαστεί για να μειώσει τον χρόνο αναμονής των επιταχυντών τεχνητής νοημοσύνης και των υπερυπολογιστών για δεδομένα. Ο βασικός ισχυρισμός της είναι εντυπωσιακός: έως και 1,6 δισεκατομμύρια μηνύματα το δευτερόλεπτο μέσω του Omni-Path SuperNIC. Για να κατανοήσουμε, ωστόσο, τι σημαίνει αυτό, πρέπει να διακρίνουμε τρεις διαφορετικούς δείκτες επιδόσεων δικτύου: το εύρος ζώνης, τον ρυθμό μηνυμάτων και την καθυστέρηση.

Η ανακοίνωση της 12ης Νοεμβρίου παρουσιάζει τόσο προσαρμογείς Omni-Path όσο και Ethernet, καθώς και έναν μεταγωγέα Omni-Path. Η Cornelis αναφέρει ότι το υλικό είναι διαθέσιμο για αξιολόγηση και πρώτες εγκαταστάσεις, ενώ τα συστήματα συνεργατών αναμένονται το πρώτο τρίμηνο του 2027.

Ο εμπορικός στόχος είναι απλός: οι ακριβοί επεξεργαστές παράγουν περισσότερο χρήσιμο έργο όταν το δίκτυο μπορεί να ανταποκριθεί στον ρυθμό τους. Μια ταχύτερη GPU ελάχιστα μειώνει τον χρόνο μιας κατανεμημένης εργασίας όταν αυτή περιμένει να λάβει αποτέλεσμα από ένα άλλο μηχάνημα.

Τι σημαίνουν στην πράξη τα 800G και τα 1,6 δισεκατομμύρια μηνύματα

Ένα σύμπλεγμα τεχνητής νοημοσύνης είναι μια ομάδα συνδεδεμένων υπολογιστών που συνεργάζονται. Το δίκτυο μεταφέρει τα πάντα, από μεγάλα τμήματα δεδομένων μοντέλων μέχρι μικρά μηνύματα συντονισμού. Οι επιδόσεις του έχουν διάφορες διαστάσεις:

Τα 800G σημαίνουν 800 gigabit ανά δευτερόλεπτο. Η διαίρεση διά του οκτώ δίνει ονομαστική ταχύτητα 100 gigabyte ανά δευτερόλεπτο, πριν συνυπολογιστούν οι επιβαρύνσεις των πρωτοκόλλων και άλλοι πρακτικοί περιορισμοί. Περιγράφει τη χωρητικότητα μεταφοράς δεδομένων, όχι την ταχύτητα με την οποία ένα chatbot παράγει λέξεις.

Ο ρυθμός μηνυμάτων μετρά ένα διαφορετικό σημείο συμφόρησης. Η αποστολή πολλών μικροσκοπικών τμημάτων πληροφορίας απαιτεί από τον προσαρμογέα να επεξεργάζεται πολλές ξεχωριστές λειτουργίες, ακόμη κι όταν αυτές δεν αξιοποιούν όλο το εύρος ζώνης της σύνδεσης. Το ενημερωτικό φυλλάδιο προϊόντος Omni-Path της Cornelis προσδιορίζει τον ρυθμό των 1,6 δισεκατομμυρίων μηνυμάτων ως αμφίδρομο. Πρόκειται για συνολική δυνατότητα και όχι για ισχυρισμό ότι μία εφαρμογή ολοκληρώνει τόσα διαδοχικά αιτήματα κάθε δευτερόλεπτο.

Η καθυστέρηση έχει σημασία όταν ο επόμενος υπολογισμός πρέπει να περιμένει ένα μήνυμα. Στην εσωτερική δοκιμή ping-pong της Cornelis με Intel MPI και μηνύματα 8 byte, η αναφερόμενη καθυστέρηση ήταν 0,95 μικροδευτερόλεπτα για το CN6000, έναντι 1,2 μικροδευτερολέπτων για το NVIDIA InfiniBand XDR στα 800G, δηλαδή περίπου 21% χαμηλότερη. Το MPI, ή αλλιώς Διεπαφή Ανταλλαγής Μηνυμάτων (Message Passing Interface), είναι ένας τυποποιημένος τρόπος επικοινωνίας για παράλληλα επιστημονικά προγράμματα.

Αυτή η δοκιμή μετρά μια συγκεκριμένη ανταλλαγή μικρών μηνυμάτων. Δεν αποδεικνύει ότι μια εργασία εκπαίδευσης, μια προσομοίωση ή μια υπηρεσία εξαγωγής συμπερασμάτων θα ολοκληρωθεί κατά 21% ταχύτερα. Το αποτέλεσμα εξαρτάται από τη συχνότητα επικοινωνίας της εφαρμογής, το μέγεθος των μεταφορών της, τη συμφόρηση και τα υπόλοιπα στοιχεία του συστήματος.

Τι είναι τα SuperNIC, οι μεταγωγείς και τα δικτυακά πλέγματα

Μια κάρτα διασύνδεσης δικτύου, ή NIC, συνδέει έναν διακομιστή με το δίκτυο. Το «SuperNIC» είναι ο όρος που χρησιμοποιεί η Cornelis για τους εξειδικευμένους προσαρμογείς υψηλών επιδόσεων που διαθέτει. Ένας μεταγωγέας συνδέει αυτές τις συνδέσεις διακομιστών και προωθεί δεδομένα μεταξύ τους. Η συνολική διάταξη προσαρμογέων, μεταγωγέων, συνδέσεων και λογισμικού επικοινωνίας αποκαλείται συνήθως δικτυακό πλέγμα.

Η διάκριση αυτή έχει σημασία κατά την αγορά ενός συμπλέγματος. Η εγκατάσταση ενός ικανού προσαρμογέα δεν αναβαθμίζει αυτόματα κάθε μεταγωγέα, καλώδιο ή διαδρομή λογισμικού από την οποία θα διέρχεται η κίνησή του.

Το CN6000 προσφέρει δύο επιλογές δικτυακού πλέγματος. Το Omni-Path είναι μια ειδικά σχεδιασμένη διασύνδεση της Cornelis για παράλληλους υπολογισμούς. Το Ethernet είναι η ευρέως χρησιμοποιούμενη βάση δικτύωσης που γνωρίζουν οι διαχειριστές κέντρων δεδομένων. Ο προσαρμογέας Ethernet απευθύνεται σε πελάτες που επιζητούν επικοινωνία υψηλών επιδόσεων, διατηρώντας παράλληλα συμβατή υποδομή μεταγωγής Ethernet. Το InfiniBand, η τεχνολογία που χρησιμοποιείται στη συγκριτική δοκιμή, είναι ένα ακόμη εξειδικευμένο δικτυακό πλέγμα για υπολογιστικές εφαρμογές· οι μεταγωγείς του δεν είναι εναλλάξιμοι με τους μεταγωγείς Omni-Path.

Επομένως, η πλατφόρμα CN6000 αποτελεί μια οικογένεια εξαρτημάτων και επιλογών εγκατάστασης, όχι εγγύηση ότι οποιοσδήποτε συνδυασμός δικτυακού εξοπλισμού θα έχει το ίδιο αποτέλεσμα.

Πώς το RoCE μεταφέρει δεδομένα με μικρότερη επιβάρυνση του επεξεργαστή

Το Ethernet SuperNIC υλοποιεί το RoCEv2: Απομακρυσμένη άμεση πρόσβαση στη μνήμη μέσω συγκλίνοντος Ethernet, έκδοση δύο. Η βασική ιδέα, το RDMA, επιτρέπει στο υλικό δικτύου να μεταφέρει δεδομένα μεταξύ εξουσιοδοτημένων περιοχών μνήμης σε διαφορετικά μηχανήματα, χωρίς η κεντρική μονάδα επεξεργασίας (CPU) του συστήματος να αντιγράφει κάθε πακέτο δεδομένων μέσω της συμβατικής διαδρομής δικτύωσης.

Σκεφτείτε το σαν να οργανώνετε την απευθείας παράδοση μεταξύ δύο εγκεκριμένων σημείων, αντί να ζητάτε από έναν ενδιάμεσο να παραλαμβάνει και να αντιγράφει επανειλημμένα το περιεχόμενο. Η CPU εξακολουθεί να έχει δουλειά για τη δημιουργία και τη διαχείριση της επικοινωνίας· το όφελος είναι ότι περιορίζεται η συμμετοχή της στην ίδια τη μεταφορά δεδομένων.

Η τεκμηρίωση της NVIDIA για το RoCE εξηγεί ότι η δεύτερη έκδοση μεταφέρει κίνηση RDMA χρησιμοποιώντας κεφαλίδες IP και UDP, επιτρέποντάς της να διέρχεται από δίκτυα IP με δρομολόγηση. Η αποτελεσματική ανάπτυξη εξακολουθεί να εξαρτάται από τη διαμόρφωση του δικτύου και τη συμπεριφορά του υπό συνθήκες συμφόρησης, όχι απλώς από την ύπαρξη μιας θύρας Ethernet.

Το ενημερωτικό δελτίο προϊόντος Ethernet της Cornelis περιγράφει την εκφόρτωση εργασιών στο υλικό, την υποστήριξη μεγάλου αριθμού ταυτόχρονων λειτουργιών και τον Έλεγχο προτεραιότητας ροής. Αυτός ο μηχανισμός ελέγχου ροής μπορεί να διακόπτει προσωρινά επιλεγμένες κατηγορίες κίνησης, ώστε να συμβάλλει στην αποφυγή απώλειας πακέτων. Η ανακοίνωση προβλέπει ότι η υποστήριξη του Ultra Ethernet θα διατεθεί μέσω ενημέρωσης λογισμικού· οι αγοραστές θα πρέπει να διακρίνουν αυτή την προγραμματισμένη δυνατότητα από την αρχική προσφορά RoCEv2.

Γιατί η συμπερασματολογία της τεχνητής νοημοσύνης χρειάζεται να μετακινεί τη μνήμη εργασίας της

Η συμπερασματολογία της τεχνητής νοημοσύνης είναι η διαδικασία χρήσης ενός εκπαιδευμένου μοντέλου για την παραγωγή απάντησης. Για ένα γλωσσικό μοντέλο, περιλαμβάνει την προπλήρωση, κατά την οποία γίνεται επεξεργασία της προτροπής, και την αποκωδικοποίηση, κατά την οποία παράγεται η απάντηση ένα διακριτικό τη φορά.

Ορισμένα συστήματα εξυπηρέτησης εκτελούν αυτά τα στάδια σε ξεχωριστές ομάδες επεξεργαστών, ώστε κάθε ομάδα να μπορεί να προσαρμοστεί στις απαιτήσεις της εργασίας της. Αυτό ονομάζεται διαχωρισμένη συμπερασματολογία. Ο διαχωρισμός συνεπάγεται μια μεταβίβαση: οι πληροφορίες που υπολογίζονται κατά την ανάγνωση της προτροπής πρέπει να φτάσουν στους επεξεργαστές που παράγουν την απάντηση.

Αυτές οι πληροφορίες περιλαμβάνουν την κρυφή μνήμη κλειδιών-τιμών, που συνήθως αποκαλείται εν συντομία κρυφή μνήμη KV. Αποθηκεύει ενδιάμεσα δεδομένα προσοχής, ώστε το μοντέλο να μπορεί να επαναχρησιμοποιεί προηγούμενους υπολογισμούς. Δεν αποτελεί ούτε το σύνολο των βαρών του μοντέλου ούτε απλώς ένα αποθηκευμένο αντίγραφο του κειμένου της συνομιλίας.

Η τεκμηρίωση του Dynamo της NVIDIA περιγράφει τη σειρά των βημάτων: επεξεργασία της προτροπής, μεταφορά της κρυφής μνήμης KV και, στη συνέχεια, παραγωγή διακριτικών στον εργαζόμενο κόμβο αποκωδικοποίησης. Οι ταχύτερες μεταφορές μπορούν να κάνουν αυτόν τον διαχωρισμό πιο πρακτικό. Ωστόσο, η μεταφορά της κρυφής μνήμης προσθέτει και η ίδια επιβάρυνση, οπότε ο διαχωρισμός είναι χρήσιμος όταν τα οφέλη στον προγραμματισμό εργασιών και στο υλικό υπερτερούν του κόστους της μεταβίβασης.

Διατήρηση της ροής της κίνησης όταν οι ζεύξεις επιβαρύνονται

Στο Omni-Path, το CN6000 χρησιμοποιεί έλεγχο ροής βάσει πιστώσεων: ο αποστολέας μεταδίδει δεδομένα ανάλογα με τη διαθέσιμη χωρητικότητα στην πλευρά του παραλήπτη. Η προσαρμοστική δρομολόγηση μπορεί να κατανέμει την κίνηση στις διαθέσιμες διαδρομές, ενώ τα πολλαπλά δικτυακά επίπεδα παρέχουν ξεχωριστές διαδρομές μέσα στο ύφασμα δικτύου.

Το ενημερωτικό δελτίο του Omni-Path περιγράφει δύο ανεξάρτητες διαδρομές δεδομένων 400G, οι οποίες παρέχουν συνολικά εύρος ζώνης 800G. Αν απαιτηθεί συντήρηση στο ένα επίπεδο, το άλλο μπορεί να παραμείνει διαθέσιμο, αν και η απώλεια μέρους του δικτύου δεν διατηρεί την αρχική πλήρη χωρητικότητά του.

Η πλατφόρμα περιλαμβάνει επίσης ρίζα εμπιστοσύνης υλοποιημένη στο υλικό, ασφαλή εκκίνηση και πιστοποίηση της συσκευής. Αυτά συμβάλλουν στην επιβεβαίωση ότι το υλικολογισμικό και η ταυτότητα της συσκευής είναι αξιόπιστα. Η χρήση μετακβαντικών ψηφιακών υπογραφών αφορά την πιστοποίηση ταυτότητας και την ακεραιότητα· δεν θα πρέπει να εκληφθεί ως γενικός ισχυρισμός ότι κάθε φορτίο δεδομένων του δικτύου είναι κρυπτογραφημένο.

Η επιλογή ανάπτυξης δεν αφορά μόνο τη μέγιστη ταχύτητα

Το CN6000 αποτελεί συνέχεια της προηγούμενης δουλειάς της Cornelis στον οριζόντια κλιμακούμενο δικτυακό εξοπλισμό, συμπεριλαμβανομένης της διευρυμένης συνεργασίας με την AMD για επιστημονικούς υπολογισμούς. Η ελκυστικότητά του έγκειται στον συνδυασμό διασυνδέσεων υψηλών επιδόσεων με ευρύτερη επιλογή επεξεργαστών και δικτυακών περιβαλλόντων.

Για τους αγοραστές, η χρήσιμη σύγκριση αφορά τον χρόνο και το κόστος που απαιτούνται για την ολοκλήρωση του δικού τους φόρτου εργασίας. Μια προσομοίωση που ανταλλάσσει επανειλημμένα μικρές ενημερώσεις μπορεί να ωφεληθεί από χαμηλότερο λανθάνοντα χρόνο και υψηλότερους ρυθμούς μηνυμάτων. Μια υπηρεσία που μεταφέρει μεγάλες κρυφές μνήμες μπορεί να ενδιαφέρεται περισσότερο για τη σταθερή ταχύτητα μεταφοράς και τη συμφόρηση. Και οι δύο χρειάζονται κατάλληλο ύφασμα δικτύου, λειτουργική υποστήριξη λογισμικού και κατάλληλα πιστοποιημένες διαμορφώσεις διακομιστών.

Η ανακοίνωση του CN6000 προσθέτει μία ακόμη επιλογή για την ανάπτυξη τέτοιων συστημάτων. Οι μέγιστες επιδόσεις του υποδεικνύουν δυνατότητες που αξίζει να δοκιμαστούν· το πρακτικό όφελος είναι να παραμένει μεγαλύτερο μέρος της υπολογιστικής ισχύος παραγωγικό όσο εκτελούνται πραγματικές εφαρμογές.