Σταματήστε να σχεδιάζετε την υποδομή AI γύρω από την GPU

Γιατί οι MSP πρέπει να ξεκινούν με το φορτίο εργασίας, όχι με το υλικό

Περάστε πέντε λεπτά σε ένα συνέδριο AI και θα μπορούσατε εύκολα να φύγετε πιστεύοντας ότι κάθε επιτυχημένη υλοποίηση AI ξεκινά με την αγορά περισσότερων GPU. Είναι εύκολο να το καταλάβουμε. Το υλικό κυριαρχεί στη συζήτηση. Οι πελάτες ακούν για συστήματα Blackwell, υφές InfiniBand, υπερκλιμακούμενα σύννεφα και ολοένα και μεγαλύτερους συγκεντρωτές AI. Οι προμηθευτές φυσικά προτιμούν τα πιο πρόσφατα επιταχυντές και τα ταχύτερα συστήματα επειδή είναι συναρπαστικά, σχετικώς σημαντικά και σχετικά εύκολο να τοποθετηθούν στην αγορά.

Το πρόβλημα δεν είναι ότι η υπολογιστική ισχύς δεν έχει σημασία. Έχει τεράστια σημασία.

Το πρόβλημα είναι ότι ξεκινώντας από εκεί μπορεί να οδηγήσει τις οργανώσεις στο να θέτουν το λάθος ερώτημα. Η αγορά AI δεν βρίσκεται πια στη φάση πειραματισμού. Η AI τίθεται σε παραγωγή, οι εταιρείες επενδύουν πραγματικά χρήματα και αναμένουν μετρήσιμα επιχειρηματικά αποτελέσματα. Οι αποφάσεις υποδομής έχουν γίνει πολύ πιο καθοριστικές από ό,τι πριν από δύο χρόνια. Ωστόσο, δεν επαρκεί ο αριθμός των αποφάσεων που καθοδηγούνται από επιχειρηματικές απαιτήσεις – οι τεχνολογικές αποφάσεις παραμένουν κυρίαρχες.

Η πρώτη ερώτηση δεν πρέπει να είναι «Ποια GPU πρέπει να αγοράσουμε;»

Η εστίαση πρέπει να είναι στο «Ποιο φορτίο εργασίας προσπαθούμε να υποστηρίξουμε;»

Αυτή η φαινομενικά μικρή αλλαγή επηρεάζει σχεδόν κάθε απόφαση υποδομής που ακολουθεί.

Δεν Υπάρχει Κανονική Υποδομή AI

Μία από τις μεγαλύτερες παρερμηνείες στην αγορά είναι ότι υπάρχει ένα τυποποιημένο σχέδιο για την υποδομή AI. Δεν υπάρχει.

Μιλάμε για AI σαν να ήταν ένα ενιαίο φορτίο εργασίας. Στην πραγματικότητα, η AI περιλαμβάνει ένα τεράστιο φάσμα επιχειρηματικών εφαρμογών με πολύ διαφορετικές απαιτήσεις. Μια πλατφόρμα φωνητικής AI δεν έχει τις ίδιες απαιτήσεις υποδομής με την ιατρική απεικόνιση. Η ανάκτηση γνώσης διαφέρει από τη δημιουργία εικόνας. Η ανίχνευση απάτης δεν μοιάζει με την προβλεπτική ανάλυση, και καμία δεν μοιάζει με την επεξεργασία βίντεο. Όλες χρησιμοποιούν AI. Απλώς χρησιμοποιούν διαφορετικά την υποδομή.

Δεν σχεδιάζετε πραγματικά υποδομή για «AI». Σχεδιάζετε υποδομή για μια επιχειρηματική εφαρμογή που τυχαία χρησιμοποιεί AI. Αυτή η διάκριση έχει σημασία. Κάθε φορτίο εργασίας επιβάλλει μοναδικές απαιτήσεις στην υποδομή που το υποστηρίζει. Κάποια απαιτούν σημαντικούς υπολογιστικούς πόρους. Άλλα εξαρτώνται σε μεγάλο βαθμό από την απόδοση αποθήκευσης, επειδή ανακτούν συνεχώς μεγάλα σύνολα δεδομένων. Κάποια περιορίζονται από το εύρος ζώνης του δικτύου, ενώ άλλα μπορεί να ζήσουν ή να πεθάνουν λόγω της καθυστέρησης, καθώς κάθε χιλιοσκοπικό δευτερόλεπτο επηρεάζει την εμπειρία του πελάτη.

Υπάρχει επίσης μια πρακτική πραγματικότητα. Η υποδομή για την οποία σχεδιάστηκε ένα μοντέλο δεν είναι πάντα η υποδομή διαθέσιμη όταν ήρθε η ώρα για υλοποίηση. Η διαθεσιμότητα υλικού, οι μακροχρόνιες προθεσμίες ή οι προθεσμίες υλοποίησης μπορούν να αναγκάσουν τις οργανώσεις να χρησιμοποιήσουν διαφορετικές GPU, επιταχυντές ή διαμορφώσεις υποδομής από αυτές που είχαν αρχικά προγραμματιστεί. Αυτό μπορεί να σημαίνει επαναβελτιστοποίηση του μοντέλου. Ή ακόμη και επανασχεδιασμό του μοντέλου γύρω από το υλικό που μπορούν πραγματικά να υλοποιήσουν.

Οι απαιτήσεις ασφαλείας και διακυβέρνησης είναι εξίσου ειδικές για κάθε φορτίο εργασίας. Μια εφαρμογή που επεξεργάζεται δημόσιες πληροφορίες έχει πολύ διαφορετικές απαιτήσεις από αυτή που διαχειρίζεται χρηματοοικονομικές συναλλαγές, ιατρικά αρχεία ή ιδιόκτητη πνευματική ιδιοκτησία. Η προστασία δεδομένων, η διαχείριση ταυτοτήτων και πρόσβασης, η συμμόρφωση, η κυριαρχία, η δημιουργία αντιγράφων ασφαλείας, η αποκατάσταση και η διαθεσιμότητα δεν μπορούν απλώς να προστεθούν μετά την υλοποίηση. Είναι αρχιτεκτονικές αποφάσεις.

Οι επιχειρηματικές απαιτήσεις προσθέτουν ένα ακόμη επίπεδο. Πόσο γρήγορα θα χρειαστεί η εφαρμογή να κλιμακωθεί; Ποιο είναι το βιώσιμο λειτουργικό κόστος; Ποιο επίπεδο διαθεσιμότητας απαιτεί η επιχείρηση; Πόση πολυπλοκότητα μπορεί η οργάνωση να διαχειριστεί ρεαλιστικά; Αυτές οι ερωτήσεις θα απαντηθούν διαφορετικά από κάθε πελάτη. Γι’ αυτό δεν υπάρχει μια «μία λύση για όλους» υποδομή AI.

Οι οργανώσεις που ξεκινούν με ένα προτιμώμενο σύννεφο, πλατφόρμα υλικού ή προμηθευτή δεν καταφέρνουν τη σωστή υποδομή AI. Οι ηγέτες ξεκινούν με το φορτίο εργασίας και σχεδιάζουν μια αρχιτεκτονική γύρω από τον επιχειρηματικό στόχο.

Η Εκπαίδευση Κερδίζει τις Επικεφαλίδες. Η Εξαγωγή Παρέχει την Επιχειρηματική Αξία.

Η γοητεία της βιομηχανίας για την εκπαίδευση είναι ένας ακόμη λόγος που οι συζητήσεις για την υποδομή AI μπορούν να κατευθυνθούν λανθασμένα.

Η εκπαίδευση ενός μεγάλου γλωσσικού μοντέλου αποτελεί μια εξαιρετική τεχνική πρόκληση. Απαιτούνται τεράστια σύνολα δεδομένων, τεράστιοι συγκεντρωτές GPU, σημαντική ενέργεια και υποδομή ικανή να λειτουργεί σε πλήρη χωρητικότητα για ημέρες, εβδομάδες ή ακόμη και μήνες. Είναι δαπανηρή, τεχνικά εντυπωσιακή και φυσικά τραβά την προσοχή.

Ωστόσο, οι περισσότερες οργανώσεις δεν χτίζουν το επόμενο μοντέλο αιχμής. Δημιουργούν εφαρμογές εξυπηρέτησης πελατών, συστήματα φωνητικής AI, βοηθούς υπαλλήλων, βοηθούς γνώσης, εργαλεία αναζήτησης, πλατφόρμες σύνοψης εγγράφων, συστήματα ανίχνευσης απάτης και δεκάδες άλλες πρακτικές εφαρμογές χρησιμοποιώντας μοντέλα που έχουν ήδη εκπαιδευτεί.

Αυτά είναι φορτία εξαγωγής, και η εξαγωγή αλλάζει την εξίσωση της υποδομής. Αντί να βελτιστοποιείται αποκλειστικά για μέγιστη υπολογιστική ισχύ, οι οργανώσεις ίσως χρειαστούν βελτιστοποίηση για γρήγορους χρόνους απόκρισης, χαμηλή καθυστέρηση, προβλέψιμα λειτουργικά κόστη και συνεπή απόδοση.

Ένας πελάτης δεν ενδιαφέρεται πόσο ισχυρή είναι η υποκείμενη GPU εάν ένα chatbot χρειάζεται πέντε δευτερόλεπτα για να απαντήσει. Ένας καλών δεν ενδιαφέρεται για τις προδιαγραφές του συγκεντρωτή AI εάν ένας φωνητικός βοηθός παρερμηνεύει επανειλημμένα αιτήματα ή διστάζει κατά τη διάρκεια μιας συνομιλίας. Απλώς γνωρίζουν ότι η εφαρμογή δεν αποδίδει καλά.

Ο σχεδιασμός κάθε περιβάλλοντος AI σαν να εκπαιδεύετε ένα μοντέλο βάσης είναι επομένως συνήθως η λανθασμένη προσέγγιση και συχνά μια περιττά δαπανηρή.

Ο στόχος των περισσότερων πελατών MSP δεν είναι να χτίσουν τον μεγαλύτερο συγκεντρωτή GPU του κόσμου. Η στόχευση είναι η γρήγορη, αξιόπιστη, ασφαλής και οικονομική παραγωγή εφαρμογών AI.

Η πρόκληση είναι η εύρεση της σωστής ισορροπίας μεταξύ απόδοσης, ασφάλειας, κλιμακωσιμότητας, ανθεκτικότητας και κόστους για τα φορτία εργασίας που εκτελούν πραγματικά.

Ίσως η GPU Δεν Είναι το Στενό Μπουσόν Σας

Οι GPU έχουν γίνει το αστέρι της υποδομής AI. Είναι ακριβές, δύσκολο να αποκτηθούν και εύκολο να συγκριθούν, κάτι που τις καθιστά το κεντρικό σημείο αμέτρητων συζητήσεων υποδομής. Ωστόσο, η GPU μπορεί να μην είναι αυτό που περιορίζει την ανάπτυξη μιας εφαρμογής AI όταν φτάσει στην παραγωγή.

«Πόσες GPU χρειαζόμαστε;» δεν είναι η ερώτηση που πρέπει να θέτουμε· η σωστή ερώτηση είναι «Τι θα επιβραδύνει αυτή την εφαρμογή σε έξι μήνες;»

Η απάντηση μπορεί επίσης να βρίσκεται κάπου αλλού στην αρχιτεκτονική.

Η αποθήκευση είναι ένα καλό παράδειγμα. Τεράστιες ποσότητες δεδομένων καταναλώνονται από τα φορτία εργασίας AI – και αυτά τα σύνολα δεδομένων αυξάνονται με τον χρόνο. Ακόμη και μια εξαιρετικά ισχυρή GPU μπορεί να περνά πολύτιμο χρόνο σε αναμονή αντί για επεξεργασία, εάν η αποθήκευση δεν μπορεί να παρέχει πληροφορίες γρήγορα αρκετά. Τα δεδομένα αυτά πρέπει επίσης να προστατεύονται, να δημιουργούνται αντίγραφα ασφαλείας, να διατηρούνται, να ασφαλίζονται και να διαχειρίζονται καθ’ όλη τη διάρκεια ζωής τους.

Το ίδιο ισχύει και για το δίκτυο. Το εύρος ζώνης, η καθυστέρηση, η κυκλοφορία east‑west και η επικοινωνία μεταξύ συγκεντρωτών AI επηρεάζουν όλες την απόδοση της εφαρμογής. Ένα καλά σχεδιασμένο περιβάλλον υπολογισμού δεν μπορεί να αποζημιώσει επ’ άπειρον ένα κακώς σχεδιασμένο δίκτυο.

Επιπλέον, η ασφάλεια πρέπει να αποτελεί μέρος της αρχιτεκτονικής από την αρχή. Ερωτήματα που πρέπει να απαντηθούν πριν την παραγωγή περιλαμβάνουν: πού αποθηκεύονται τα ευαίσθητα δεδομένα, πώς τμηματοποιούνται τα δίκτυα, εάν τα φορτία εργασίας επικοινωνούν μέσω ιδιωτικής ή δημόσιας συνδεσιμότητας, και πώς αντιμετωπίζονται οι απαιτήσεις συμμόρφωσης και κυριαρχίας.

Ένας άλλος εύκολα παραβλεπόμενος παράγοντας είναι η συνδεσιμότητα. Αν και δεν δημιουργούν εντυπωσιακές επικεφαλίδες, η ποικιλία οπτικών ινών, η ποικιλία διαδρομών, οι σχέσεις περιήγησης και η γεωγραφική εγγύτητα μπορούν να επηρεάσουν κρίσιμα την εμπειρία του χρήστη – πόσο μάλλον την ανθεκτικότητα της πλατφόρμας.

Οι τελικοί πελάτες δεν ξέρουν και δεν τους ενδιαφέρει ποια GPU βρίσκεται στο ράφι. Σημαίνει αν η εφαρμογή ανταποκρίνεται άμεσα ή τους αφήνει να περιμένουν.

Η φυσική υποδομή αξίζει επίσης προσοχή. Η διαθεσιμότητα ισχύος, η χωρητικότητα ψύξης, η πυκνότητα ραφιών και η δυνατότητα επέκτασης καθορίζουν αν η σημερινή επιτυχημένη υλοποίηση μπορεί να φιλοξενήσει την αύξηση του αύριο.

Στη συνέχεια υπάρχει η βαρύτητα των δεδομένων. Καθώς τα σύνολα δεδομένων επεκτείνονται, η μετακίνηση πεταμπάιτ πληροφορίας μεταξύ τοποθεσιών, απλώς επειδή η υπολογιστική ισχύς βρίσκεται κάπου αλλού, γίνεται ολοένα και πιο αναποτελεσματική. Σε πολλές περιπτώσεις, η μεταφορά της υπολογιστικής κοντά στα δεδομένα μπορεί να είναι πιο πρακτική και λιγότερο δαπανηρή.

Αυτός είναι ο λόγος που η αρχιτεκτονική έχει σημασία.

Σκεφτείτε ένα αγωνιστικό αυτοκίνητο – το ότι έχει τον καλύτερο κινητήρα δεν σημαίνει ότι θα κερδίσει. Η μετάδοση, τα ελαστικά, η ανάρτηση, η πίστα και, ιδιαίτερα, ο οδηγός, όλα έχουν σημασία. Η υποδομή AI λειτουργεί με παρόμοιο τρόπο.

Οι οργανώσεις που δημιουργούν τη μεγαλύτερη αξία από την AI δεν θα είναι απαραίτητα εκείνες με τους μεγαλύτερους συγκεντρωτές GPU. Θα είναι εκείνοι που κατανοούν πώς κάθε επίπεδο της υποδομής συνεργάζεται.

Αυτή είναι η διαφορά μεταξύ αγοράς υποδομής και σχεδιασμού της.

Πλαίσιο Σχεδιασμού με Προτεραιότητα το Φορτίο Εργασίας

Οι MSP έχουν την ευκαιρία να αλλάξουν τη συζήτηση για την υποδομή.

Αντί να ξεκινάτε με:

• Ποια GPU;
• Ποιο σύννεφο;
• Ποιος προμηθευτής;

Ξεκινήστε με το φορτίο εργασίας:

• Ποιο επιχειρηματικό πρόβλημα λύνουμε;
• Πρόκειται για φορτίο εκπαίδευσης ή εξαγωγής;
• Ποια καθυστέρηση μπορεί να αντέξει η εφαρμογή;
• Πού βρίσκονται τα δεδομένα και πόσο γρήγορα θα αυξηθούν;
• Ποιες απαιτήσεις ασφαλείας, συμμόρφωσης και κυριαρχίας ισχύουν;
• Πώς θα κλιμακωθεί το φορτίο εργασίας;
• Ποιο επίπεδο διαθεσιμότητας απαιτεί η επιχείρηση;
• Ποιο επίπεδο λειτουργικού κινδύνου είναι αποδεκτό;
• Πόσο θα κοστίσει η λειτουργία αυτού του περιβάλλοντος καθώς αυξάνεται η χρήση;

Οι απαντήσεις πρέπει να καθορίζουν την αρχιτεκτονική. Όχι το αντίστροφο.

Η Ευκαιρία για τους MSP

Αυτή η αλλαγή αλλάζει το ρόλο του MSP.

Οι πελάτες δεν χρειάζονται έναν ακόμη συνεργάτη που μπορεί να πουλήσει υποδομή. Χρειάζονται έναν συνεργάτη που μπορεί να τους βοηθήσει να λαμβάνουν καλύτερες αποφάσεις υποδομής.

Μια προσέγγιση με προτεραιότητα το φορτίο εργασίας είναι απαραίτητη, καθώς δίνει στους MSP την ευκαιρία να αξιολογήσουν υπολογιστική ισχύ, αποθήκευση, δικτύωση, συνδεσιμότητα, ασφάλεια, τοποθεσία δεδομένων, διαθεσιμότητα και κόστος ως μέρη μιας ενιαίας αρχιτεκτονικής – αντί για ξεχωριστές αποφάσεις αγοράς.

Με αυτόν τον τρόπο, μπορείτε να ελέγχετε το κόστος, να βελτιώνετε την απόδοση και να εντοπίζετε λειτουργικούς και ασφαλείας κινδύνους πριν οι εφαρμογές φτάσουν στην παραγωγή.

Δημιουργείται επίσης ένα καλύτερο επιχειρηματικό μοντέλο για τον MSP.

Οι MSP μπορούν να δημιουργήσουν υψηλότερης αξίας επαναλαμβανόμενες υπηρεσίες γύρω από την αρχιτεκτονική, την υλοποίηση, τη βελτιστοποίηση, την ασφάλεια, τη διαχείριση κύκλου ζωής, τον προγραμματισμό χωρητικότητας και τη συνεχή βελτίωση – αντί να ανταγωνίζονται κυρίως με τη μείωση των περιθωρίων υλικού.

Η αξία δεν βρίσκεται στην πρόταση της πιο πρόσφατης GPU ή της πιο νέας πλατφόρμας σύννεφου. Βρίσκεται στο να γνωρίζετε πότε ένας πελάτης τις χρειάζεται, πότε όχι, και τι άλλο πρέπει να σχεδιαστεί γύρω από αυτές.

Η υποδομή AI τελικά δεν είναι απόφαση υλικού. Είναι απόφαση αρχιτεκτονικής που καθοδηγείται από το φορτίο εργασίας, τα δεδομένα και το επιχειρηματικό αποτέλεσμα που ο πελάτης προσπαθεί να πετύχει.

Οι MSP που κατανοούν αυτή τη διάκριση θα βρεθούν σε θέση να γίνουν κάτι πολύ πιο πολύτιμο από τους προμηθευτές υποδομής.

Θα γίνουν οι άνθρωποι που οι πελάτες εμπιστεύονται για να βοηθήσουν να αποφασίσουν ποια υποδομή χρειάζονται πραγματικά.