Το Άγιο Δισκοπότηρο της Υπολογιστικής Ισχύος στην Τεχνητή Νοημοσύνη

Παρά την απίστευτη πρόοδο, οι δυνατότητες της τεχνητής νοημοσύνης εξακολουθούν να είναι περιορισμένες σε σύγκριση με τις προσδοκίες του πραγματικού κόσμου. Κατασκευάζουμε πολύπλοκα μοντέλα, τρέχουμε νευρωνικά δίκτυα και δοκιμάζουμε αλγόριθμους, ωστόσο η πρόοδος μερικές φορές σταματά εκεί που δεν περιμένουμε.

Το πρόβλημα συχνά δεν έγκειται στους αλγόριθμους ή τα δεδομένα, αλλά στην υπολογιστική ισχύ, τους πόρους που επιτρέπουν στα μοντέλα να μαθαίνουν και να λειτουργούν στην απαραίτητη κλίμακα. Τι κρύβεται λοιπόν πίσω από αυτό το εμπόδιο; Ας εξετάσουμε τον κρίσιμο πόρο χωρίς τον οποίο ακόμη και τα πιο πολλά υποσχόμενα έργα Τεχνητής Νοημοσύνης δεν μπορούν να προχωρήσουν πέρα ​​από το εργαστήριο.

Το υπολογιστικό έλλειμμα και οι συνέπειές του

Για να κατανοήσουμε αυτό το θέμα, ας ξεκινήσουμε με την ιστορία των κινητών επικοινωνιών. Όταν εμφανίστηκαν τα δίκτυα 3G και αργότερα 4G, το διαδίκτυο ήταν ήδη σχεδόν παγκόσμιο. Και όταν εισήχθη το 5G, πολλοί άνθρωποι έθεσαν ένα απολύτως εύλογο ερώτημα: «Το διαδίκτυο θα είναι πιο γρήγορο - αλλά τι γίνεται με αυτό;»

Στην πραγματικότητα, η αύξηση της ταχύτητας του διαδικτύου δεν οφείλεται στην ευκολία των χρηστών. Μεταμορφώνει ολόκληρο το τεχνολογικό τοπίο. Εμφανίζονται περιπτώσεις χρήσης που προηγουμένως ήταν αδύνατες. Το 5G αποδείχθηκε πολύ πιο γρήγορο από το 4G, και αυτό το άλμα δεν ήταν σταδιακό, όπως το άλμα από το 1G στο 2G, αλλά εκθετικό. Ως αποτέλεσμα, μπορούν να εμφανιστούν νέες εφαρμογές, συσκευές και ολόκληρες κατηγορίες τεχνολογίας.

Κάμερες φωτεινών σηματοδοτών, συστήματα ανάλυσης κυκλοφορίας σε πραγματικό χρόνο και αυτοματοποιημένοι μηχανισμοί ρύθμισης της κυκλοφορίας – όλα αυτά καθίστανται δυνατά χάρη στις νέες τεχνολογίες επικοινωνίας. Η αστυνομία αποκτά νέους τρόπους ανταλλαγής δεδομένων και στο διάστημα, τα τηλεσκόπια και οι δορυφόροι μπορούν να μεταδίδουν τεράστιες ποσότητες πληροφοριών στη Γη. Ένα ποιοτικό άλμα σε μια θεμελιώδη τεχνολογία οδηγεί στην ανάπτυξη ολόκληρου του οικοσυστήματος.

Η ίδια αρχή ισχύει και για την υπολογιστική ισχύ. Φανταστείτε τη συνολική υπολογιστική ικανότητα της ανθρωπότητας σε υποθετικές μονάδες. Σήμερα, θα μπορούσαμε να έχουμε, ας πούμε, δέκα τέτοιες μονάδες. Με αυτές, μπορούμε να δημιουργούμε εικόνες και βίντεο, να γράφουμε κείμενα, να δημιουργούμε διαφημιστικό υλικό... Αυτό είναι ήδη σημαντικό, αλλά το εύρος των εφαρμογών είναι κυρίως περιορισμένο.

Τώρα φανταστείτε ότι δεν είχαμε δέκα, αλλά χίλιες τέτοιες μονάδες. Ξαφνικά, τεχνολογίες που προηγουμένως ήταν πολύ ακριβές γίνονται εφικτές και οι νεοσύστατες επιχειρήσεις που εγκαταλείφθηκαν λόγω υψηλού υπολογιστικού κόστους αρχίζουν να έχουν οικονομικό νόημα.

Πάρτε για παράδειγμα το robotaxis. Σήμερα, βασίζονται κυρίως σε σχετικά αδύναμους τοπικούς υπολογιστές που είναι εγκατεστημένοι στο όχημα. Ωστόσο, εάν η ροή βίντεο μεταδιδόταν στο cloud με τεράστιους υπολογιστικούς πόρους, τα δεδομένα θα μπορούσαν να υποστούν επεξεργασία και να επιστραφούν σε πραγματικό χρόνο. Και αυτό είναι κρίσιμο: ένα αυτοκίνητο που κινείται με 100 χλμ./ώρα πρέπει να λαμβάνει αποφάσεις σε κλάσματα του δευτερολέπτου - να πάει ευθεία, να στρίψει, να φρενάρει ή να μην φρενάρει.

Τότε είναι που καθίσταται δυνατή μια πλήρως λειτουργική βιομηχανία ρομποτικών αξόνων, όχι μόνο μεμονωμένες λύσεις όπως αυτές που βλέπουμε σήμερα. Οποιοσδήποτε τοπικός υπολογιστής που είναι εγκατεστημένος σε ένα αυτοκίνητο είναι εγγενώς περιορισμένος με τρόπο που δεν είναι ένα συνδεδεμένο σύστημα. Όσο πιο γρήγορα μπορούμε να τον κλιμακώσουμε, τόσο πιο γρήγορα θα αλλάξει ο κόσμος γύρω μας.

Πρόσβαση σε τσιπ και το «χρυσό εισιτήριο» στην Τεχνητή Νοημοσύνη

Στο πλαίσιο της υπολογιστικής ισχύος, τίθεται το ερώτημα: γίνεται η πρόσβαση σε σύγχρονα τσιπ το «χρυσό εισιτήριο» για την είσοδο στην αγορά της Τεχνητής Νοημοσύνης; Μήπως οι μεγάλοι παίκτες που υπογράφουν συμβάσεις με κατασκευαστές τσιπ ή τα παράγουν οι ίδιοι, δημιουργούν χάσμα μεταξύ των μεγάλων επιχειρήσεων και όλων των άλλων;

Ένα τέτοιο κενό προκύπτει μόνο σε μία περίπτωση: εάν ένα επιχειρηματικό μοντέλο επικεντρώνεται αποκλειστικά στην πώληση τσιπ σε μεγάλους πελάτες. Στην πράξη, κατασκευαστές όπως η NVIDIA στοχεύουν στην παροχή λύσεων cloud για όλους. Τα βελτιστοποιημένα τσιπ τους είναι διαθέσιμα στο cloud τόσο για το OpenAI όσο και για ανεξάρτητους προγραμματιστές.

Ακόμη και οι στρατηγικές συμμαχίες μεταξύ εταιρειών όπως η Google, η Anthropic, η Microsoft, η OpenAI, η Amazon και η NVIDIA είναι πρωτίστως συνεργασίες για κοινή αξιοποίηση πόρων και όχι προσπάθειες αποκλεισμού της αγοράς. Αυτό το μοντέλο επιτρέπει την αποτελεσματική κατανομή της υπολογιστικής ισχύος, επιταχύνοντας έτσι την τεχνολογική ανάπτυξη.

Αν εντοπίσουμε την αλυσίδα χρήσης υπολογιστικών πόρων, αυτή ξεκινά με τον τελικό χρήστη. Για παράδειγμα, όταν χρησιμοποιείτε το WhatsApp για βιντεοκλήσεις και ανταλλαγή μηνυμάτων, η εταιρεία πρέπει να διασφαλίσει ότι η υπηρεσία λειτουργεί: αποθηκεύοντας και επεξεργαζόμενη δεδομένα, εκτελώντας μοντέλα για καθαρισμό βίντεο, προσθέτοντας εφέ και βελτιώνοντας την ποιότητα της εικόνας.

Η συντήρηση ιδιόκτητων διακομιστών είναι δαπανηρή, καθίστανται ξεπερασμένοι και απαιτούν συνεχή συντήρηση. Γι' αυτό έχουν αναδυθεί οι λύσεις cloud, «το cloud». Η αγορά κυριαρχείται από τρεις παίκτες: το Google Cloud, την AWS και την Microsoft Azure. Άλλες εταιρείες δεν μπορούν να ανταγωνιστούν σε αυτό το επίπεδο: η κλίμακα της υποδομής είναι πολύ μεγάλη.

Οι υπηρεσίες cloud είναι τεράστια κέντρα δεδομένων με ψύξη, τροφοδοσία και συντήρηση όλο το 24ωρο. Στεγάζουν διακομιστές και εξειδικευμένα τσιπ από την NVIDIA, την AMD και άλλους κατασκευαστές, επιτρέποντας υπολογιστικές διαδικασίες μεγάλης κλίμακας.

Εδώ φτάνουμε στο βασικό ερώτημα που ανέλυσα στο άρθρο μου προηγούμενη στήλη σχετικά με τα κέντρα δεδομένων, και θέλετε να συνεχίσετε εδώ: ποιο είναι το κύριο σημείο συμφόρησης σε αυτό το σύστημα; Είναι η έλλειψη ηλεκτρικής ενέργειας ή η δυσκολία ψύξης των κέντρων δεδομένων σε περιοχές όπου το κλίμα το καθιστά ιδιαίτερα δύσκολο; Στην πραγματικότητα, το μυστικό βρίσκεται στα ίδια τα τσιπ...

Το ιερό δισκοπότηρο

Γιατί η NVIDIA σήμερα αποτιμάται σε περίπου 5 τρισεκατομμύρια δολάρια και συγκαταλέγεται στις πιο επιτυχημένες εισηγμένες στο χρηματιστήριο εταιρείες στον κόσμο; Ο λόγος είναι απλός: η NVIDIA παράγει τα τσιπ στα οποία εκπαιδεύονται τα μοντέλα τεχνητής νοημοσύνης και εκτελούν συμπερασματολογία.

Κάθε ένα από αυτά τα τσιπ καταναλώνει τεράστιες ποσότητες ηλεκτρικής ενέργειας κατά την εκπαίδευση μεγάλων μοντέλων ή την επεξεργασία συνεχώς αυξανόμενων όγκων δεδομένων. Αλλά πόσο αποτελεσματικά χρησιμοποιείται αυτή η ενέργεια; Εδώ μπαίνουν στο παιχνίδι τα εξειδικευμένα τσιπ. Χειρίζονται συγκεκριμένες εργασίες πολύ πιο αποτελεσματικά από τις GPU γενικής χρήσης.

Τα μοντέλα Τεχνητής Νοημοσύνης διαφέρουν. Το OpenAI, για παράδειγμα, έχει μια οικογένεια μοντέλων, το Anthropic μια άλλη. Οι έννοιες μπορεί να είναι παρόμοιες, αλλά οι μαθηματικές δομές και οι υπολογιστικές διαδικασίες είναι διαφορετικές. Ένα ενιαίο τσιπ γενικής χρήσης, κατά την εκπαίδευση μοντέλων OpenAI (όπως το ChatGPT) έναντι μοντέλων Anthropic (όπως το Claude), λειτουργεί ως ένα «εργαλείο που ταιριάζει σε όλους», καταναλώνοντας, ας πούμε, 100,000 ώρες υπολογισμού για ένα μοντέλο και 150,000 για ένα άλλο. Η απόδοση ποικίλλει σημαντικά και σπάνια είναι βέλτιστη.

Οι εταιρείες λύνουν αυτό το πρόβλημα παράγοντας εξειδικευμένα τσιπ. Για παράδειγμα, ένα τσιπ μπορεί να βελτιστοποιηθεί για την αρχιτεκτονική ChatGPT και να εκπαιδευτεί, ας πούμε, σε 20 λεπτά, ενώ ένα άλλο είναι προσαρμοσμένο στην αρχιτεκτονική της Anthropic και επίσης ολοκληρώνει την εκπαίδευση σε 20 λεπτά. Η κατανάλωση ενέργειας και ο χρόνος εκπαίδευσης μειώνονται πολλαπλά σε σύγκριση με ένα τσιπ γενικής χρήσης.

Όταν αυτά τα τσιπ πωλούνται σε μεγάλες εταιρείες, όπως η Google, η Amazon, η Microsoft ή η Azure, προσφέρονται ως αυτόνομα προϊόντα. Οι χρήστες μπορούν να επιλέξουν, για παράδειγμα, ένα τσιπ βελτιστοποιημένο για ένα μοντέλο YOLO ή ένα απλούστερο, φθηνότερο τσιπ για μια αρχιτεκτονική Xen. Με αυτόν τον τρόπο, οι εταιρείες αποκτούν πρόσβαση σε υπολογιστικούς πόρους που είναι ακριβώς προσαρμοσμένοι στις εργασίες τους, αντί να αγοράζουν GPU γενικής χρήσης. Εάν ένας χρήστης έχει δέκα διαφορετικές λειτουργίες, μπορεί να χρησιμοποιήσει δέκα διαφορετικά εξειδικευμένα τσιπ.

Η τάση είναι σαφής: τα εξειδικευμένα τσιπ αντικαθιστούν σταδιακά τα γενικής χρήσης. Πολλές νεοσύστατες επιχειρήσεις εργάζονται πλέον με ASIC (Application-Specific Integrated Circuits), τσιπ σχεδιασμένα για συγκεκριμένες υπολογιστικές εργασίες. Τα πρώτα ASIC εμφανίστηκαν για την εξόρυξη Bitcoin: αρχικά, η εξόρυξη κρυπτονομισμάτων γινόταν σε GPU NVIDIA, στη συνέχεια δημιουργήθηκαν τσιπ αποκλειστικά για Bitcoin και δεν ήταν σε θέση να εκτελέσουν άλλες εργασίες.

Το βλέπω αυτό στην πράξη: η ίδια διαμόρφωση υλικού μπορεί να παράγει εντελώς διαφορετικά αποτελέσματα ανάλογα με την εργασία. Στην εκκίνηση μου Εσωστρεφής, μελετάμε αυτές τις διαδικασίες σε πραγματικά έργα και ως στρατηγικός σύμβουλος KeymakrΠαρατηρώ πώς οι πελάτες αποκτούν αποτελεσματικότητα από εξειδικευμένα τσιπ, επιτρέποντας στα μοντέλα να εκτελούνται πιο γρήγορα. Έργα που προηγουμένως είχαν σταματήσει κατά την εκπαίδευση ή την εξαγωγή συμπερασμάτων επιτυγχάνουν σταθερά αποτελέσματα με αυτήν την προσέγγιση.

Ωστόσο, η στενή εξειδίκευση ενέχει κινδύνους. Ένα τσιπ βελτιστοποιημένο για την αρχιτεκτονική του Anthropic δεν θα λειτουργήσει για την εκπαίδευση μοντέλων OpenAI και αντίστροφα. Κάθε νέα αρχιτεκτονική απαιτεί μια νέα γενιά υλικού, δημιουργώντας κίνδυνο «απαξίωσης» μεγάλης κλίμακας. Εάν η Anthropic κυκλοφορήσει μια νέα αρχιτεκτονική αύριο, όλα τα τσιπ προηγούμενης γενιάς θα καταστούν αναποτελεσματικά ή άχρηστα. Η παραγωγή νέων τσιπ κοστίζει δισεκατομμύρια δολάρια και μπορεί να διαρκέσει χρόνια.

Αυτό δημιουργεί ένα δίλημμα: πρέπει να κατασκευάσουμε εξειδικευμένα τσιπ που λειτουργούν τέλεια σε ένα περιορισμένο σενάριο ή να συνεχίσουμε να παράγουμε τσιπ γενικής χρήσης που επιλύουν όλες τις εργασίες μέτρια καλά αλλά δεν απαιτούν πλήρη αντικατάσταση όταν αλλάζουν οι αρχιτεκτονικές;

Η απόδοση σε αυτό το πλαίσιο μετριέται με τρεις κύριες παραμέτρους: τον χρόνο λειτουργίας, την κατανάλωση ηλεκτρικής ενέργειας και την παραγωγή θερμότητας. Αυτές οι μετρήσεις σχετίζονται άμεσα: όσο περισσότερο λειτουργεί ένα σύστημα, τόσο περισσότερη ενέργεια καταναλώνει και τόσο περισσότερη θερμότητα παράγει. Η μείωση της μίας παραμέτρου βελτιώνει αυτόματα τις άλλες δύο.

Εδώ βρίσκεται το «άγιο δισκοπότηρο» της απόδοσης της Τεχνητής Νοημοσύνης: εάν τουλάχιστον μία από τις βασικές μετρήσεις αποδοτικότητας μπορεί να βελτιστοποιηθεί, οι άλλες μετρήσεις βελτιώνονται σχεδόν αυτόματα επίσης.

Βιώσιμη διαδικασία

Με την αυξανόμενη χρήση εξειδικευμένων τσιπ, το ζήτημα των κινδύνων υπερπαραγωγής έχει καταστεί πιεστικό. Επί του παρόντος, το πλεόνασμα εξοπλισμού είναι ήδη σημαντικό και οι εταιρείες αντιμετωπίζουν αυτό το ζήτημα με διάφορους βιώσιμους τρόπους, συμπεριλαμβανομένης της επαναχρησιμοποίησης των υφιστάμενων πόρων.

Η ανακύκλωση εξοπλισμού έχει γίνει βασικό στοιχείο της βιώσιμης ανάπτυξης στις βιομηχανίες υψηλής τεχνολογίας. Τα τσιπ περιέχουν σημαντικές ποσότητες πολύτιμων και βασικών μετάλλων, χρυσού, χαλκού, αλουμινίου, παλλαδίου και υλικών σπάνιων γαιών, καθώς και υλικών που χρησιμοποιούνται σε μικροτσίπ και τρανζίστορ. Μόλις ο εξοπλισμός καταστεί απαρχαιωμένος, αυτοί οι πολύτιμοι πόροι μπορούν να επιστραφούν στην παραγωγή, μειώνοντας το κόστος των νέων εξαρτημάτων, μειώνοντας ταυτόχρονα το περιβαλλοντικό αποτύπωμα της βιομηχανίας.

Ορισμένα εξειδικευμένα εργοστάσια και εταιρείες επικεντρώνονται στην ανακύκλωση και την εξόρυξη πολύτιμων μετάλλων από παρωχημένα εξαρτήματα. Για παράδειγμα, ορισμένες εγκαταστάσεις χρησιμοποιούν υδρομεταλλουργικές διεργασίες και προηγμένες χημικές μεθόδους για την εξαγωγή χρυσού και χαλκού με υψηλό βαθμό καθαρότητας, επιτρέποντας την επαναχρησιμοποίηση αυτών των υλικών σε νέα τσιπ.

Επιπλέον, οι εταιρείες εφαρμόζουν μοντέλα κλειστού βρόχου, όπου ο παλιός εξοπλισμός αναβαθμίζεται ή ενσωματώνεται σε νέες λύσεις, μειώνοντας έτσι την ανάγκη για πρωτογενή εξόρυξη πόρων. Τέτοιες προσεγγίσεις όχι μόνο συμβάλλουν στην ελαχιστοποίηση των αποβλήτων, αλλά και στη μείωση του αποτυπώματος άνθρακα της παραγωγής, καθώς η παραδοσιακή εξόρυξη και η επεξεργασία μετάλλων απαιτούν σημαντική ενέργεια.

Η βιώσιμη διαχείριση του κύκλου ζωής των τσιπ και του εξοπλισμού θα μπορούσε να γίνει βιομηχανικό πρότυπο, όπου η τεχνολογική πρόοδος ευθυγραμμίζεται με την περιβαλλοντική ευθύνη.