Το Άγιον Δισκοπότηρο της Υπολογιστικής Ισχύος στο AI

Παρά την απίστευτη πρόοδο, οι ικανότητες του τεχνητού νοημοσύνης παραμένουν ακόμη περιορισμένες σε σύγκριση με τις προσδοκίες του πραγματικού κόσμου. Κατασκευάζουμε σύνθετα μοντέλα, εκτελούμε νευρωνικά δίκτυα και δοκιμάζουμε αλγόριθμους, ωστόσο η πρόοδος μερικές φορές σταματάει στα σημεία που την περιμένουμε λιγότερο.

Το πρόβλημα συχνά δεν βρίσκεται στα αλγόριθμους ή τα δεδομένα, αλλά στην υπολογιστική ισχύ, τους πόρους που επιτρέπουν στα μοντέλα να μαθαίνουν και να λειτουργούν στην απαραίτητη κλίμακα. Τι κρύβεται πίσω από αυτό το εμπόδιο; Ας εξετάσουμε τον κρίσιμο πόρο χωρίς τον οποίο ακόμη και τα πιο υποσχόμενα προγράμματα AI δεν μπορούν να ξεπεράσουν το εργαστήριο.

Η ελλειψη υπολογιστικής ισχύος και οι συνέπειές της

Για να κατανοήσουμε αυτό το θέμα, ας ξεκινήσουμε από την ιστορία των κινητών επικοινωνιών. Όταν εμφανίστηκαν τα δίκτυα 3G και αργότερα 4G, το διαδίκτυο ήταν ήδη σχεδόν παγκόσμιο. Και όταν εισαχθηκε το 5G, πολλοί άνθρωποι έθεσαν ένα απόλυτα λογικό ερώτημα: «Το διαδίκτυο θα είναι ταχύτερο – αλλά τι σημαίνει αυτό;»

Στην πραγματικότητα, η αύξηση της ταχύτητας του διαδικτύου δεν συνεπάγεται την ευκολία χρήσης. Μεταμορφώνει ολόκληρο το τεχνολογικό τοπίο. Εμφανίζονται νέες εφαρμογές, συσκευές και ολόκληρες κατηγορίες τεχνολογίας που προηγουμένως ήταν αδύνατες. Το 5G αποδείχθηκε να είναι πολύ ταχύτερο από το 4G, και αυτό το άλμα δεν ήταν σταδιακό, όπως το άλμα από το 1G στο 2G, αλλά εκθετικό. Ως αποτέλεσμα, εμφανίζονται νέες εφαρμογές, συσκευές και ολόκληρες κατηγορίες τεχνολογίας.

Οι κάμερες των σηματοδοτών, οι συστήματα ανάλυσης κυκλοφορίας σε πραγματικό χρόνο και οι μηχανισμοί αυτόματης ρύθμισης της κυκλοφορίας – όλα αυτά γίνονται δυνατά χάρη στις νέες τεχνολογίες επικοινωνίας. Οι αστυνομικοί αποκτούν νέους τρόπους ανταλλαγής δεδομένων, και στο διάστημα, τα τηλεσκόπια και οι δορυφόροι μπορούν να μεταδώσουν τεράστιες ποσότητες πληροφοριών στη Γη. Ένα ποιοτικό άλμα σε μια θεμελιώδη τεχνολογία οδηγεί την ανάπτυξη ολόκληρου του οικοσυστήματος.

Το ίδιο принципιο ισχύει και για την υπολογιστική ισχύ. Φανταστείτε τη συνολική υπολογιστική ικανότητα της ανθρωπότητας σε υποθετικές μονάδες. Σήμερα, μπορεί να έχουμε, για παράδειγμα, δέκα τέτοιες μονάδες. Με αυτές, μπορούμε να δημιουργήσουμε εικόνες και βίντεο, να γράψουμε κείμενα, να δημιουργήσουμε υλικό μάρκετινγκ… Αυτό είναι ήδη σημαντικό, αλλά το εύρος των εφαρμογών είναι περιορισμένο κυρίως.

Τώρα φανταστείτε ότι είχαμε όχι δέκα, αλλά χίλια τέτοιες μονάδες. Ξαφνικά, τεχνολογίες που ήταν προηγουμένως πολύ δαπανηρές γίνονται εφικτές, και οι εταιρείες που εγκαταλείφθηκαν λόγω υψηλών υπολογιστικών κοστών αρχίζουν να έχουν οικονομική λογική.

Πάρτε, για παράδειγμα, τα ρομποτικά ταξί. Σήμερα, αυτά βασίζονται κυρίως σε σχετικά αδύναμους τοπικούς υπολογιστές που είναι εγκατεστημένοι στο όχημα. Ωστόσο, αν η βίντεο ροή μεταδοθεί στο cloud με τεράστιες υπολογιστικές πόρους, τα δεδομένα μπορούν να επεξεργαστούν και να επιστραφούν σε πραγματικό χρόνο. Και αυτό είναι κρίσιμο: ένα αυτοκίνητο που κινείται με 100 χλμ/ώρα πρέπει να λαμβάνει αποφάσεις σε κλάσματα του δευτερολέπτου – να πηγαίνει ευθεία, να στρίβει, να φρενάρει ή όχι.

Αυτό είναι όταν μια πλήρως λειτουργική βιομηχανία ρομποτικών ταξί γίνεται δυνατή, όχι μόνο απομονωμένες λύσεις όπως αυτές που βλέπουμε σήμερα. Κάθε τοπικός υπολογιστής που είναι εγκατεστημένος σε ένα αυτοκίνητο είναι εγγενώς περιορισμένος με έναν τρόπο που ένα συνδεδεμένο σύστημα δεν είναι. Όσο ταχύτερα μπορούμε να το κλιμακώσουμε, τόσο ταχύτερα ο κόσμος γύρω μας θα αλλάξει.

Πρόσβαση σε chíπς και το «χρυσό εισιτήριο» στο AI

Στο πλαίσιο της υπολογιστικής ισχύος, ανακύπτει το ερώτημα: η πρόσβαση σε σύγχρονα chíπς γίνεται το «χρυσό εισιτήριο» για την είσοδο στην αγορά AI; Οι μεγάλες εταιρείες που υπογράφουν συμβάσεις με κατασκευαστές chíπς ή τους παράγουν οι ίδιες, δημιουργούν ένα χάσμα μεταξύ μεγάλων εταιρικών εταιρειών και όλων των άλλων;

Τέτοιο χάσμα ανακύπτει μόνο σε μια περίπτωση: αν το επιχειρηματικό μοντέλο επικεντρώνεται αποκλειστικά στην πώληση chíπς σε μεγάλους πελάτες. Στην πράξη, κατασκευαστές όπως η NVIDIA στοχεύουν να παρέχουν λύσεις cloud για όλους. Τα βελτιστοποιημένα chíπς τους είναι διαθέσιμα στο cloud και για την OpenAI και για ανεξάρτητους développers.

Ακόμη και οι στρατηγικές συμμαχίες μεταξύ εταιρειών όπως η Google, η Anthropic, η Microsoft, η OpenAI, η Amazon και η NVIDIA είναι κυρίως партνερικές σχέσεις για την κοινή χρήση πόρων, chứ không είναι προσπάθειες να κλείσουν την αγορά. Αυτό το μοντέλο επιτρέπει την αποτελεσματική κατανομή της υπολογιστικής ισχύος, επιταχύνοντας την τεχνολογική ανάπτυξη.

Αν ακολουθήσουμε την αλυσίδα της χρήσης υπολογιστικών πόρων, αρχίζει από τον τελικό χρήστη. Για παράδειγμα, όταν χρησιμοποιείτε το WhatsApp για βίντεο κλήσεις και μηνύματα, η εταιρεία πρέπει να διασφαλίσει ότι η υπηρεσία λειτουργεί: αποθήκευση και επεξεργασία δεδομένων, εκτέλεση μοντέλων για την очистή βίντεο, προσθήκη εφέ και βελτίωση της ποιότητας εικόνας.

Η διατήρηση ιδιωτικών серверών είναι δαπανηρή, γίνονται παλιοί και απαιτούν συνεχή συντήρηση. Για αυτόν τον λόγο, έχουν εμφανιστεί λύσεις cloud, «το cloud». Η αγορά κυριαρχείται από τρεις παίκτες: Google Cloud, AWS και Microsoft Azure. Άλλες εταιρείες δεν μπορούν να ανταγωνιστούν σε αυτό το επίπεδο: η κλίμακα της υποδομής είναι πολύ μεγάλη.

Οι λύσεις cloud είναι τεράστιοι κέντροι δεδομένων με ψύξη, παροχή ηλεκτρικού ρεύματος και συνεχή συντήρηση. Περιέχουν servers και ειδικά chíπς από την NVIDIA, AMD και άλλους κατασκευαστές, επιτρέποντας μεγάλης κλίμακας υπολογιστικές διαδικασίες.

Εδώ έρχεται η κρίσιμη ερώτηση που συζήτησα στην προηγούμενη στήλη μου για τα κέντρα δεδομένων, και θέλω να συνεχίσω εδώ: τι είναι το κύριο εμπόδιο σε αυτό το σύστημα; Είναι η έλλειψη ηλεκτρικού ρεύματος ή η δυσκολία ψύξης των κέντρων δεδομένων σε περιοχές όπου το κλίμα το καθιστά ιδιαίτερα προκλητικό; Στην πραγματικότητα, το μυστικό κρύβεται στα chíπς themselves…

Το άγιον δισκοπότηρο

Γιατί η NVIDIA σήμερα αξιολογείται περίπου στα 5 τρισεκατομμύρια δολάρια και θεωρείται μια από τις πιο επιτυχημένες δημόσιες εταιρείες στον κόσμο; Ο λόγος είναι απλός: η NVIDIA παράγει τα chíπς στα οποία εκπαιδεύονται και τρέχουν τα μοντέλα AI.

Κάθε ένα από αυτά τα chíπς καταναλώνει τεράστιες ποσότητες ηλεκτρικού ρεύματος όταν εκπαιδεύονται μεγάλα μοντέλα ή επεξεργάζονται όλο και μεγαλύτερες ποσότητες δεδομένων. Nhưng πώς χρησιμοποιείται αποτελεσματικά αυτή η ενέργεια; Εδώ έρχονται τα ειδικά chíπς; αυτά χειρίζονται συγκεκριμένες εργασίες πολύ πιο αποτελεσματικά από τα γενικής χρήσης GPU.

Τα μοντέλα AI διαφέρουν. Η OpenAI, για παράδειγμα, έχει μια οικογένεια μοντέλων, η Anthropic έχει άλλη. Οι έννοιες μπορεί να είναι παρόμοιες, αλλά οι μαθηματικές δομές και οι υπολογιστικές διαδικασίες είναι διαφορετικές. Ένα γενικής χρήσης chíπ, όταν εκπαιδεύει μοντέλα OpenAI (όπως το ChatGPT) σε σύγκριση με μοντέλα Anthropic (όπως το Claude), λειτουργεί ως «ένα-μεγέθους-για-όλα-εργαλεία», καταναλώνοντας, για παράδειγμα, 100.000 ώρες υπολογισμού για ένα μοντέλο και 150.000 για ένα άλλο. Η αποτελεσματικότητα διαφέρει σημαντικά και σπάνια είναι βέλτιστη.

Οι εταιρείες λύνουν αυτό το πρόβλημα παράγοντας ειδικά chíπς. Για παράδειγμα, ένα chíπ μπορεί να είναι βελτιστοποιημένο για την αρχιτεκτονική ChatGPT και να την εκπαιδεύσει σε, για παράδειγμα, 20 λεπτά, ενώ ένα άλλο είναι προσαρμοσμένο στην αρχιτεκτονική Anthropic και επίσης ολοκληρώνει την εκπαίδευση σε 20 λεπτά. Η κατανάλωση ενέργειας και ο χρόνος εκπαίδευσης μειώνονται πολλαπλά σε σύγκριση με ένα γενικής χρήσης chíπ.

Όταν αυτά τα chíπς πωλούνται σε μεγάλες εταιρείες, όπως η Google, η Amazon, η Microsoft ή η Azure, προσφέρονται ως αυτόνομες λύσεις. Οι χρήστες μπορούν να επιλέξουν, για παράδειγμα, ένα chíπ που είναι βελτιστοποιημένο για ένα μοντέλο YOLO ή ένα πιο απλό, φθηνότερο chíπ για μια αρχιτεκτονική Xen. Αυτό το τρόπο, οι εταιρείες αποκτούν πρόσβαση σε υπολογιστικές πόρους που είναι ακριβώς προσαρμοσμένοι στις εργασίες τους, αντί να αγοράζουν γενικής χρήσης GPU. Αν ένας χρήστης έχει δέκα διαφορετικές λειτουργίες, μπορεί να χρησιμοποιήσει δέκα διαφορετικά ειδικά chíπς.

Η τάση είναι σαφής: τα ειδικά chíπς αντικαθιστούν σταδιακά τα γενικής χρήσης. Πολλές startups εργάζονται τώρα με ASICs (Application-Specific Integrated Circuits), chíπς που σχεδιάζονται για συγκεκριμένες υπολογιστικές εργασίες. Τα πρώτα ASICs εμφανίστηκαν για την εξόρυξη Bitcoin: αρχικά, το cryptocurrency εξορύχθηκε σε GPU της NVIDIA, και στη συνέχεια δημιουργήθηκαν chíπς που ήταν αποκλειστικά για Bitcoin και δεν μπορούσαν να εκτελέσουν άλλες εργασίες.

Το βλέπω στην πράξη: η ίδια ρύθμιση υλικού μπορεί να παράγει完全 διαφορετικά αποτελέσματα ανάλογα με την εργασία. Στην startup μου Introspector, μελετάμε αυτές τις διαδικασίες σε πραγματικά προγράμματα, και ως στρατηγικός σύμβουλος της Keymakr, παρατηρώ πώς οι πελάτες αποκτούν αποτελεσματικότητα από τα ειδικά chíπς, επιτρέποντας στα μοντέλα να τρέχουν ταχύτερα. Προγράμματα που προηγουμένως σταμάτησαν κατά την εκπαίδευση ή την εκτέλεση φτάνουν σταθερά αποτελέσματα με αυτήν την προσέγγιση.

Ωστόσο, η στενή εξειδίκευση φέρει κινδύνους. Ένα chíπ που είναι βελτιστοποιημένο για την αρχιτεκτονική Anthropic δεν θα λειτουργήσει για την εκπαίδευση μοντέλων OpenAI, και αντίστροφα. Κάθε νέα αρχιτεκτονική απαιτεί μια νέα γενιά υλικού, δημιουργώντας τον κίνδυνο einer μεγάλης κλίμακας «παλαιότητας». Αν η Anthropic κυκλοφορήσει μια νέα αρχιτεκτονική αύριο, όλα τα προηγούμενα chíπς γίνονται αναποτελεσματικά ή άχρηστα. Η παραγωγή νέων chíπς κοστίζει δισεκατομμύρια δολάρια και μπορεί να διαρκέσει χρόνια.

Αυτό δημιουργεί ένα δίλημμα: πρέπει να κάνουμε ειδικά chíπς που λειτουργούν άψογα σε μια στενή περίπτωση, ή να συνεχίσουμε να παράγουμε γενικής χρήσης chíπς που λύνουν όλες τις εργασίες μέτρια καλά, αλλά δεν απαιτούν πλήρη αντικατάσταση όταν οι αρχιτεκτονικές αλλάζουν;

Η αποτελεσματικότητα σε αυτό το πλαίσιο μετριέται από τρεις основικές παραμέτρους: χρόνος εκτέλεσης, κατανάλωση ηλεκτρικού ρεύματος και παραγωγή θερμότητας. Αυτές οι μετρήσεις είναι άμεσα συνδεδεμένες: όσο περισσότερο χρόνο εκτελείται ένα σύστημα, τόσο περισσότερη ενέργεια καταναλώνει και τόσο περισσότερη θερμότητα παράγει. Η μείωση μιας παραμέτρου αυτομάτως βελτιώνει τις άλλες δύο.

Εδώ κρύβεται το «άγιον δισκοπότηρο» της απόδοσης AI: αν τουλάχιστον μια από τις θεμελιώδεις μετρήσεις αποτελεσματικότητας μπορεί να βελτιωθεί, οι άλλες μετρήσεις几乎 αυτόματα βελτιώνονται επίσης.

Βιώσιμη διαδικασία

Με την αυξανόμενη χρήση ειδικών chíπς, το ζήτημα της υπερπαραγωγής κινδύνων έχει γίνει επείγον. Σήμερα, η υπεραπασχόληση του εξοπλισμού είναι ήδη σημαντική, και οι εταιρείες αντιμετωπίζουν αυτό το ζήτημα με διάφορους βιώσιμους τρόπους, συμπεριλαμβανομένης της επαναχρησιμοποίησης των υφιστάμενων πόρων.

Η ανακύκλωση του εξοπλισμού έχει γίνει ένα κλειδί στοιχείο της βιώσιμης ανάπτυξης στις υψηλής τεχνολογίας βιομηχανίες. Τα chíπς περιέχουν σημαντικές ποσότητες πολύτιμων και βασικών μετάλλων, χρυσού, χαλκού, αλουμινίου, παλλαδίου και σπανίων υλικών, καθώς και υλικών που χρησιμοποιούνται σε μικρο chíπς και τρανζίστορ. Όταν ο εξοπλισμός γίνει παλαιός, αυτά τα πολύτιμα υλικά μπορούν να επιστραφούν στην παραγωγή, μειώνοντας το κόστος των νέων συστατικών ενώ ταυτόχρονα μειώνεται η περιβαλλοντική επιρροή της βιομηχανίας.

Ορισμένα εξειδικευμένα εργοστάσια και εταιρείες επικεντρώνονται στην ανακύκλωση και την εξαγωγή πολύτιμων μετάλλων από παλαιά συστατικά. Για παράδειγμα, ορισμένα εργοστάσια χρησιμοποιούν υδρομεταλλουργικές διαδικασίες και προηγμένα χημικά μέσα για την εξαγωγή χρυσού και χαλκού με υψηλή纯ότητα, επιτρέποντας στα υλικά αυτά να ξαναχρησιμοποιηθούν σε νέα chíπς.

Επιπλέον, οι εταιρείες εφαρμόζουν κλειστά μοντέλα, όπου ο παλαιός εξοπλισμός αναβαθμίζεται ή ενσωματώνεται σε νέες λύσεις, μειώνοντας την ανάγκη για πρωτογενή εξόρυξη πόρων. Αυτές οι προσεγγίσεις όχι μόνο βοηθούν στην ελάττωση των αποβλήτων αλλά και μειώνουν την περιβαλλοντική επιρροή της παραγωγής, καθώς η παραδοσιακή εξόρυξη και επεξεργασία μετάλλων απαιτούν σημαντική ενέργεια.

Η βιώσιμη διαχείριση του κύκλου ζωής των chíπς και του εξοπλισμού μπορεί να γίνει ένα βιομηχανικό πρότυπο, όπου η τεχνολογική πρόοδος συμμορφώνεται με την περιβαλλοντική ευθύνη.