Ηγέτες σκέψης

Το Πρόβλημα του Παντού: Γιατί το “Δεδομένα Οπουδήποτε” Γίνεται η Οριστική Προκλήρηση Υποδομής της Εποχής του AI

mm

Το πιο σημαντικό ερώτημα στο AI σήμερα δεν είναι ποιο μοντέλο είναι το πιο έξυπνο. Είναι πού ζουν τα δεδομένα και αν η νοημοσύνη μπορεί να τα φτάσει.

Για το καλύτερο μέρος της δεκαετίας, η βιομηχανία του AI λειτουργούσε υπό μια ανακουφιστική υπόθεση: κεντρίστε τα δεδομένα, κεντρίστε τον υπολογισμό και η διάνοια θα ακολουθήσει. Το μοντέλο των υπερ-κλιμάκων — κεντρίζοντας τεράστια συνόλα δεδομένων σε μεγάλουςクラστερς cloud και εφαρμόζοντας τεράστιο υπολογισμό GPU για να τα συμπιέσουν σε παραμέτρους μοντέλου — παρήγαγε εξαιρετικά αποτελέσματα, αλλά και μια αρχιτεκτονική που τώρα δυσκολεύεται υπό το βάρος της δικής της επιτυχίας.

Καλέστε το “πρόβλημα δεδομένων οπουδήποτε”. Όσο το AI εξαπλώνεται από το εργαστήριο έρευνας και στο λειτουργικό υφάσμα των νοσοκομείων, των εργοστασίων, των χρηματοοικονομικών ιδρυμάτων και των κυβερνήσεων, τα δεδομένα που πρέπει να ενημερώσουν αυτά τα συστήματα είναι εγγενώς κατανεμημένα, περιορισμένα από την δικαιοδοσία και αμετακίνητα. Οι ρυθμιστές στην Ευρώπη επιμένουν ότι τα οικονομικά αρχεία των πολιτών τους δεν πρέπει ποτέ να εγκαταλείψουν την ήπειρο. Τα κλινικά δεδομένα της φαρμακευτικής εταιρείας στη Βασιλεία δεν μπορούν νομικά να συνυπάρχουν με ένα σύνολο δεδομένων γονιδιωμάτων από τη Σεούλ.

Ανεξάρτητα από την περίπτωση, η νοημοσύνη πρέπει να πάει στα δεδομένα. Τα δεδομένα, με έμφαση, δεν θα έρθουν στη νοημοσύνη.

Η Οικονομία της Μετατόπισης

Αυτή η δομική ένταση εντείνεται από μια ταυτόχρονη επανάσταση στην οικονομία του AI. Η βιομηχανία υποβάλλεται σε μια τεκτονική ανακατανομή από τον κεντρικό υπολογισμό προς τον κεντρικό υπολογισμό, και οι επιπτώσεις για την αρχιτεκτονική των δεδομένων είναι βαθιές.

Η Deloitte εκτίμησε ότι οι φόρτοι της εύρεσης αντιπροσώπευαν το ήμισυ του συνόλου του υπολογισμού του AI το 2025, ένας αριθμός που θα αυξηθεί στο δύο τρίτα το 2026. Η αναλογία αντιστρέφεται με αξιοθαύμαστη ταχύτητα. Οι αναλυτές εκτιμούν ότι μέχρι το 2026, η ζήτηση για εύρεση θα ξεπεράσει τη ζήτηση για εκπαίδευση 118 φορές. Μέχρι το 2030, η εύρεση θα αντιπροσωπεύει το 75% του συνόλου του υπολογισμού του AI, οδηγώντας σε επένδυση υποδομής 7 τρισεκ. δολαρίων.

Η μαθηματική σχέση του κόστους είναι εξίσου vertiginous. Για κάθε 1 δισεκατομμύριο δολάρια που δαπανώνται για την εκπαίδευση ενός μοντέλου AI, οι οργανισμοί αντιμετωπίζουν 15–20 δισεκατομμύρια δολάρια σε κόστος εύρεσης κατά τη διάρκεια της παραγωγικής ζωής του μοντέλου: μια αναλογία που εικονογραφείται δραματικά από το GPT-4, του οποίου το κόστος εκπαίδευσης ήταν περίπου 150 εκατομμύρια δολάρια, αλλά το συσσωρευμένο κόστος εύρεσης έφτασε 2,3 δισεκατομμύρια δολάρια μέχρι το τέλος του 2024. Η εκπαίδευση, που ήταν κάποτε η erste εμμονή των επενδυτών και των αξιωματούχων προμήθειας του AI, αναδιαμορφώνεται ως το ένα φορά δίδακτρα. Η εύρεση είναι το συνεχές λειτουργικό κόστος της νοημοσύνης και είναι τώρα η κυρίαρχη γραμμή.

Ωστόσο, εδώ υπάρχει η παράδοξη κατάσταση: Τα κόστος εύρεσης για ένα σύστημα GPT-3.5 έπεσαν περισσότερο από 280 φορές μεταξύ Νοεμβρίου 2022 και Οκτωβρίου 2024, με το κόστος του υλικού να μειώνεται περίπου 30% ετησίως και την ενεργειακή απόδοση να βελτιώνεται 40% ανά έτος. Τα κόστος πέφτουν· η κατανάλωση επιταχύνεται γρηγορότερα. Τα κόστος ανά μονάδα εύρεσης έπεσαν 100 φορές, ενώ η Microsoft και η Google αναφέρουν ότι οι φόρτοι του AI αυξήθηκαν 31 φορές σε μισό αυτό το χρονικό διάστημα.

Η Παράδοξη Jevons, όπου οι κερδοφορίες απόδοσης οδηγούν σε μεγαλύτερη χρήση πόρων, έχει βρει μια σύγχρονη έκφραση στα cluster GPU.

Πού Ζουν τα Δεδομένα, Η Νοημοσύνη Πρέπει να Ακολουθήσει

Η οικονομία της εύρεσης αλλάζει фундамεντάλ τις απαιτήσεις υποδομής και πουθενά πιο πολύ από ότι γύρω από τη βαρύτητα των δεδομένων. Η εύρεση, σε αντίθεση με την εκπαίδευση, δεν είναι μια εργασία batch που τρέχει μια φορά σε ένα κέντρο δεδομένων. Είναι μια συνεχής, ευαίσθητη στη καθυστέρηση, γεωγραφικά κατανεμημένη υπηρεσία, και είναι τόσο καλή όσο τα δεδομένα που μπορεί να φτάσει τη στιγμή της ερώτησης.

Αυτή είναι η κεντρική ιδέα του προβλήματος “δεδομένα οπουδήποτε”.

Για παράδειγμα, ένα μοντέλο γλώσσας που συλλογίζει πάνω από τα ζωντανά δεδομένα τηλεμετρίας ενός ασθενούς δεν μπορεί να αντέξει μια καθυστέρηση 200 χιλιοστοδευτερόλεπτων για να φτάσει ένα cluster υπερ-κλιμάκων στην ανατολική ακτή. Ένα μοντέλο απάτης χρηματοοικονομικών υπηρεσιών που τρέχει εύρεση στο σημείο συναλλαγής δεν μπορεί να εξαγάγει δεδομένα λογαριασμού σε μια δικαιοδοσία όπου θα παραβίαζε τον GDPR. Μια κυβερνητική ανάπτυξη AI δεν μπορεί να βασιστεί σε υποδομή που thuộc και λειτουργείται από ένα ξένο εμπορικό όργανο.

Τα εργαστήρια του μετώπου είναι ιδιαίτερα συνειδητά这一點. Η συμφωνία της Anthropic με την Google Cloud για μέχρι ένα εκατομμύριο TPUs, που παρέχει περισσότερο από ένα γιγαβάτ υπολογισμού AI απόδοση μέχρι το 2026, δείχνει πώς τα leading εργαστήρια επενδύουν σε άνευ προηγουμένου κλίμακα για να διαμορφώσουν την παγκόσμια υποδομή της εύρεσης.

Μια Ταξινόμηση της Πυκνότητας Δεδομένων

Όχι όλα τα συστήματα AI αντιμετωπίζουν αυτήν την πρόκληση με τον ίδιο τρόπο και είναι ενδιαφέρον να εξεταστεί μια груβή ταξινόμηση, καθώς υπάρχουν διάφορα είδη μοντέλων AI και πολυπλοκότητας. Ας το διασπάσουμε με τρία βασικά παραδείγματα: LLMs, εικόνες και φυσικά μοντέλα.

Τα μεγάλα μοντέλα γλώσσας — οι οικογένειες Claude, GPT και Gemini — ασχολούνται κυρίως με tokens γλώσσας: σχετικά ελαφριά, συμπιέζονται και είναι ευνοϊκές για τεχνικές που διατηρούν την ιδιωτικότητα, όπως η διαφορική ιδιωτικότητα ή η ομοσπονδιακή μάθηση. Το πρόβλημα “δεδομένα οπουδήποτε” είναι πολύ σύνθετο.

Τα γεννητικά οπτικά μοντέλα παρουσιάζουν μια ακόμη πιο δύσκολη περίπτωση. Συστήματα όπως Black Forest Labs’ FLUX.2 μπορεί να παράγει υψηλής ανάλυσης, φωτορεαλιστικές εικόνες σε λιγότερο από ένα δευτερόλεπτο σε ισχυρό υλικό, αλλά η δημιουργία μιας単ικής εικόνας απαιτεί πολύ περισσότερα δεδομένα και υπολογισμό από την παραγωγή κειμένου. Όσο η οπτική AI κινείται πέρα από τα δημιουργικά εργαλεία και προς την βιομηχανική επιθεώρηση, την ιατρική εικόνα και την ανάλυση δορυφόρων, τα υποκείμενα δεδομένα είναι συχνά μεγάλα, ευαίσθητα και δύσκολα να μετακινηθούν, αυξάνοντας την ανάγκη να τρέξει το AI όπου υπάρχουν ήδη τα δεδομένα.

Η πιο σύνθετη κατηγορία είναι η φυσική AI. Ο Jensen Huang της NVIDIA έχει δηλώσει ότι “η φυσική AI έχει έρθει και κάθε βιομηχανική εταιρεία θα γίνει εταιρεία ρομποτικής”. Νέα μοντέλα όπως το Cosmos 3 της NVIDIA έχουν ως στόχο να δώσουν στα μηχανήματα μια γενικευμένη κατανόηση του φυσικού κόσμου, συνδυάζοντας模拟, όραση και συλλογισμό, ενώ εταιρείες όπως η Physical Intelligence εκπαιδεύουν ρομπότ σε πραγματικά δεδομένα αισθήσεων – συμπεριλαμβανομένων δυνάμεων, κίνησης και οπτικών εισόδων – για να ενεργοποιήσουν πιο προσαρμοστική, αυτόνομη συμπεριφορά.

Οι ίδιες δυναμικές κλίμακας που βελτίωσαν τα μεγάλα μοντέλα συλλογισμού τώρα εφαρμόζονται σε πραγματικά δεδομένα, όπως δονήσεις, ήχοι και εισόδους αισθήσεων. Αλλά αυτή η πληροφορία είναι εγγενώς τοπική. Ένα ρομπότ σε ένα εργοστάσιο δεν μπορεί να στείλει δεδομένα αισθήσεων σε πραγματικό χρόνο σε μια μακρινή cloud για επεξεργασία χωρίς να εισαγάγει καθυστερήσεις που θα μπορούσαν να δημιουργήσουν κινδύνους ασφαλείας, που σημαίνει ότι το AI πρέπει όλο και περισσότερο να τρέχει στο άκρο, κοντά στο σημείο όπου παράγονται τα δεδομένα.

Εμπιστοσύνη, Εξηγήσιμη και Αποτελέσματα

Αυτή είναι η στιγμή όπου η πρόκληση “δεδομένα οπουδήποτε” μετακινείται πέρα από την υποδομή και γίνεται ζήτημα διακυβέρνησης. Όσο το AI εφαρμόζεται σε αποφάσεις υψηλού κινδύνου – από ιατρικές διαγνώσεις σε μοντέλα χρηματοοικονομικού κινδύνου σε φυσικά συστήματα ελέγχου – ερωτήσεις σχετικά με το πού ζουν τα δεδομένα είναι όλο και περισσότερο συνδεδεμένες με το ποιος είναι υπεύθυνος για τα αποτελέσματα.

Στο σημερινό περιβάλλον ρυθμίσεων, η εξηγήσιμη δεν είναι προαιρετική. Ο νόμος AI της ΕΕ, για παράδειγμα, απαιτεί ότι τα συστήματα υψηλού κινδύνου να αποδείξουν τη βάση για τις εξόδους τους, το οποίο είναι δύσκολο αν τα δεδομένα που ενημερώνουν αυτές τις αποφάσεις είναι κατανεμημένα σε πολλαπλά συστήματα, δικαιοδοσίες και ρυθμιστικά πλαίσια.

Η εμπιστοσύνη, επομένως, γίνεται η προϋπόθεση για υιοθέτηση σε κλίμακα. Ο έλεγχος του περιβάλλοντος δεδομένων γίνεται εξίσου σημαντικός όσο ο έλεγχος των μοντέλων τους ιδίους.

Η Επόμενη Γενιά της Υποδομής AI

Η επίλυση της πρόκλησης “δεδομένα οπουδήποτε” θα ορίσει το ανταγωνιστικό χάρτη του AI για την επόμενη δεκαετία. Η ομοσπονδιακή εύρεση, τα ασφαλή περιβάλλοντα επεξεργασίας δεδομένων, τα μοντέλα που βελτιστοποιούνται για το άκρο και τα συστήματα ορχήστρας που λαμβάνουν υπόψη το πού επιτρέπεται να κατοικούν τα δεδομένα δεν είναι ιδιωτικές τεχνικές λειτουργίες, αλλά προϋποθέσεις για την επέκταση του AI πέρα από τις περιπτώσεις όπου τα δεδομένα μπορούν να κεντρισθούν ελεύθερα.

Οι εταιρείες και οι κυβερνήσεις που κατασκευάζουν υποδομή ικανή να παρέχει αξιόπιστη, εξηγήσιμη, κυριαρχική εύρεση — νοημοσύνη που φτάνει τα δεδομένα αντί να απαιτεί τα δεδομένα να ταξιδέψουν σε αυτή — θα κατέχουν την πιο ανθεκτική τάφρο της εποχής του AI. Η εκπαίδευση ενός έξυπνου μοντέλου είναι όλο και περισσότερο ένα λυμένο και εμπορευματοποιημένο πρόβλημα. Η ανάπτυξή του με ευθύνη, στο άκρο, σε ορίους δικαιοδοσίας, ενάντια σε δεδομένα που δεν μπορούν να μετακινηθούν, είναι το πρόβλημα που παραμένει.

Δεδομένα οπουδήποτε δεν είναι ένα σύνθημα. Είναι το πιο δύσκολο ανεπίλυτο πρόβλημα στην επιχείρηση AI. Και θα καθορίσει αν η εξαιρετική ικανότητα που ξεκλείδωσε η προηγούμενη δεκαετία επένδυσης εκπαίδευσης θα μεταφραστεί, σε κλίμακα, σε αποτελέσματα που η κοινωνία μπορεί να εμπιστευτεί.

Ως αρχιστράτηγος, ο Abhas ηγείται της συνολικής εταιρικής στρατηγικής για τη Cloudera και είναι υπεύθυνος για τη δημιουργία της εταιρικής οράσεως, την κατασκευή του επιχειρηματικού και του customer target operating model, την επικοινωνία με τους βασικούς ενδιαφερόμενους μέσω σαφώς καθορισμένων OKRs και την εκτέλεση των βασικών μετασχηματιστικών πρωτοβουλιών για την εκπλήρωση του σχεδίου. Είναι επίσης υπεύθυνος για την οδήγηση της ανάπτυξης και της καινοτομίας και την λήψη των κατάλληλων αποφάσεων για την αγορά/συνεργασία, συμπεριλαμβανομένων των τιμών και της συσκευασίας, της εταιρικής ανάπτυξης και του καινοτομικού επιταχυντή της Cloudera για την εκκίνηση νέων προϊόντων. Προηγουμένως, υπηρέτησε ως αρχιστράτηγος και αντιπρόεδρος για τη μετασχηματιστική επιχείρηση στην εταιρεία.

Πριν από τη συγχώνευση Cloudera/Hortonworks, βοήθησε στην κλιμάκωση των προσπαθειών go-to-market της Hortonworks ως παγκόσμιος αρχηγός της καινοτομίας και της διαχείρισης αξίας. Ως συμβουλευτικός σύμβουλος κατά την εκπαίδευσή του, είναι παθιασμένος με την οδήγηση της δράσης και της αλλαγής στην κοινωνία και έχει ηγηθεί προγραμμάτων με πολλές οργανώσεις, συμπεριλαμβανομένου του Παγκόσμιου Οικονομικού Φόρουμ, των Ιδρυτών του Μέλλοντος και άλλων μη κερδοσκοπικών οργανισμών.