Η Επόμενη Κλιμάκωση του AI: Όχι Περισσότερα Δεδομένα, αλλά Καλύτερα Παγκόσμια Μοντέλα

Για χρόνια, η βιομηχανία του τεχνητού νοήματος ακολουθούσε ένα απλό, ωμό κανόνα: μεγαλύτερο είναι καλύτερο. Εκπαιδεύαμε μοντέλα σε τεράστιες βάσεις δεδομένων, αυξάναμε τον αριθμό των παραμέτρων και ρίχναμε τεράστια υπολογιστική δύναμη στο πρόβλημα. Αυτό το συνταγολόγιο λειτουργούσε για την większość του χρόνου. Από το GPT-3 στο GPT-4 και από τα грубые chatbots στα reasoning engines, ο “κανόνας κλιμάκωσης” υποδείκνυε ότι αν συνεχίζαμε να ταΐζουμε την μηχανή με περισσότερο κείμενο, θα γινόταν τελικά έξυπνη.

Αλλά τώρα χτυπάμε σε ένα τοίχο. Το διαδίκτυο είναι πεπερασμένο. Τα υψηλής ποιότητας δημόσια δεδομένα εξαντλούνται και τα οφέλη από το να κάνουμε τα μοντέλα μεγαλύτερα μειώνονται. Οι ηγέτες της έρευνας του AI υποστηρίζουν ότι ο επόμενος μεγάλος άλμα στην τεχνητή νοήση δεν θα έρθει από την ανάγνωση περισσότερου κειμένου μόνο. Θα έρθει από την κατανόηση της πραγματικότητας πίσω από το κείμενο. Αυτή η πίστη σηματοδοτεί μια θεμελιώδη αλλαγή στην εστίαση του AI, εισάγοντας την εποχή του Παγκόσμιου Μοντέλου.

Τα Όρια της Προέλευσης του Επόμενου Λεκτικού

Για να κατανοήσουμε γιατί χρειαζόμαστε μια νέα προσέγγιση, πρέπει πρώτα να δούμε τι κάνουν τα τρέχοντα συστήματα AI. Παρά τις εντυπωσιακές ικανότητές τους, μοντέλα όπως το ChatGPT ή το Claude είναι ουσιαστικά στατιστικά μηχανήματα. Προβλέπουν το επόμενο λέξη σε μια ακολουθία με βάση την πιθανότητα του τι ήρθε πριν. Δεν κατανοούν ότι ένα γυαλί που πέφτει θα σπάσει· απλά γνωρίζουν ότι σε εκατομμύρια ιστορίες, η λέξη “σπάω” συχνά ακολουθεί την φράση “πέφτω γυαλί.”

Αυτή η προσέγγιση, γνωστή ως αυτορεγρεσσιβή μοντελοποίηση, έχει ένα κρίσιμο έλλειμμα. Εξαρτάται αποκλειστικά από τη συσχέτιση, όχι από την αιτία. Αν εκπαιδεύσετε ένα LLM σε χιλιάδες περιγραφές ενός αυτοκινητιστικού ατυχήματος, μαθαίνει τη γλώσσα των ατυχημάτων. Αλλά δεν μαθαίνει ποτέ τη φυσική της ορμής, της τριβής ή της θραύσης. Είναι ένας θεατής, όχι ένας συμμετέχων.

Αυτό το όριο γίνεται το “Τείχος Δεδομένων.” Έχουμε σχεδόν σκουπίσουμε ολόκληρο το δημόσιο διαδίκτυο. Για να κλιμακωθούμε περαιτέρω με την τρέχουσα μέθοδο, θα χρειαζόμασταν εκθετικά περισσότερα δεδομένα από όσα υπάρχουν. Τα συνθετικά δεδομένα (δηλαδή κείμενο που παράγεται από το AI) προσφέρουν μια προσωρινή λύση, αλλά συχνά οδηγούν σε “κατάρρευση του μοντέλου,” όπου το σύστημα ενισχύει τις eigenen προκαταλήψεις και λάθη. Δεν μπορούμε να κλιμακωθούμε προς την Τεχνητή Γενική Νοήση (AGI) χρησιμοποιώντας μόνο κείμενο, επειδή το κείμενο είναι μια χαμηλής băngθύρωσης συμπίεση του κόσμου. Περιγράφει την πραγματικότητα, αλλά δεν είναι η πραγματικότητα ίδια.

Γιατί τα Παγκόσμια Μοντέλα έχουν Σημασία

Οι ηγέτες του AI όπως ο Yann LeCun έχουν υποστηρίξει ότι τα τρέχοντα συστήματα AI λείπουν ενός θεμελιώδους аспекту της ανθρώπινης γνώσης που ακόμη και τα μικρά παιδιά κατέχουν φυσικά. Αυτό είναι η ικανότητά μας να διατηρούμε ένα εσωτερικό μοντέλο του πώς λειτουργεί ο κόσμος, το οποίο συχνά αναφέρεται ως Παγκόσμιο Μοντέλο. Ένα Παγκόσμιο Μοντέλο δεν προβλέπει μόνο το επόμενο λέξη· κατασκευάζει ένα εσωτερικό νοητικό χάρτη του πώς λειτουργεί το φυσικό περιβάλλον. Όταν βλέπουμε μια μπάλα να κυλά πίσω από ένα καναπέ, ξέρουμε ότι είναι ακόμη εκεί. Ξέρουμε ότι θα εμφανιστεί στην άλλη πλευρά, trừśli δεν σταματηθεί. Δεν χρειαζόμαστε να διαβάσουμε ένα εγχειρίδιο για να κατανοήσουμε αυτό· τρέχουμε μια νοητική προσομοίωση με βάση το εσωτερικό “παγκόσμιο μοντέλο” μας της φυσικής και της αντικειμενικής διαρκούς.

Για να προχωρήσει το AI, πρέπει να μεταβεί από τη στατιστική μίμηση σε αυτό το είδος εσωτερικής προσομοίωσης. Πρέπει να κατανοήσει τις υποκείμενες αιτίες των γεγονότων, όχι μόνο τις κειμενικές περιγραφές τους.

Το Joint Embedding Predictive Architecture (JEPA) είναι ένα πρωτοποριακό παράδειγμα αυτής της αλλαγής παραδείγματος. Σε αντίθεση με τα LLM, τα οποία προσπαθούν να προβλέψουν κάθε einzelικό pixel ή λέξη (ένας διαδικασία που είναι υπολογιστικά ακριβή και θορυβώδης), το JEPA προβλέπει αφηρημένες αναπαραστάσεις. Παραβλέπει τις απρόβλεπτες λεπτομέρειες όπως η κίνηση των μεμονωμένων φύλλων σε ένα δέντρο και επικεντρώνεται στις υψηλού επιπέδου έννοιες όπως το δέντρο, ο άνεμος και η εποχή. Μαθαίνοντας να προβλέψει πώς αυτές οι υψηλού επιπέδου καταστάσεις αλλάζουν με τον καιρό, το AI μαθαίνει τη δομή του κόσμου και όχι τις επιφανειακές λεπτομέρειες.

Από Προέλευση σε Προσομοίωση

Βλέπουμε ήδη τις πρώτες ματιές αυτής της μετάβασης στα μοντέλα γεννήτριας βίντεο. Όταν η OpenAI κυκλοφόρησε το Sora, το περιέγραψε όχι μόνο ως ένα εργαλείο βίντεο, αλλά και ως “παγκόσμιο προσομοιωτή.”

Αυτή η διάκριση είναι ζωτικής σημασίας. Ένας τυπικός γεννήτορας βίντεο μπορεί να δημιουργήσει ένα βίντεο ενός ατόμου που περπατά προβλέποντας ποια pixel συνήθως πηγαίνουν το ένα μετά το άλλο. Ένας παγκόσμιος προσομοιωτής, ωστόσο, προσπαθεί να διατηρήσει την τρισδιάστατη συνέπεια, την照明 και την αντικειμενική διαρκής με τον καιρό. “Κατανοεί” ότι αν το άτομο περπατά πίσω από ένα τοίχο, δεν πρέπει να εξαφανιστεί από την ύπαρξη.

Ενώ τα τρέχοντα μοντέλα βίντεο είναι ακόμη μακριά από την τελειότητα, αντιπροσωπεύουν το νέο έδαφος εκπαίδευσης. Ο φυσικός κόσμος περιέχει σημαντικά περισσότερες πληροφορίες από τον κειμενικό κόσμο. Μια đơnά second βίντεο περιέχει εκατομμύρια οπτικών δεδομένων σχετικά με τη φυσική, το φως και την αλληλεπίδραση. Εκπαιδεύοντας τα μοντέλα σε αυτήν την οπτική πραγματικότητα, podemos να διδάξουμε στο AI την “κοινή λογική” που λείπει από τα LLM.

Αυτό δημιουργεί einen νέο κανόνα κλιμάκωσης. Η επιτυχία δεν θα μετρηθεί πλέον από το πόσα τρισεκατομμύρια token έχει διαβάσει ένα μοντέλο. Θα μετρηθεί από την πιστότητα της προσομοίωσής του και την ικανότητά του να προβλέψει μελλοντικές καταστάσεις του περιβάλλοντος. Ένα AI που μπορεί να προσομοιώσει τις συνέπειες μιας ενέργειας χωρίς να χρειάζεται να την κάνει είναι ένα AI που μπορεί να σχεδιάσει, να συλλογιστεί και να ενεργήσει με ασφάλεια.

Αποτελεσματικότητα και ο Δρόμος προς την AGI

Αυτή η αλλαγή解决 también τα αβιώσιμα ενεργειακά κόστη του τρέχοντος AI. Τα LLM είναι αναποτελεσματικά επειδή πρέπει να προβλέψουν κάθε λεπτομέρεια για να παράγουν μια συνεκτική έξοδο. Ένα Παγκόσμιο Μοντέλο είναι πιο αποτελεσματικό επειδή είναι επιλεκτικό. Όπως ένας ανθρώπινος οδηγός επικεντρώνεται στο δρόμο και παραβλέπει το μοτίβο των νεφών στον ουρανό, ένα Παγκόσμιο Μοντέλο επικεντρώνεται στις σχετικές αιτιώδεις παράγοντες μιας εργασίας.

Ο LeCun έχει υποστηρίξει ότι αυτή η προσέγγιση επιτρέπει στα μοντέλα να μαθαίνουν πολύ γρηγορότερα. Ένα σύστημα όπως το V-JEPA (Video-Joint Embedding Predictive Architecture) έχει δείξει ότι μπορεί να συγκλίνει σε μια λύση με πολύ λιγότερες επαναλήψεις εκπαίδευσης από τις παραδοσιακές μεθόδους. Μαθαίνοντας τη “μορφή” των δεδομένων και όχι τη μνήμη των δεδομένων themselves, τα Παγκόσμια Μοντέλα χτίζουν μια πιο robust μορφή νοήσης που γενικεύεται καλύτερα σε νέες, απρόβλεπτες καταστάσεις.

Αυτό είναι το λείπων σύνδεσμος για την AGI. Η αληθινή νοήση απαιτεί ναυτιλία. Απαιτεί έναν πράκτορα να κοιτάξει ένα στόχο, να προσομοιώσει διαφορετικά μονοπάτια για να το επιτύχει χρησιμοποιώντας το εσωτερικό μοντέλο του κόσμου και να επιλέξει το μονοπάτι με την υψηλότερη πιθανότητα επιτυχίας. Τα μοντέλα κειμένου δεν μπορούν να κάνουν αυτό· μπορούν μόνο να γράψουν ένα σχέδιο, δεν μπορούν να κατανοήσουν τις περιορισμούς της εκτέλεσής του.

Το Κύριο

Η βιομηχανία του AI βρίσκεται σε ένα σταυροδρόμι. Η στρατηγική του “πросто προσθέστε περισσότερα δεδομένα” φτάνει στο λογικό της τέλος. Μεταβαίνουμε από την εποχή του Chatbot στην εποχή του Προσομοιωτή.

Η επόμενη γενιά της κλιμάκωσης του AI δεν θα είναι για να διαβάσει ολόκληρο το διαδίκτυο. Θα είναι για να παρακολουθήσει τον κόσμο, να κατανοήσει τους κανόνες του και να χτίσει μια εσωτερική αρχιτεκτονική που αντανακλά την πραγματικότητα. Αυτό δεν είναι μόνο μια τεχνική αναβάθμιση· είναι μια θεμελιώδη αλλαγή σε αυτό που θεωρούμε “μάθηση.”

Για τις επιχειρήσεις και τους ερευνητές, η εστίαση πρέπει να μεταβεί. Πρέπει να σταματήσουμε να εστιάζουμε στους αριθμούς παραμέτρων και να αρχίσουμε να αξιολογούμε πόσο καλά τα συστήματά μας κατανοούν την αιτία και την επίδραση. Το AI του μέλλοντος δεν θα μας πει μόνο τι συνέβη· θα μας δείξει τι θα μπορούσε να συμβεί και γιατί. Αυτή είναι η υπόσχεση των Παγκοσμίων Μοντέλων και είναι ο μόνος δρόμος προς τα εμπρός.