Μοντέλα και πλατφόρμες AI
Test-Time Scaling: Το Μυστικό Συστατικό Πίσω από το Νέο Κύμα Μοντέλων Συλλογιστικής Επιπέδου PhD

Βασικά σημείαΗ κλιμάκωση κατά τη διάρκεια της δοκιμής μετατοπίζει υπολογιστική προσπάθεια της ΤΝ από…
Δείτε περισσότερα
- Η κλιμάκωση κατά τη διάρκεια της δοκιμής μετατοπίζει υπολογιστική προσπάθεια της ΤΝ από την εκπαίδευση στη συμπερασματική λειτουργία για βαθύτερη συλλογιστική.
- Αυτή η προσέγγιση επιτρέπει σε μοντέλα όπως το o1 της OpenAI να επιτυγχάνουν επίλυση προβλημάτων σε επίπεδο διδακτορικού μέσω εσωτερικής επαλήθευσης.
- Η τεχνική εισάγει μεταβλητό υπολογιστικό κόστος ανά ερώτημα αλλά ξεκλειδώνει τη δυνατότητα της ΤΝ για πρωτότυπη ανακάλυψη.
Το πεδίο της τεχνητής νοημοσύνης έχει φτάσει σε ένα σημείο όπου η απλή προσθήκη περισσότερων δεδομένων ή η αύξηση του μεγέθους ενός μοντέλου δεν είναι ο καλύτερος τρόπος για να το κάνει πιο έξυπνο. Για τα τελευταία χρόνια, πιστεύαμε ότι αν κατασκευάζαμε μεγαλύτερα νευρωνικά δίκτυα και τα ταίζαμε με περισσότερο διαδίκτυο, θα γίνονταν τελικά πιο έξυπνα. Αυτή η προσέγγιση, γνωστή ως νόμοι κλιμάκωσης, λειτουργούσε εξαιρετικά καλά. Μας έδωσε μοντέλα που μπορούν να γράφουν ποίηση, να μεταφράζουν γλώσσες και να περνούν εξετάσεις δικηγορικού. Ωστόσο, αυτά τα μοντέλα συχνά έπασχαν από βαθιά λογική, σύνθετη μαθηματική και πολυστάθμια επιστημονικά προβλήματα. Ήταν εξαιρετικά καλά στην αναγνώριση προτύπων αλλά συχνά απέτυχαν σε προβλήματα που απαιτούν πολυστάθμια λογική.
Πρόσφατα, μια νέα τάση έχει εμφανιστεί που αλλάζει τον τρόπο που σκεφτόμαστε για τις ικανότητες της τεχνητής νοημοσύνης. Αυτή η τάση ονομάζεται κλιμάκωση στο χρόνο του τεστ. Αντί να επικεντρωθούμε μόνο σε το πόσο ένα μοντέλο μαθαίνει κατά τη φάση εκπαίδευσης, οι ερευνητές επικεντρώνονται τώρα σε το πόσο το μοντέλο “σκέφτεται” όταν απαντάει σε μια ερώτηση. Αυτή η μετατόπιση είναι το μυστικό συστατικό πίσω από το τελευταίο κύμα μοντέλων λογικής, όπως η σειρά o1 της OpenAI, τα οποία τώρα εκτελούνται στο επίπεδο των φοιτητών PhD σε δύσκολα θέματα όπως η φυσική, η χημεία και η βιολογία.
Η Μετατόπιση από την Κλιμάκωση της Εκπαίδευσης στην Κλιμάκωση της Εξαγωγής Συμπερασμάτων
Για να κατανοήσουμε γιατί αυτή είναι μια σημαντική αλλαγή, πρέπει να κοιτάξουμε πώς η τεχνητή νοημοσύνη κατασκευαζόταν μέχρι τώρα. Παραδοσιακά, η “νοημοσύνη” ενός μοντέλου καθοριζόταν με βάση την εκπαίδευσή του. Αυτό περιελάμβανε την δαπάνη μηνών και εκατομμυρίων δολαρίων για να τρέξουμε τεράστιες ποσότητες δεδομένων μέσω χιλιάδων GPU. Μόλις ολοκληρωνόταν η εκπαίδευση, το μοντέλο ήταν ουσιαστικά παγωμένο. Όταν σας ζητούσαν μια ερώτηση, θα σας έδινε μια απάντηση σχεδόν αμέσως με βάση τα πρότυπα που είχε ήδη μάθει. Αυτό είναι αυτό που ονομάζουμε εξαγωγή συμπερασμάτων ή χρόνος του τεστ.
Το πρόβλημα με αυτή την παραδοσιακή προσέγγιση είναι ότι το μοντέλο έχει μόνο μια ευκαιρία να πάρει την σωστή απάντηση. Επεξεργάζεται την ερώτηση και παράγει tokens το ένα μετά το άλλο χωρίς τρόπο να “σκέφτεται” ή “ελέγχει” τη λογική του πριν μιλήσει. Η κλιμάκωση στο χρόνο του τεστ αλλάζει αυτή τη δυναμική. Επιτρέπει στο μοντέλο να διαθέτει περισσότερη υπολογιστική δύναμη κατά τη φάση της εξαγωγής συμπερασμάτων. Όπως ένας άνθρωπος μπορεί να πάρει λίγα δευτερόλεπτα για να απαντήσει σε μια απλή ερώτηση αλλά αρκετά λεπτά ή ώρες για να λύσει ένα σύνθετο μαθηματικό πρόβλημα, τα μοντέλα της τεχνητής νοημοσύνης τώρα σχεδιάζονται για να κλιμακώσουν την προσπάθεια τους με βάση τη δυσκολία της εργασίας.
Ο Ορισμός της Εννοίας της Κλιμάκωσης στο Χρόνο του Τεστ
Κλιμάκωση στο χρόνο του τεστ αναφέρεται στις τεχνικές που επιτρέπουν σε ένα μοντέλο της τεχνητής νοημοσύνης να χρησιμοποιήσει επιπλέον υπολογιστικούς πόρους για να επεξεργαστεί μια αίτηση στο σημείο της παράδοσης. Σε απλά λόγια, σημαίνει να δώσουμε στο μοντέλο περισσότερο “χρόνο σκέψης”. Αυτό δεν είναι για να κάνουμε το μοντέλο μεγαλύτερο, αλλά για να το κάνουμε πιο προσεκτικό. Όταν ένα μοντέλο χρησιμοποιεί κλιμάκωση στο χρόνο του τεστ, δεν παράγει απλά την πρώτη απάντηση που του έρχεται στο μυαλό. Αντίθετα, μπορεί να εξερευνήσει διαφορετικά μονοπάτια, να ελέγξει για λάθη στη δική του λογική και να βελτιώσει την απάντησή του πριν ο χρήστης το δει.
Η έννοια αυτή συγκρίνεται συχνά με τον τρόπο λειτουργίας του ανθρώπινου εγκεφάλου. Οι ψυχολόγοι μιλούν συχνά για σκέψη «Σύστημα 1» και «Σύστημα 2». Το Σύστημα 1 είναι γρήγορο, ενστικτώδες και συναισθηματικό. Το χρησιμοποιούμε όταν αναγνωρίζουμε ένα πρόσωπο ή οδηγούμε σε γνώριμο δρόμο. Το Σύστημα 2 είναι πιο αργό, πιο προσεκτικό και λογικό. Το χρησιμοποιούμε όταν λύνουμε μια δύσκολη μαθηματική εξίσωση ή σχεδιάζουμε ένα σύνθετο έργο. Μέχρι πρόσφατα, τα LLM λειτουργούσαν κυρίως ως στοχαστές του Συστήματος 1. Η κλιμάκωση κατά την εξαγωγή συμπερασμάτων είναι η γέφυρα που τους επιτρέπει να προσεγγίσουν τη σκέψη του Συστήματος 2.
Η Μηχανική της Διαδικασίας Λογικής
Υπάρχουν πολλοί τρόποι με τους οποίους οι ερευνητές επιτύγχαναν κλιμάκωση στο χρόνο του τεστ. Μία από τις πιο κοινές μεθόδους ονομάζεται διατύπωση προτροπών με Αλυσίδα Σκέψης (CoT), αλλά σε αυτά τα νέα μοντέλα, είναι ενσωματωμένα στο σύστημα αντί να είναι κάτι που ο χρήστης πρέπει να ζητήσει. Το μοντέλο εκπαιδεύεται να διαιρεί ένα πρόβλημα σε μικρότερα, λογικά βήματα. Κάνοντας αυτό, το μοντέλο μπορεί να επιβεβαιώσει κάθε μέρος της λύσης πριν προχωρήσει στο επόμενο.
Μια άλλη σημαντική τεχνική περιλαμβάνει αλγορίθμους αναζήτησης, όπως η Monte Carlo Tree Search. Αντί να προβλέπει απλώς την πιθανότερη επόμενη λέξη, το μοντέλο δημιουργεί πολλές πιθανές διαδρομές προς μια απάντηση. Αξιολογεί αυτές τις διαδρομές και καθορίζει ποια είναι πιθανότερο να οδηγήσει σε σωστή λύση. Αν συναντήσει αδιέξοδο ή διαπιστώσει ότι ένα προηγούμενο βήμα ήταν λάθος, μπορεί να επιστρέψει και να δοκιμάσει διαφορετική προσέγγιση. Αυτή η δυνατότητα πρόβλεψης επόμενων βημάτων μοιάζει με τον τρόπο που μια σκακιστική μηχανή αξιολογεί χιλιάδες πιθανές κινήσεις πριν επιλέξει την καλύτερη. Εξετάζοντας πολλές δυνατότητες κατά την εξαγωγή συμπερασμάτων, το μοντέλο λύνει πολύ πιο σύνθετα προβλήματα από όσα μπορεί να λύσει άμεσα ένα τυπικό LLM.
Γιατί η Λογική PhD-Επιπέδου Απαιτεί Περισσότερα Από τη Μνήμη
Ο λόγος που αυτό έχει τόσο μεγάλη σημασία είναι ότι η υψηλού επιπέδου λογική στις επιστήμες και τα μαθηματικά δεν μπορεί να επιλυθεί μόνο με τη μνήμη. Σε μια εξέταση φυσικής PhD, δεν μπορείτε απλά να επαναλάβετε ένα γεγονός που διάβασατε σε ένα βιβλίο. Πρέπει να εφαρμόσετε σύνθετες αρχές σε μια νέα και μοναδική κατάσταση. Τα τυπικά μοντέλα συχνά παράγουν επινοημένες πληροφορίες σε αυτές τις καταστάσεις επειδή προσπαθούν να προβλέψουν την επόμενη λέξη με βάση την πιθανότητα αντί για τη λογική.
Η κλιμάκωση στο χρόνο του τεστ επιτρέπει στο μοντέλο να λειτουργεί περισσότερο σαν ερευνητής. Μπορεί να ελέγχει υποθέσεις εσωτερικά. Αν του ζητηθεί να γράψει σύνθετο κώδικα, για παράδειγμα, μπορεί να «εκτελέσει» τη λογική στην κρυφή αλυσίδα σκέψης του, να εντοπίσει πιθανό σφάλμα και να το διορθώσει πριν παρουσιάσει τον τελικό κώδικα. Η δυνατότητα αυτοδιόρθωσης επιτρέπει στη νέα γενιά μοντέλων να πετυχαίνει υψηλές βαθμολογίες σε δοκιμασίες όπως η American Invitational Mathematics Examination (AIME) ή η GPQA, μια δύσκολη επιστημονική εξέταση σχεδιασμένη από ειδικούς. Δεν μαντεύουν απλώς· επαληθεύουν.
Ο Συμβιβασμός Αποδοτικότητας και το Υπολογιστικό Κόστος
Ενώ η κλιμάκωση στο χρόνο του τεστ είναι ισχυρή, έρχεται με ένα σημαντικό κόστος. Στο παλιό τρόπο να κάνουμε τα πράγματα, το πιο ακριβό μέρος της τεχνητής νοημοσύνης ήταν η εκπαίδευση. Μόλις το μοντέλο ήταν αναπτυγμένο, το να το τρέξουμε ήταν σχετικά φθηνό και γρήγορο. Με την κλιμάκωση στο χρόνο του τεστ, το κόστος μετατοπίζεται προς την αίτηση του χρήστη. Επειδή το μοντέλο κάνει περισσότερη δουλειά παράγοντας πολλαπλά μονοπάτια και ελέγχοντας τη δική του δουλειά, χρειάζεται περισσότερο χρόνο για να απαντήσει και απαιτεί περισσότερους υπολογιστικούς πόρους.
Αυτό δημιουργεί μια νέα οικονομική πραγματικότητα για την AI. Οδεύουμε προς μια κατάσταση όπου το «κόστος ανά ερώτημα» μπορεί να διαφέρει δραματικά. Μια απλή ερώτηση για τον καιρό μπορεί να κοστίζει κλάσμα του σεντ και να χρειάζεται ένα δευτερόλεπτο. Μια βαθιά επιστημονική έρευνα μπορεί να κοστίζει αρκετά δολάρια σε υπολογιστικό χρόνο και να απαιτεί μία ώρα επεξεργασίας. Αυτός ο συμβιβασμός είναι απαραίτητος για συλλογιστική υψηλού επιπέδου, αλλά σημαίνει ότι οι προγραμματιστές πρέπει να κάνουν τα μοντέλα αποδοτικά ώστε να χρησιμοποιούνται σε μεγάλη κλίμακα στην ιατρική ή τη μηχανική.
Η Επίδραση στο Μέλλον της Τεχνητής Νοημοσύνης
Η άνοδος της κλιμάκωσης στο χρόνο του τεστ υποδηλώνει ότι μπορεί να εισέρχεται σε μια νέα εποχή της ανάπτυξης της τεχνητής νοημοσύνης. Για χρόνια, υπήρχε η ανησυχία ότι θα εξαντλήσουμε τελικά τα υψηλής ποιότητας ανθρώπινα δεδομένα για να εκπαιδεύσουμε τα μοντέλα. Αν τα μοντέλα μαθαίνουν μόνο από αυτά που έχουν ήδη γραφτεί από τους ανθρώπους, μπορεί να φτάσουν σε ένα όριο. Ωστόσο, η κλιμάκωση στο χρόνο του τεστ δείχνει ότι τα μοντέλα μπορούν να βελτιώσουν την απόδοσή τους σκέφτοντας πιο σκληρά, όχι απλά διαβάζοντας περισσότερα.
Αυτό ανοίγει τον δρόμο για δικές της ανακαλύψεις από την AI. Αν ένα μοντέλο μπορεί να επεξεργαστεί συλλογιστικά ένα πρόβλημα που δεν έχει ξαναδεί, ενδέχεται να βρει νέες λύσεις στην επιστήμη των υλικών, την ανακάλυψη φαρμάκων ή τις ανανεώσιμες πηγές ενέργειας. Η AI μετατρέπεται από χρήσιμο βοηθό που συνοψίζει κείμενα σε ψηφιακό συνεργάτη που μπορεί να συμβάλει στην επίλυση των δυσκολότερων προβλημάτων του κόσμου. Βλέπουμε μια μετάβαση από την «παραγωγική» AI στη «συλλογιστική» AI.
Το Συμπέρασμα
Η κλιμάκωση στο χρόνο του τεστ αποδεικνύεται ότι είναι ο ελλείπων κρίκος στην αναζήτηση για προηγμένη τεχνητή νοημοσύνη. Επιτρέποντας στα μοντέλα να χρησιμοποιήσουν περισσότερη υπολογιστική δύναμη στο σημείο της παράδοσης, έχουμε ξεκλειδώσει ένα επίπεδο απόδοσης που θεωρούνταν προηγουμένως ότι ήταν χρόνια μακριά. Αυτά τα μοντέλα αρχίζουν να δείχνουν ένα είδος λογικής που μοιάζει πολύ πιο κοντά στη ανθρώπινη νοημοσύνη από την απλή αναγνώριση προτύπων του παρελθόντος.
Όταν προχωρήσουμε, η πρόκληση θα είναι να βελτιώσουμε αυτές τις τεχνικές. Χρειαζόμαστε να κάνουμε τη λογική ταχύτερη και πιο προσιτή ενώ βρίσκουμε τη σωστή ισορροπία μεταξύ “γρήγορης” και “αργής” σκέψης. Το μυστικό συστατικό δεν είναι πλέον μόνο το μέγεθος του μοντέλου ή η ποσότητα δεδομένων που έχει δει. Το μυστικό είναι το πώς το μοντέλο χρησιμοποιεί τον χρόνο του για να σκέφτεται. Για όσους ακολουθούν την πρόοδο της τεχνητής νοημοσύνης, είναι σαφές ότι η εστίαση έχει μετατοπιστεί. Ο αγώνας δεν είναι πλέον μόνο για το ποιος έχει το μεγαλύτερο μοντέλο, αλλά ποιος έχει το μοντέλο που μπορεί να σκέφτεται καλύτερα. Αυτή η μετατόπιση θα ορίσει πιθανώς την επόμενη δεκαετία της καινοτομίας στο πεδίο.












