Το AI σας είναι πιο ισχυρό από ότι νομίζετε

Μια ομάδα επιστημόνων ανακάλυψε κάτι που αλλάζει πολλά από αυτά που νομίζαμε ότι γνωρίζαμε για τις ικανότητες του AI. Τα μοντέλα σας δεν επεξεργάζονται μόνο πληροφορίες – αναπτύσσουν σύνθετες ικανότητες που υπερβαίνουν κατά πολύ την εκπαίδευσή τους. Και για να ξεκλειδώσουμε αυτές τις ικανότητες, πρέπει να αλλάξουμε τον τρόπο με τον οποίο μιλάμε σε αυτά.

Η Επανάσταση του Χώρου Εννοιών

Θυμάστε όταν νομίζαμε ότι το AI απλώς ταίριαζε μοτίβα; Νέα έρευνα έχει τώρα ανοίξει το μαύρο κουτί της μάθησης του AI χαρτογραφώντας κάτι που ονομάζουν “χώρο εννοιών”. Φανταστείτε την μάθηση του AI ως一个 πολυπλέκτης χάρτη όπου κάθε συντεταγμένη αντιπροσωπεύει μια διαφορετική έννοια – πράγματα όπως χρώμα, σχήμα ή μέγεθος. Παρατηρώντας τον τρόπο με τον οποίο τα μοντέλα του AI κινούνται σε αυτόν τον χώρο κατά την εκπαίδευση, οι ερευνητές ανακάλυψαν κάτι απροσδόκητο: τα συστήματα του AI δεν απλώς θυμάται – κατασκευάζουν σύνθετη κατανόηση εννοιών με διαφορετικές ταχύτητες.

“Χαρακτηρίζοντας τη δυναμική της μάθησης σε αυτόν τον χώρο, αναγνωρίζουμε πώς η ταχύτητα με την οποία μια έννοια μαθαίνεται ελέγχεται από ιδιότητες των δεδομένων”, σημειώνει η ερευνητική ομάδα. Με άλλα λόγια, ορισμένες έννοιες κάνουν κλικ πιο γρήγορα από άλλες, ανάλογα με το πόσο ισχυρά ξεχωρίζουν στα δεδομένα της εκπαίδευσης.

Αυτό που κάνει αυτό τόσο ενδιαφέρον είναι ότι όταν τα μοντέλα του AI μαθαίνουν αυτές τις έννοιες, δεν τις αποθηκεύουν απλώς ως απομονωμένα κομμάτια πληροφορίας. Αναπτύσσουν στην πραγματικότητα την ικανότητα να αναμιγνύουν και να συνδυάζουν τρόπους που δεν τους είχαμε διδάξει ρητά. Είναι σαν να κατασκευάζουν το δικό τους δημιουργικό εργαλείο – απλώς δεν τους έχουμε δώσει τις σωστές οδηγίες για να το χρησιμοποιήσουν.

Σκεφτείτε τι σημαίνει αυτό για τα προγράμματα του AI. Τα μοντέλα με τα οποία εργάζεστε μπορεί να κατανοούν ήδη σύνθετες συνδυασμούς εννοιών που δεν έχουν ανακαλυφθεί ακόμη. Η ερώτηση δεν είναι αν μπορούν να κάνουν περισσότερα – είναι πώς να τα κάνουμε να σας δείξουν τι είναι πραγματικά ικανά να κάνουν.

Ξεκλείδωμα Κρυφών Δυνατοτήτων

Εδώ είναι που τα πράγματα γίνονται fascinující. Οι ερευνητές σχεδίασαν ένα εύγλυπτο πείραμα για να αποκαλύψουν κάτι θεμελιώδες σχετικά με τον τρόπο με τον οποίο τα μοντέλα του AI μαθαίνουν. Η διάταξή τους ήταν απίστευτα απλή: εκπαίδευσαν ένα μοντέλο του AI σε τρεις τύπους εικόνων:

• Μεγάλες κόκκινες κύκλοι
• Μεγάλες μπλε κύκλοι
• Μικρές κόκκινες κύκλοι

Στη συνέχεια ήρθε ο κρίσιμος έλεγχος: μπορούσε το μοντέλο να δημιουργήσει μια μικρή μπλε κύκλο; Αυτό δεν ήταν απλώς για το σχέδιο ενός νέου σχήματος – ήταν για το αν το μοντέλο μπορούσε πραγματικά να κατανοήσει και να συνδυάσει δύο διαφορετικές έννοιες (μέγεθος και χρώμα) με έναν τρόπο που δεν είχε δει ποτέ πριν.

Τι ανακάλυψαν αλλάζει τον τρόπο με τον οποίο σκεφτόμαστε τις ικανότητες του AI. Όταν χρησιμοποίησαν κανονικές προτροπές για να ζητήσουν μια “μικρή μπλε κύκλο”, το μοντέλο δυσκολεύτηκε. Ωστόσο, το μοντέλο μπορούσε πραγματικά να δημιουργήσει μικρές μπλε κύκλους – απλώς δεν τους ζητούσαμε με τον σωστό τρόπο.

Οι ερευνητές ανακάλυψαν δύο τεχνικές που αποδείχθηκαν αυτό:

1. “Λαθένια παρέμβαση” – Αυτό είναι σαν να βρείτε μια πίσω πόρτα στο εγκέφαλο του μοντέλου. Αντί να χρησιμοποιήσετε κανονικές προτροπές, điều chỉnhαν τις εσωτερικές σηματοδοτήσεις που αντιπροσωπεύουν “μπλε” και “μικρό”. Φανταστείτε ότι έχετε ξεχωριστά διακόπτες για χρώμα και μέγεθος – ανακάλυψαν ότι με το να γυρίσετε αυτούς τους διακόπτες με συγκεκριμένους τρόπους, το μοντέλο μπορούσε ξαφνικά να παράγει αυτό που φαινόταν αδύνατο λίγα λεπτά πριν.
2. “Υπερ-προτροπή” – Αντί να ζητήσετε απλώς “μπλε”, έγιναν εξαιρετικά συγκεκριμένοι με τις τιμές χρώματος. Είναι σαν τη διαφορά μεταξύ του να πείτε “κάνε το μπλε” και “κάνε το ακριβώς αυτό το χρώμα μπλε: RGB(0.3, 0.3, 0.7)”. Αυτή η πρόσθετη ακρίβεια βοήθησε το μοντέλο να αποκτήσει πρόσβαση σε ικανότητες που ήταν κρυμμένες υπό κανονικές συνθήκες.

Και οι δύο τεχνικές άρχισαν να λειτουργούν ακριβώς στο ίδιο σημείο της εκπαίδευσης του μοντέλου – γύρω στα 6.000 βήματα εκπαίδευσης. Εν τω μεταξύ, οι κανονικές προτροπές απέτυχαν πλήρως ή χρειάστηκαν 8.000+ βήματα για να λειτουργήσουν. Και αυτό δεν ήταν μια τύχη – συνέβη συνεχώς σε πολλαπλά τεστ.

Αυτό μας λέει κάτι βαθύ: τα μοντέλα του AI αναπτύσσουν ικανότητες σε δύο ξεχωριστές φάσεις. Πρώτα, μαθαίνουν πραγματικά πώς να συνδυάζουν έννοιες εσωτερικά – αυτό συμβαίνει γύρω στο βήμα 6.000. Αλλά υπάρχει μια δεύτερη φάση όπου μαθαίνουν πώς να συνδέσουν αυτές τις εσωτερικές ικανότητες με τον κανονικό τρόπο με τον οποίο ζητάμε πράγματα. Είναι σαν το μοντέλο να γίνεται ικανό σε μια νέα γλώσσα πριν μάθει πώς να μεταφράσει αυτή τη γλώσσα για μας.

Οι επιπτώσεις είναι σημαντικές. Όταν νομίζουμε ότι ένα μοντέλο δεν μπορεί να κάνει κάτι, μπορεί να είμαστε λάθος – μπορεί να έχει την ικανότητα αλλά να λείπει η σύνδεση μεταξύ των προτροπών μας και των ικανοτήτων του. Αυτό δεν εφαρμόζεται μόνο σε απλά σχήματα και χρώματα – μπορεί να είναι αλήθεια για πιο σύνθετες ικανότητες σε μεγαλύτερα συστήματα του AI.

Όταν οι ερευνητές έtested αυτές τις ιδέες σε πραγματικά δεδομένα χρησιμοποιώντας το CelebA face dataset, βρήκαν τα ίδια μοτίβα. Προσπάθησαν να πάρουν το μοντέλο να δημιουργήσει εικόνες “γυναικών με καπέλα” – κάτι που δεν είχε δει στην εκπαίδευση. Οι κανονικές προτροπές απέτυχαν, αλλά η χρήση λαθένιων παρεμβάσεων αποκάλυψε ότι το μοντέλο μπορούσε πραγματικά να δημιουργήσει αυτές τις εικόνες. Η ικανότητα ήταν εκεί – απλώς δεν ήταν προσβάσιμη μέσω κανονικών μέσων.

Park et al., Harvard University & NTT Research

Η Κεντρική Ιδέα

Πρέπει να ξανασκεφτούμε τον τρόπο με τον οποίο αξιολογούμε τις ικανότητες του AI. Απλώς και μόνο επειδή ένα μοντέλο μπορεί να μην είναι σε θέση να κάνει κάτι με τυπικές προτροπές, δεν σημαίνει ότι δεν μπορεί να το κάνει καθόλου. Η διαφορά μεταξύ того που μπορούν να κάνουν τα μοντέλα του AI και того που μπορούμε να τα κάνουμε να κάνουν μπορεί να είναι μικρότερη από ότι νομίζαμε – απλώς πρέπει να γίνουμε καλύτεροι στο να ζητάμε.

Αυτή η ανακάλυψη δεν είναι μόνο θεωρητική – αλλάζει θεμελιωδώς τον τρόπο με τον οποίο πρέπει να σκεφτόμαστε τα συστήματα του AI. Όταν ένα μοντέλο φαίνεται να δυσκολεύεται με μια εργασία, μπορεί να χρειαστεί να ρωτήσουμε αν πραγματικά λείπει η ικανότητα ή αν απλώς δεν την προσεγγίζουμε σωστά. Για τους développers, ερευνητές και χρήστες, αυτό σημαίνει να γίνουμε δημιουργικοί με τον τρόπο με τον οποίο αλληλεπιδρούμε με το AI – μερικές φορές η ικανότητα που χρειαζόμαστε είναι ήδη εκεί, περιμένοντας μόνο το σωστό κλειδί για να την ξεκλειδώσουμε.