Τα μοντέλα AI παρέχουν εποπτεία σχετικά με τον τρόπο που ο εγκέφαλος επεξεργάζεται τη γλώσσα

Νέα έρευνα που προέρχεται από το Massachusetts Institute of Technology υποδηλώνει ότι η υποκείμενη λειτουργία των υπολογιστικών μοντέλων ‘προβλέψεως επόμενου λεκτικού’ μοιάζει με τη λειτουργία των κέντρων επεξεργασίας γλώσσας στον ανθρώπινο εγκέφαλο.

Σημασία της Γλώσσας

Τα νεότερα προβλεπτικά μοντέλα γλώσσας μπορεί να μαθαίνουν κάτι για την υποκείμενη σημασία της γλώσσας, το οποίο θα ήταν ένα τεράστιο βήμα προς τα εμπρός στο πεδίο. Τα μοντέλα προβλέπουν το λεξιλόγιο που έρχεται 다음, αλλά επίσης εκτελούν εργασίες που απαιτούν ένα βαθμό αληθινής κατανόησης. Αυτές οι εργασίες περιλαμβάνουν την απάντηση σε ερωτήσεις, τη συμμόρφωση εγγράφων και την ολοκλήρωση ιστοριών.
Τα μοντέλα σχεδιάστηκαν για να βελτιστοποιήσουν την απόδοση για την πρόβλεψη κειμένου χωρίς να προσπαθούν να μιμηθούν τίποτα σχετικά με τον τρόπο που ο ανθρώπινος εγκέφαλος κατανοεί τη γλώσσα. Ωστόσο, η ομάδα του MIT από νευροεπιστήμονες υποδηλώνει ότι κάτι συμβαίνει σε αυτό το ohled.
Μια από τις πιο ενδιαφέρουσες εποπτείες αυτής της έρευνας είναι ότι τα υπολογιστικά μοντέλα που εκτελούν καλά σε άλλους τύπους εργασιών γλώσσας δεν δείχνουν αυτή τη ομοιότητα με τον ανθρώπινο εγκέφαλο. Αυτό θεωρείται ως απόδειξη ότι ο ανθρώπινος εγκέφαλος μπορεί να χρησιμοποιεί την πρόβλεψη επόμενου λεκτικού για την εκτέλεση επεξεργασίας γλώσσας.
Η Nancy Kanwisher είναι καθηγήτρια του Walter A. Rosenblith Cognitive Neuroscience. Είναι επίσης μέλος του MIT’s McGovern Institute for Brain Research και του Center for Brains, Minds, and Machines (CBMM), και συγγραφέας της μελέτης.
“Οσο καλύτερο είναι το μοντέλο στην πρόβλεψη του επόμενου λεκτικού, τόσο πιο στενά ταιριάζει στον ανθρώπινο εγκέφαλο”, λέει η Kanwisher. “Είναι εκπληκτικό που τα μοντέλα ταιριάζουν τόσο καλά, και αυτό υποδηλώνει έμμεσα ότι ίσως το σύστημα γλώσσας του ανθρώπου κάνει την πρόβλεψη του τι θα συμβεί επόμενο.”
Η μελέτη εμφανίστηκε στο Proceedings of the National Academy of Sciences.
Συμπεριελάμβανε επίσης τους senior authors Joshue Tenenbaum, καθηγητή της γνωστικής επιστήμης στο MIT και μέλος του CBMM και του MIT’s Artificial Intelligence (CSAIL), και Eveline Fedorenko, Frederick A. και Carole J. Middleton Career Development Associate Professor of Neuroscience και μέλος του McGovern Institute. Ο πρώτος συγγραφέας του εγγράφου ήταν ο Martin Schrimpf, φοιτητής του MIT.

Η Μελέτη

Η ομάδα του MIT σύγκρινε τα κέντρα επεξεργασίας γλώσσας στον ανθρώπινο εγκέφαλο με τα μοντέλα επεξεργασίας γλώσσας. Ανέλυσαν 43 διαφορετικά μοντέλα γλώσσας, συμπεριλαμβανομένων εκείνων που είναι βελτιστοποιημένα για την πρόβλεψη επόμενου λεκτικού, όπως το GPT-3. Άλλα μοντέλα σχεδιάστηκαν για την εκτέλεση διαφορετικών εργασιών γλώσσας, όπως την πλήρωση κενού.
Κάθε μοντέλο παρουσιάστηκε με μια σειρά λέξεων, και οι ερευνητές μέτρησαν τη δραστηριότητα των κόμβων που αποτελούν το δίκτυο. Τα μοτίβα σύγκρινε με τη δραστηριότητα στον εγκέφαλο, η οποία μετρήθηκε σε υποκείμενα που εκτελούσαν τρεις εργασίες γλώσσας: ακούγοντας ιστορίες, διαβάζοντας προτάσεις μια προς μια και διαβάζοντας προτάσεις στις οποίες μια λέξη αποκαλύπτεται κάθε φορά.
Τα δεδομένα του ανθρώπινου πληθυσμού περιελάμβαναν δεδομένα λειτουργικής μαγνητικής τομογραφίας (fMRI) και μετρήσεις ηλεκτροκορτικογραφίας που λαμβάνονται από άτομα που υποβασίζονται σε εγχείρηση εγκεφάλου για επιληψία.
Οι ερευνητές βρήκαν ότι τα καλύτερα μοντέλα πρόβλεψης επόμενου λεκτικού είχαν μοτίβα δραστηριότητας που έμοιαζαν στενά με αυτά που παρατηρήθηκαν στον ανθρώπινο εγκέφαλο. Τα ίδια μοντέλα επίσης επέδειξαν δραστηριότητα που ήταν υψηλά συσχετισμένη με μετρήσεις ανθρώπινης συμπεριφοράς όπως το πόσο γρήγορα οι άνθρωποι μπορούν να διαβάσουν το κείμενο.
“Βρήκαμε ότι τα μοντέλα που προβλέπουν τις νευρικές απαντήσεις καλά επίσης tend να προβλέπουν καλύτερα τις ανθρώπινες συμπεριφορικές απαντήσεις, στη μορφή των χρόνων ανάγνωσης. Και τότε και τα δύο εξηγούνται από την απόδοση του μοντέλου στην πρόβλεψη επόμενου λεκτικού. Αυτό το τρίγωνο συνδέει τα πάντα μαζί”, λέει ο Schrimpf.
Οι ερευνητές θα κοιτάξουν τώρα να χτίσουν παραλλαγές των μοντέλων επεξεργασίας γλώσσας, τα οποία θα τους επιτρέψουν να δουν πώς μικρές αλλαγές στη αρχιτεκτονική τους επηρεάζουν την απόδοση και την ικανότητά τους να ταιριάζουν με τα νευρικά δεδομένα του ανθρώπου.