Τα μοντέλα AI παρέχουν εποπτεία σχετικά με τον τρόπο με τον οποίο ο εγκέφαλος επεξεργάζεται τη γλώσσα

Νέα έρευνα από το Ινστιτούτο Τεχνολογίας της Μασαχουσέτης υποδηλώνει ότι η υποκείμενη λειτουργία των υπολογιστικών μοντέλων «προσδιορισμού της επόμενης λέξης» μοιάζει με τη λειτουργία των κέντρων επεξεργασίας της γλώσσας στον ανθρώπινο εγκέφαλο.

Σημασία της Γλώσσας

Τα νεότερα προβλεπτικά μοντέλα γλώσσας μπορεί να μαθαίνουν κάτι για την υποκείμενη σημασία της γλώσσας, το οποίο θα ήταν ένα τεράστιο βήμα στην πρόοδο του πεδίου. Τα μοντέλα προβλέπουν τη λέξη που έρχεται μετά, αλλά επίσης εκτελούν εργασίες που απαιτούν ένα βαθμό γνήσιου κατανοήματος. Αυτές οι εργασίες περιλαμβάνουν την απάντηση σε ερωτήσεις, τη σύνοψη εγγράφων και την ολοκλήρωση ιστοριών.

Τα μοντέλα σχεδιάστηκαν για να βελτιστοποιήσουν την απόδοση για την πρόβλεψη κειμένου χωρίς να προσπαθούν να μιμηθούν τίποτα σχετικά με τον τρόπο με τον οποίο ο ανθρώπινος εγκέφαλος κατανοεί τη γλώσσα. Ωστόσο, η ομάδα των νευροεπιστημόνων του MIT υποδηλώνει ότι κάτι συμβαίνει σε αυτόν τον τομέα.

Μια από τις πιο ενδιαφέρουσες επισημάνσεις αυτής της έρευνας είναι ότι τα υπολογιστικά μοντέλα που εκτελούν καλά σε άλλους τύπους εργασιών γλώσσας δεν δείχνουν αυτή τη ομοιότητα με τον ανθρώπινο εγκέφαλο. Αυτό θεωρείται ως απόδειξη ότι ο ανθρώπινος εγκέφαλος μπορεί να χρησιμοποιεί την πρόβλεψη της επόμενης λέξης για την εκτέλεση της επεξεργασίας της γλώσσας.

Η Nancy Kanwisher είναι καθηγήτρια γνωστικής νευροεπιστήμης. Είναι επίσης μέλος του Ινστιτούτου Ερευνών του Εγκεφάλου McGovern και του Κέντρου για τους Εγκεφάλους, τους Νους και τις Μηχανές (CBMM), και συγγραφέας της μελέτης.

«Το καλύτερο μοντέλο για την πρόβλεψη της επόμενης λέξης, το οποίο ταιριάζει περισσότερο με τον ανθρώπινο εγκέφαλο», λέει η Kanwisher. «Είναι αξιοπρεπές που τα μοντέλα ταιριάζουν τόσο καλά, και αυτό υποδηλώνει ότι ίσως το σύστημα γλώσσας του ανθρώπου κάνει την πρόβλεψη του τι θα συμβεί μετά».

Η μελέτη δημοσιεύθηκε στο Πρακτικά της Εθνικής Ακαδημίας Επιστημών.

Συμπεριελάμβανε επίσης τους старшие συγγραφείς Joshue Tenenbaum, καθηγητή γνωστικής επιστήμης στο MIT και μέλος του CBMM και του CSAIL του MIT, και Eveline Fedorenko, καθηγήτρια νευροεπιστήμης και μέλος του Ινστιτούτου Ερευνών του Εγκεφάλου McGovern. Ο πρώτος συγγραφέας του εγγράφου ήταν ο Martin Schrimpf, φοιτητής του MIT.

Η Μελέτη

Η ομάδα του MIT σύγκρινε τα κέντρα επεξεργασίας της γλώσσας στον ανθρώπινο εγκέφαλο με τα μοντέλα επεξεργασίας της γλώσσας. Αναλύθηκαν 43 διαφορετικά μοντέλα γλώσσας, συμπεριλαμβανομένων εκείνων που είναι βελτιστοποιημένα για την πρόβλεψη της επόμενης λέξης, όπως το GPT-3. Άλλα μοντέλα σχεδιάστηκαν για την εκτέλεση διαφορετικών εργασιών γλώσσας, όπως την πλήρωση κενών.

Κάθε μοντέλο παρουσιάστηκε με μια σειρά λέξεων, και οι ερευνητές μετρούσαν τη δραστηριότητα των κόμβων που αποτελούν το δίκτυο. Τα μοτίβα συγκρίθηκαν με τη δραστηριότητα στον εγκέφαλο, η οποία μετρήθηκε σε άτομα που εκτελούσαν τρεις εργασίες γλώσσας: ακούγοντας ιστορίες, διαβάζοντας προτάσεις μια-μία, και διαβάζοντας προτάσεις με μια λέξη που αποκαλύπτεται κάθε φορά.

Τα δεδομένα του ανθρώπινου εγκεφάλου περιελάμβαναν λειτουργικές μαγνητικές τομογραφίες (fMRI) και μετρήσεις ηλεκτροκορτικογραφίας που λαμβάνονταν από άτομα που υποβέβαιναν σε εγχείρηση εγκεφάλου για επιληψία.

Οι ερευνητές βρήκαν ότι τα καλύτερα μοντέλα πρόβλεψης της επόμενης λέξης είχαν μοτίβα δραστηριότητας που έμοιαζαν με αυτά που παρατηρούνται στον ανθρώπινο εγκέφαλο. Τα ίδια μοντέλα επίσης έδειξαν δραστηριότητα που ήταν υψηλά συσχετισμένη με μετρήσεις ανθρώπινης συμπεριφοράς, όπως το πόσο γρήγορα οι άνθρωποι μπορούν να διαβάσουν το κείμενο.

«Βρήκαμε ότι τα μοντέλα που προβλέπουν τις νευρικές απαντήσεις καλά επίσης τείνουν να προβλέπουν τις ανθρώπινες συμπεριφορικές απαντήσεις, με τη μορφή χρόνων ανάγνωσης. Και μετά και οι δύο εξηγούνται από την απόδοση του μοντέλου στην πρόβλεψη της επόμενης λέξης. Αυτό το τρίγωνο συνδέει όλα μαζί», λέει ο Schrimpf.

Οι ερευνητές θα κοιτάξουν τώρα να δημιουργήσουν παραλλαγές των μοντέλων επεξεργασίας της γλώσσας, τα οποία θα τους επιτρέψουν να δουν πώς μικρές αλλαγές στην αρχιτεκτονική τους επηρεάζουν την απόδοση και την ικανότητά τους να ταιριάζουν με τα νευρικά δεδομένα του ανθρώπου.