Ο Αγώνας για το ΣTOP των AI να Αποτυγχάνουν στις Εξετάσεις

Νέα ερευνητικά αποτελέσματα από ένα κινέζικο πανεπιστήμιο προσφέρουν μια εικόνα για το γιατί τα μοντέλα γενικής επεξεργασίας φυσικής γλώσσας όπως το GPT-3 τείνουν να “απατώνται” όταν τους ζητείται μια δύσκολη ερώτηση, παράγοντας απαντήσεις που μπορεί να είναι τεχνικά σωστές, αλλά χωρίς καμία πραγματική κατανόηση του γιατί η απάντηση είναι σωστή· και γιατί δείχνουν μικρή ή καθόλου ικανότητα να εξηγήσουν τη λογική πίσω από τις “εύκολες” απαντήσεις τους. Οι ερευνητές προτείνουν επίσης μεθόδους για να κάνουν τα συστήματα να “σπουδάζουν σκληρότερα” κατά τη φάση εκπαίδευσης.

Το πρόβλημα είναι διπλό: πρώτον, σχεδιάζουμε συστήματα που προσπαθούν να επιτύχουν αποτελέσματα γρήγορα και με βέλτιστη χρήση πόρων. Ακόμη και όπου, όπως με το GPT-3, οι πόροι μπορεί να είναι σημαντικά μεγαλύτεροι από ό,τι μπορεί να διαθέσει το μέσο ερευνητικό έργο NLP, αυτή η κουλτούρα της βελτιστοποίησης των αποτελεσμάτων vẫn κυριαρχεί στη μεθοδολογία, γιατί έχει γίνει η κυρίαρχη ακαδημαϊκή σύμβαση.

Συνεπώς, οι αρχιτεκτονικές εκπαίδευσης μας ανταμείβουν τα μοντέλα που συναντώνται γρήγορα και παράγουν φαινομενικά κατάλληλες απαντήσεις σε ερωτήσεις, ακόμη και αν το μοντέλο NLP δεν μπορεί στη συνέχεια να δικαιολογήσει την απάντησή του ή να δείξει πώς έφτασε στα συμπεράσματά του.

Μια Πρώιμη Διαθεση για Αποτυχία

Αυτό συμβαίνει γιατί το μοντέλο μαθαίνει ‘συντομεύσεις’ πολύ νωρίτερα στην εκπαίδευση από ό,τι μαθαίνει πιο περίπλοκους τύπους απόκτησης γνώσεων. Καθώς η αυξημένη ακρίβεια συχνά ανταμείβεται khá αδιακρίτως καθ’ όλη τη διάρκεια της εκπαίδευσης, το μοντέλο τότε προτιμά κάθε προσέγγιση που θα του επιτρέψει να απαντήσει σε μια ερώτηση ‘γρήγορα’, και χωρίς πραγματική ερμηνεία.

Καθώς η μάθηση συντομεύσεων θα αντιπροσωπεύει αναπόφευκτα τις πρώτες επιτυχίες κατά την εκπαίδευση, η συνεδρία θα φυσικά απομακρύνεται από την πιο δύσκολη εργασία της απόκτησης μιας χρήσιμης και πιο πλήρους επιστολογικής προοπτικής, που μπορεί να περιέχει βαθύτερες και πιο ερμηνευτικές στρώσεις απόδοσης και λογικής.

Τρέφοντας τα AI με τις ‘Εύκολες’ Απαντήσεις

Το δεύτερο πρόβλημα είναι ότι, παρόλο που πρόσφατες ερευνητικές πρωτοβουλίες έχουν μελετήσει την τάση των AI να ‘απατώνται’ με αυτόν τον τρόπο, και έχουν αναγνωρίσει το φαινόμενο των ‘συντομεύσεων’, δεν έχει υπάρξει μέχρι τώρα καμία προσπάθεια να ταξινομήσει το ‘συντομεύσεων’-ενεργοποιώντας υλικό σε ένα συνεισφέρων σύνολο δεδομένων, το οποίο θα ήταν το λογικό πρώτο βήμα για την αντιμετώπιση του τι μπορεί να αποδειχθεί μια θεμελιώδης αρχιτεκτονική ελάττωση στα συστήματα ανάγνωσης μηχανής (MRC).

Το νέο έγγραφο, μια συνεργασία μεταξύ του Ινστιτούτου Τεχνολογίας Υπολογιστών Wangxuan και του Εργαστηρίου Υπολογιστικής Γλωσσολογίας MOE στο Πανεπιστήμιο Πεκίνου, δοκιμάζει διάφορα μοντέλα γλώσσας ενάντια σε ένα νέο αναγνωρισμένο σύνολο δεδομένων που περιλαμβάνει ταξινομήσεις για ‘εύκολες’ και ‘δύσκολες’ λύσεις σε μια πιθανή ερώτηση.

Πηγή: https://arxiv.org/pdf/2106.01024.pdf

Το σύνολο δεδομένων χρησιμοποιεί την παραφράση ως κριτήριο για τις πιο περίπλοκες και βαθιές απαντήσεις, поскольку μια σεμαντική κατανόηση είναι απαραίτητη για να αναδιαμορφώσει την αποκτηθείσα γνώση. Αντίθετα, οι ‘συντομεύσεις’ απαντήσεις μπορούν να χρησιμοποιήσουν tokens όπως ημερομηνίες και άλλα περικλείοντα κλειδιά, για να παράγουν μια απάντηση που είναι фактически ακριβής, αλλά χωρίς κανένα контέκστ ή συλλογισμό.

Η συντομεύσεων συνιστώσα των αναγνωρίσεων περιλαμβάνει την αντιστοίχιση λέξεων ερωτήσεων (QWM) και την απλή αντιστοίχιση (SpM). Για την QWM, το μοντέλο χρησιμοποιεί οντότητες που εξάγονται από τα παρεχόμενα δεδομένα κειμένου και αποβάλλει τον контέκστ· για την SpM, το μοντέλο αναγνωρίζει την επικάλυψη μεταξύ των προτάσεων απάντησης και ερωτήσεων, και τα δύο των οποίων παρέχονται στα δεδομένα εκπαίδευσης.

Συντομεύσεων Δεδομένα几乎 ‘Ιογενή’ στη Λειτουργία σε ένα Σύνολο Δεδομένων

Οι ερευνητές υποστηρίζουν ότι τα σύνολα δεδομένων τείνουν να περιέχουν ένα υψηλό ποσοστό ερωτήσεων συντομεύσεων, τα οποία κάνουν τα εκπαιδευμένα μοντέλα να βασίζονται σε συντομεύσεων τεχνάσματα.

Τα δύο μοντέλα που χρησιμοποιήθηκαν στις πειραματικές δοκιμές ήταν το BiDAF και το BERT-base. Οι ερευνητές παρατηρούν ότι ακόμη και όταν εκπαιδεύονται σε παραλλαγές συνόλου δεδομένων με υψηλότερο ποσοστό ‘δύσκολων’ ερωτήσεων, και τα δύο μοντέλα vẫn επιτελούν καλύτερα στις ερωτήσεις συντομεύσεων από τις ερωτήσεις παραφράσεων, παρά την μικρή ποσότητα παραδειγμάτων στα σύνολα δεδομένων.

Αυτό παρουσιάζει ‘συντομεύσεων δεδομένα’ σχεδόν στο контέκστ της μίας ‘ιό’ – ότι χρειάζεται πολύ λίγο από αυτό να είναι παρόν σε ένα σύνολο δεδομένων για να υιοθετηθεί και να προτεραιότητας στην εκπαίδευση, σύμφωνα με τις συμβατικές προδιαγραφές και πρακτικές στο NLP.

Αποδεικνύοντας την Αποτυχία

Μια μέθοδος που η έρευνα χρησιμοποιεί για να αποδείξει πώς η ελάττωση μιας απάντησης συντομεύσεων είναι να αντικαταστήσει μια ‘εύκολη’ οντότητα λέξη με μια ανωμαλή λέξη. Όπου μια μέθοδος συντομεύσεων έχει χρησιμοποιηθεί, η λογική της ‘απατημένης’ απάντησης δεν μπορεί να παρέχεται· αλλά όπου η απάντηση παρέχεται από βαθύτερο контέκστ και σεματική αξιολόγηση ενός ευρύτερου φάσματος συνεισφερόντων κειμένου, είναι δυνατό για το σύστημα να αναλύσει το σφάλμα και να ανακατασκευάσει μια σωστή απάντηση.

Αντικαθιστώντας ‘Beyoncé’ (ένα πρόσωπο) με ‘Αμερική’ (μια τοποθεσία), αποκαλύπτει εάν το μοντέλο έχει κάποια υποκείμενη λογική για την απάντησή του.

Συντομεύσεων Λόγω Οικονομικής Ανάγκης

Σχετικά με κάποιους από τους αρχιτεκτονικούς λόγους για τους οποίους οι συντομεύσεων είναι इतनό δημοφιλείς στις ροές εργασίας εκπαίδευσης NLP, οι συγγραφείς σχολιάζουν ‘Τα μοντέλα MRC μπορεί να μάθουν τα τεχνάσματα συντομεύσεων, όπως η QWM, με λιγότερους υπολογιστικούς πόρους από τις προκλήσεις της κατανόησης, όπως η αναγνώριση παραφράσεων’.

Αυτό, τότε, θα μπορούσε να είναι ένα απρόσμενο αποτέλεσμα των τυπικών φιλοσοφιών βελτιστοποίησης και εξοικονόμησης πόρων στις προσεγγίσεις της ανάγνωσης μηχανής, και της πίεσης να ληφθούν αποτελέσματα με περιορισμένους πόρους σε στενά χρονικά πλαίσια.

Οι ερευνητές επίσης σημειώνουν:

‘[Εφόσον] το τεχνάσμα συντομεύσεων μπορεί να χρησιμοποιηθεί για να απαντήσει στις περισσότερες ερωτήσεις εκπαίδευσης σωστά, τα περιορισμένα ανεπίλυτα ερωτήματα που παραμένουν μπορεί να μην мотιβάρουν τα μοντέλα να εξερευνήσουν σοφιστικούς λύσεις που απαιτούν προκλητικές ικανότητες.’

Εάν τα αποτελέσματα της εργασίας επιβεβαιωθούν, θα φανεί ότι το τεράστιο και συνεχώς αυξανόμενο πεδίο της προεπεξεργασίας δεδομένων μπορεί να χρειαστεί να λάβει υπόψη ‘κρυφές βοήθειες’ στα δεδομένα ως ένα πρόβλημα που πρέπει να αντιμετωπιστεί μακροπρόθεσμα, ή να αναθεωρήσει τις αρχιτεκτονικές NLP για να προτεραιότητας πιο προκλητικές ρουτίνες για την κατάποση δεδομένων.