Λαμβάνοντας το NLP να Αμφισβητήσει Λανθασμένες Ερωτήσεις

Ορισμένες ερωτήσεις είναι αδιάκριτες επειδή περιέχουν λανθασμένες πληροφορίες – προϋποθέσεις που ο άνθρωπος που ακούει την ερώτηση πρέπει να φιλτράρει και να απορρίψει. Αυτό υποθέτει, φυσικά, ότι ο ακροατής έχει επαρκείς σωστές πληροφορίες για να αμφισβητήσει την ερώτηση, αντί να χρησιμοποιεί την ερώτηση ως πηγή λανθασμένων πληροφοριών.

Αυτό είναι ένα πρόβλημα για τα συστήματα Προcessing Φυσικής Γλώσσας (NLP) όπως το GPT-3, τα οποία έχουν την τάση να “οραματίζουν” πληροφορίες για να διατηρήσουν το διάλογο.

Τώρα, αν ζητήσετε από το GPT-3 “Πότε η Μαρί Κιουρί εφεύρε την Ουράνιο;” είναι πιθανό να λάβετε την απάντηση “Η Μαρί Κιουρί εφεύρε την Ουράνιο το 1898”.

Πηγή: https://beta.openai.com/playground (Da Vinci instruct beta).

Στην πραγματικότητα, ο Ουράνιος ανακαλύφθηκε το 1789 από τον Γερμανό χημικό Μάρτιν Χάινριχ Κλάπροθ, ενώ η αποκάλυψη των Κυρίων το 1898 ήταν η απομόνωση του ραδίου.

Το πρόβλημα των συστημάτων NLP που αγνοούν λανθασμένες προϋποθέσεις έχει έρθει στο προσκήνιο σε eine σειρά δημοσιευμάτων φέτος, συμπεριλαμβανομένου του τρόπου με τον οποίο τα αποτελέσματα αναζήτησης του Google που υποστηρίζονται από το AI αγνοούν λανθασμένες πληροφορίες στην ερώτηση “Πότε ο Ν Neil Armstrong έβαλε το πόδι του στη Σελήνη;” – ένα λάθος που vẫn εμφανίζεται στην ώρα της γραφής του άρθρου και ισχύει επίσης για τον Buzz Lightyear του Toy Story, ο οποίος φαίνεται να έχει přistáli στη Σελήνη στις 21 Ιουλίου 1969.

Ο Τομ Χανκς, ένας άλλος απόφοιτος του Toy Story, πιστώνεται επίσης από το Google με την προσγείωση στη Σελήνη το 1970, παρά το γεγονός ότι ο χαρακτήρας του Apollo 13, ο αστροναύτης Τζιμ Λόβελ, είναι πιο знаменитός για το ότι δεν έχει επιτύχει αυτό.

Αντιμετωπίζοντας τα Προβλήματα Προϋποθέσεων στις Ανταλλαγές NLP

Τώρα, η Google Research, μαζί με ερευνητές από το Πανεπιστήμιο Τζονς Χόπκινς και το Πανεπιστήμιο Μπράουν, διερευνά νέες μεθόδους машинικής μάθησης με τις οποίες τα συστήματα NLP μπορούν τελικά να αμφισβητήσουν ερωτήσεις που περιέχουν λανθασμένες πληροφορίες, όπως είναι απαραίτητο για τους ανθρώπινους δασκάλους να κάνουν κατά τη διάρκεια των συνομιλιών με τους μαθητές.

Η πρόσφατη έρευνα Ποιος Γλωσσολόγος Εφεύρε το Λαμπτήρα; περιγράφει μια συνειδημένη προσπάθεια να αναπτύξει ένα νέο σύστημα για να αναγνωρίσει τις προϋποθέσεις και να εξετάσει την αλήθεια τους πριν από τη συνέχιση της ανταλλαγής.

Το νέο αλγόριθμο προεπεξεργάζεται τις ερωτήσεις πριν επιστρέψει στη συνομιλία, διασπώντας την “πιστοποίηση” της ερώτησης σε μια τριμερή διαδικασία.

Δεν υπολογίζεται! Στο αριστερό μέρος, το “οδικό μπλοκ” που συμβαίνει ακόμη και όταν ένα προηγμένο σύστημα NLP έχει能够 να αναγνωρίσει ότι η ερώτηση δεν έχει νόημα. Στο δεξί μέρος, μια διάσπαση του προτεινόμενου αλγορίθμου που προσπαθεί να διορθώσει το λάθος της πηγής. Πηγή: https://arxiv.org/pdf/2101.00391.pdf

Αν και φαίνεται μια απλή διαδικασία επαλήθευσης που θα πρέπει να είχε κατασκευαστεί σε συστήματα γνώσεων από την αρχή, τα περισσότερα προγράμματα εκπαίδευσης NLP μαθαίνουν πληροφορίες με μια άδικη εμπιστοσύνη στα δεδομένα, συμπεριλαμβανομένων των λόγων (όπως τα ψευδή νέα) που μπορεί να έχουν δημοσιευθεί σε προηγουμένως “αξιόπιστες” πηγές.

Έτσι, ένα κρίσιμο ζήτημα είναι να αναγνωριστεί από συναίνεση μια αξιόπιστη πηγή γεγονότων σε ένα κλίμα όπου η διάδοση λανθασμένων “νέας” μέσω των κοινωνικών μέσων θα μπορούσε, κατά προεπιλογή, να της χορηγήσει εξουσία σύμφωνα με τη λογική της γενίκευσης της μηχανικής μάθησης. Η τελευταία έχει τη τάση να χρησιμοποιεί την ποσότητα ή την επανάληψη των δεδομένων ως πρόξυλο για την ακρίβεια, τουλάχιστον μέχρι τη φαινόμενο των ψευδών ειδήσεων να γίνει ένα κρίσιμο πεδίο ενδιαφέροντος στο πεδίο τα τελευταία χρόνια.

Καθορίζοντας την Καλύτερη Προσέγγιση για τις Αδιάκριτες Ερωτήσεις

Για να καθορίσετε μια κατάλληλη προσέγγιση για την επίλυση μιας ερώτησης που περιέχει λανθασμένες πληροφορίες, οι ερευνητές έτρεξαν 100 τέτοιες ερωτήσεις μέσω τεσσάρων διαφορετικών μοντέλων Q&A και ζήτησαν από ανθρώπους να επιλέξουν την καλύτερη ή την λιγότερο προβληματική λύση που τα μοντέλα παρήγαγαν.

Οι τέσσερις πιθανές αρχιτεκτονικές εξελίξεις της “κακής” ερώτησης ήταν: Αδιάκριτη – όπου ένα σύστημα Q&A με κλειστό βιβλίο effectively σταματά την ερώτηση χωρίς περαιτέρω διευκρίνιση; Εξήγηση της αποτυχίας της προϋπόθεσης – όπου το σύστημα δεν επαληθεύει την λανθασμένη υπόθεση, αποτελώντας μια “αδιάκριτη” απάντηση, με μια πρόσθετη εξήγηση; Εξήγηση εξαγωγής – όπου το σύστημα ανακτά μια σχετική ενημέρωση από το Wikipedia και την προσαρτά στην προκαταρκτική “Αυτή η ερώτηση είναι αδιάκριτη επειδή…”; και Ανοιχτή ανασυγγραφή – όπου ένα ανταγωνιστικό σύστημα αναζητά πρόσθετες πηγές από το Wikipedia.

Αυτό το παράδειγμα των τεσσάρων πιθανών απαντήσεων σε μια φαινομενικά “αδιάκριτη” ερώτηση εικονογραφεί τη σύνθετη προσπάθεια να επιτύχει μια ανταγωνιστική domaine-βασισμένη λύση στο πρόβλημα.

Κατά τη διάρκεια των δοκιμών, οι πέντε συμμετέχοντες (recruited σε μια εσωτερική πλατφόρμα crowdsourcing του Google) επέλεξαν τις απαντήσεις που βασίζονται στην προϋπόθεση, οι οποίες οδήγησαν τους ερευνητές να αναπτύξουν ένα νέο πλαίσιο για να αναλύσουν και να επαληθεύσουν τις ερωτήσεις.

Στο νέο σύστημα, γλωσσικές προκλήσεις λαμβάνονται από την ερώτηση από einen κανόνα-βασισμένο γεννήτορα που διασπά την πρόταση σε υποθετικές δηλώσεις γεγονότων. Αν πολλές προϋποθέσεις προκύψουν από την ερώτηση, κάθε μια εξετάζεται και θα συμβάλλει στην τελική απάντηση αν διευθύνουν τις λανθασμένες προϋποθέσεις της αρχικής ερώτησης.

Δεδομένα

Οι προϋποθέσεις που παράχθηκαν στο αρχικό στάδιο τροποποιήθηκαν χειρονακτικά για να δημιουργηθεί ένα σύνολο δεδομένων επαλήθευσης με “χρυσα” προϋποθέσεις. Οποιαδήποτε προϋπόθεση που προέκυψε από την διακλάδωση της ερώτησης, αλλά δεν ήταν παρόντα στις αρχικές ερωτήσεις, αφαιρέθηκαν.

Δύο από τους συγγραφείς του εγγράφου ανέθεσαν χειρονακτικά 462 προϋποθέσεις σε όρους ναι/όχι επαλήθευσης, με βάση μια σχετική σελίδα του Wikipedia που συνδέεται με κάθε ερώτηση. Περιπτώσεις διαφωνίας επιλύθηκαν σε μετα-事 discussion πριν από την υποβολή τους στο σύνολο δεδομένων.

Οι ερευνητές χρησιμοποίησαν zero-shot NLI, μια εργασία ταξινόμησης πρότασης/υπόθεσης που απαιτούσε την διάσπαση των άρθρων του Wikipedia που σχετίζονται με τις ερωτήσεις.既然 αυτό το αποτέλεσμα οδηγεί σε πολλά περισσότερα ζευγάρια από ό,τι η ερώτηση μπορεί να απαιτήσει ή το μοντέλο να υποστηρίξει, τα φιλτραρισμένα αποτελέσματα συγχωνεύθηκαν και επισήμανθηκαν.

Αποτελέσματα και Σχηματισμός Απάντησης

Τα πιο αποτελεσματικά αποτελέσματα προέκυψαν από την πιο εργατική λύση: ένα πιο λεπτομερές, κανόνα-βασισμένο/υβριδικό NLI που παράχθηκε από ALBERT QNLI με προτάσεις του Wikipedia και προϋποθέσεις.

Η απόδοση των μοντέλων επαλήθευσης, όπου ‘προτάσεις του Wikipedia’ χρησιμοποιούν προτάσεις που λαμβάνονται από σελίδες του Wikipedia που σχετίζονται με τις ερωτήσεις, και ‘προϋποθέσεις του Wikipedia’ είναι παραγόμενα από τις προτάσεις.

Χρησιμοποιώντας αυτή τη διατύπωση, οι ερευνητές ανέπτυξαν ένα σύστημα προτύπων όπου ένα αρνητικό γεγονός από το Wikipedia προστέθηκε σε “Αυτή η ερώτηση είναι αδιάκριτη επειδή…” και παρόμοιες φράσεις. Αν και δεν είναι μια ιδανική λύση, οι συγγραφείς προτείνουν ότι οι απαντήσεις που βασίζονται στην αδιαθεσιμότητα είναι πιθανό να μειώσουν την εμφάνιση των ψευδών αρνητικών.

Το σύστημα εφαρμόστηκε τελικά σε ένα Extended Transformer Construction (ETC) μοντέλο.

Επιπτώσεις

Ανάλογα με την τελική του απόδοση στο πραγματικό κόσμο, θα μπορούσε να υποστηριχθεί ότι αυτή η ολόκληρη προσέγγιση μπορεί να οδηγήσει στη απλή αντικατάσταση του “αδιαθέσιμου” με “αδιάκριτο”, σε περιπτώσεις όπου το σύστημα έρευνας δεν μπορεί να αξιολογήσει μια χρήσιμη διόρθωση για την προϋπόθεση της ερώτησης. Αποτελεί, στην πραγματικότητα, την κατασκευή της υποδομής για μελλοντικά και καλύτερα συστήματα επαλήθευσης.

Οι ερευνητές ήδη παραδέχονται ότι το κόστος των αιτημάτων API με βάση το token είναι ένας περιοριστικός παράγοντας όταν διατυπώνεται η μακρύτερη απάντηση που θα παράγει αυτό το σύστημα, και πρέπει να υποτεθεί ότι η πρόσθετη επιβάρυνση της “ζωντανού” έρευνας σε μια ερώτηση είναι πιθανό να προστεθεί στη.latency ακόμη και σε μεγάλης κλίμακας συστήματα όπως το GPT-3, поскольку η απόκριση τέτοιων συστημάτων έχει βασιστεί μέχρι τώρα στην γενικευμένη ενσωμάτωση της γνώσης κατά την εκπαίδευση, και όχι σε εκτεταμένες, βασισμένες στο δίκτυο διαδικασίες επαλήθευσης.

Επιπλέον, οι ερευνητές σημειώνουν ότι το σύστημα έχει目前 περιορισμούς που σχετίζονται με την ανάλυση των σημασιολογικών аспектών του κειμένου:

Για παράδειγμα, ποιος πιστεύει ότι η Εστέλα είναι η μητέρα του έχει μια ενσωματωμένη κατοχή κάτω από ένα μη factive ρήμα πιστεύω, αλλά ο γεννήτορας μας θα παραγάγει ‘η Εστέλα έχει “μητέρα”..

Ωστόσο, η ομάδα προβλέπει νέα και πιο ευέλικτα συστήματα ερωτήσεων και απαντήσεων που θα αναπτυχθούν με βάση αυτή την έρευνα:

Στο μέλλον, σκοπεύουμε να κτίσουμε πάνω σε αυτή την εργασία προτείνοντας συστήματα ερωτήσεων και απαντήσεων που είναι πιο robust και συνεργατικά. Για παράδειγμα, διαφορετικά είδη προϋποθέσεων αποτυχίας θα μπορούσαν να αντιμετωπιστούν με πιο ρευστά στρατηγικά απαντήσεων – π.χ. η παραβίαση της προϋπόθεσης μοναδικότητας θα μπορούσε να αντιμετωπιστεί καλύτερα παρέχοντας όλες τις πιθανές απαντήσεις, αντί να δηλώνει ότι η προϋπόθεση μοναδικότητας παραβιάστηκε.