Βάζοντας το NLP να Αντιμετωπίσει Λανθασμένες Ερωτήσεις

Ορισμένες ερωτήσεις είναι απαντητές γιατί περιέχουν λανθασμένες πληροφορίες – προϋποθέσεις που ο ακροατής πρέπει να φιλτράρει και να απορρίψει. Αυτό υποθέτει, φυσικά, ότι ο ακροατής έχει достаточно σωστές πληροφορίες για να προκλήσει την ερώτηση, αντί να χρησιμοποιήσει την ερώτηση ως πηγή (λανθασμένων) πληροφοριών.

Είναι μια πρόκληση για τα συστήματα Προcessing Φυσικής Γλώσσας (NLP) όπως το GPT-3, τα οποία έχουν μια τάση να «οραματίζουν» πληροφορίες για να διατηρήσουν το διάλογο.

Τώρα, αν ζητήσετε από το GPT-3 «Πότε η Μαρί Κιουρί εφεύρε το Ουράνιο;», πιθανότατα θα λάβετε την απάντηση «Η Μαρί Κιουρί εφεύρε το Ουράνιο το 1898».

Πηγή: https://beta.openai.com/playground (Da Vinci instruct beta).

Στην πραγματικότητα, το Ουράνιο ανακαλύφθηκε το 1789 από τον Γερμανό χημικό Μάρτιν Χάινριχ Κλάπροθ, ενώ η αποκάλυψη των Κιουρί το 1898 ήταν η απομόνωση του ραδίου.

Το πρόβλημα των συστημάτων NLP που αγνοούν λανθασμένες προϋποθέσεις έχει έρθει στο προσκήνιο σε eine σειρά δημοσιευμάτων φέτος, συμπεριλαμβανομένου του τρόπου με τον οποίο τα αποτελέσματα αναζήτησης του Google με τη βοήθεια του AI θα αγνοούν λανθασμένες πληροφορίες στην ερώτηση «Πότε ο Νιλ Άρμστρονγκ πάτησε στο Φόβο;» – ένα λάθος που vẫn εμφανίζεται στο χρόνο της γραφής του άρθρου και ισχύει επίσης για τον Μπάζ Λάιτγιαρ του Toy Story, ο οποίος φαίνεται να έχει πάτησε στη Σελήνη στις 21 Ιουλίου 1969.

Ο Τομ Χανκς, ένας άλλος απόφοιτος του Toy Story, πιστώνεται επίσης από το Google ότι πάτησε στη Σελήνη το 1970, παρά το γεγονός ότι ο χαρακτήρας του Apollo 13, ο αστροναύτης Τζιμ Λόβελ, είναι πιο знаменίτος για το ότι δεν κατάφερε να το κάνει.

Αντιμετωπίζοντας Προβλήματα Προϋποθέσεων σε Ανταλλαγές NLP

Τώρα, η Google Research, μαζί με ερευνητές από το Πανεπιστήμιο Τζονς Χόπκινς και το Πανεπιστήμιο Μπράουν, διερευνά νέες μεθόδους μηχανικής μάθησης με τις οποίες τα συστήματα NLP μπορούν τελικά να προκλήσουν ερωτήσεις που περιέχουν λανθασμένες πληροφορίες, όπως κάνουν οι άνθρωποι δάσκαλοι κατά τη διάρκεια συνομιλιών με μαθητές.

Η πρόσφατη έρευνα Ποιος Γλωσσολόγος Εφεύρε το Λαμπτήρα; Προϋποθέσεις για την Απάντηση σε Ερωτήσεις περιγράφει μια συντονισμένη προσπάθεια για την ανάπτυξη ενός νέου συστήματος για την αναγνώριση προϋποθέσεων και την αξιολόγηση της αλήθειας τους πριν από τη συνέχιση της ανταλλαγής

Το νέο αλγόριθμο επεξεργάζεται τις ερωτήσεις πριν από την επιστροφή στη συνομιλία,分割οντας την «πιστοποίηση» της ερώτησης σε einen τριμελή διαδικασία.

Δεν υπολογίζεται! Στο αριστερό μέρος, το «εμπόδιο» που συμβαίνει ακόμη και όταν ένα προηγμένο σύστημα NLP έχει能够 να αναγνωρίσει ότι η ερώτηση δεν έχει νόημα. Στο δεξί μέρος, μια αναλυτική προταση αλγορίθμου που προσπαθεί να διορθώσει το αρχικό λάθος. Πηγή: https://arxiv.org/pdf/2101.00391.pdf

Αν και φαίνεται μια απλή διαδικασία επαλήθευσης που θα πρέπει να είχε ενσωματωθεί στα συστήματα γνώσης από την αρχή, οι περισσότερες διαδικασίες εκπαίδευσης NLP βασίζονται σε μια υπερβολική εμπιστοσύνη στις πηγές δεδομένων, συμπεριλαμβανομένων των διαλόγων (όπως τα ψευδή νέα) που μπορεί να έχουν δημοσιευθεί σε προηγουμένως «αξιόπιστες» πηγές.

Επομένως, ένα κρίσιμο ζήτημα είναι να αναγνωριστεί με συναίνεση μια αξιόπιστη πηγή γεγονότων σε ένα κλίμα όπου η διάδοση λανθασμένων «νέων» μέσω των κοινωνικών μέσων θα τους χορηγήσει εξουσιοδότηση με βάση τη λογική της γενίκευσης της μηχανικής μάθησης, τουλάχιστον μέχρι που το φαινόμενο των ψευδών νέων έγινε ένα κρίσιμο πεδίο ενδιαφέροντος στον τομέα τα τελευταία χρόνια.

Καθορισμός της Καλύτερης Προσέγγισης για Απαντήσεις σε Ερωτήσεις που Περιέχουν Λανθασμένες Πληροφορίες

Για να καθορίσει μια κατάλληλη προσέγγιση για την επίλυση μιας ερώτησης που περιέχει λανθασμένες πληροφορίες, οι ερευνητές έτρεξαν 100 τέτοιες ερωτήσεις μέσω τεσσάρων διαφορετικών μοντέλων Q&A και ζήτησαν από ανθρώπους να επιλέξουν την καλύτερη ή λιγότερο προβληματική λύση που τα μοντέλα παρήγαγαν.

Τα τέσσερα πιθανά αρχιτεκτονικά αποτελέσματα για την «κακή» ερώτηση ήταν: ‘Απαντητές’ – όπου ένα σύστημα Q&A με κλειστό βιβλίο effectively σταματά την ερώτηση χωρίς περαιτέρω διευκρίνιση; ‘Απάντηση με βάση την αποτυχία της προϋπόθεσης’ – όπου το σύστημα δεν επιβεβαιώνει την λανθασμένη υπόθεση, effectively μια «απαντητές» απάντηση, με μια πρόσθετη εξήγηση; ‘Εξωσферική εξήγηση’ – όπου το σύστημα ανακτά μια σχετική με την ερώτηση παράγραφο από το Wikipedia και την προσθέτει στην προκαταρκτική «Αυτή η ερώτηση είναι απαντητές γιατί…»; και ‘Ανοικτή ανασυγκρότηση’ – όπου ένα ανταγωνιστικό σύστημα αναζητά επιπλέον πηγές από το Wikipedia.

Αυτό το παράδειγμα των τεσσάρων πιθανών απαντήσεων σε μια φαινομενικά «απαντητές» ερώτηση δείχνει την πολυπλοκότητα της προσπάθειας για μια ανταγωνιστική domaine-βασισμένη λύση στο πρόβλημα.

Κατά τη διάρκεια των δοκιμών, οι πέντε συμμετέχοντες (που भरθηκαν σε μια εσωτερική πλατφόρμα crowdsourcing του Google) προτίμησαν τις απαντήσεις με βάση την προϋπόθεση, οι οποίες οδήγησαν τους ερευνητές να αναπτύξουν ένα νέο πλαίσιο για την αποσύνθεση και επαλήθευση ερωτήσεων.

Στο νέο σύστημα, γλωσσικοί ερεθιστές λαμβάνονται από την ερώτηση από έναν κανόνα-βασισμένο γεννήτορα που αποσυνθέτει την πρόταση σε υποθετικές δηλώσεις γεγονότων. Αν πολλές προϋποθέσεις προκύψουν από την ερώτηση, κάθε μια εξετάζεται και θα συμβάλλει στην τελική απάντηση αν διευθύνουν τις λανθασμένες προϋποθέσεις από την αρχική ερώτηση.

Δεδομένα

Οι προϋποθέσεις που δημιουργήθηκαν στο αρχικό στάδιο τροποποιήθηκαν χειροκίνητα για να δημιουργηθεί ένα σύνολο δεδομένων επαλήθευσης με «χρυσα» προϋποθέσεις. Οποιαδήποτε προϋπόθεση που προέκυψε από την κλάδωση της ερώτησης, αλλά δεν ήταν παρόντα στην αρχική ερώτηση, αφαιρέθηκαν.

Δύο από τους συγγραφείς του εγγράφου ανέθεσαν χειροκίνητα 462 προϋποθέσεις σε όρους ναι/όχι επαλήθευσης, με βάση μια σχετική σελίδα του Wikipedia που σχετίζεται με κάθε ερώτηση. Οι περιπτώσεις διαφωνίας επιλύθηκαν σε μεταγενέστερη συζήτηση πριν από την υποβολή τους στο σύνολο δεδομένων.

Οι ερευνητές χρησιμοποίησαν zero-shot NLI, μια εργασία ταξινόμησης πρότασης/υπόθεσης που απαιτούσε την αποσύνθεση άρθρων του Wikipedia που σχετίζονται με τις ερωτήσεις. Καθώς αυτή η διαδικασία οδηγεί σε πολλά περισσότερα ζεύγη από ό,τι η ερώτηση μπορεί να συνεπάγεται ή το μοντέλο να υποστηρίζει, τα φιλτραρισμένα αποτελέσματα συγχωνεύθηκαν και επισήμανθηκαν.

Αποτελέσματα και Σχηματισμός Απάντησης

Τα πιο αποτελεσματικά αποτελέσματα έγιναν με την πιο εργατική λύση: ένα πιο εξειδικευμένο, κανόνα-βασισμένο/ΝΛΙ υβρίδιο που δημιουργήθηκε από ALBERT QNLI με προτάσεις και προϋποθέσεις του Wikipedia.

Η απόδοση των μοντέλων επαλήθευσης, όπου ‘Προτάσεις του Wikipedia’ χρησιμοποιούν προτάσεις που λαμβάνονται από σελίδες του Wikipedia που σχετίζονται με τις ερωτήσεις, και ‘Προϋποθέσεις του Wikipedia’ είναι γεννημένες προϋποθέσεις από αυτές τις προτάσεις.

Χρησιμοποιώντας αυτή τη διατύπωση, οι ερευνητές ανέπτυξαν ένα σύστημα προτύπων όπου ένας αρνητικός факт από το Wikipedia προστέθηκε σε «Αυτή η ερώτηση είναι απαντητές γιατί…» και παρόμοιες φράσεις. Αν και δεν είναι μια ιδανική λύση, οι συγγραφείς προτείνουν ότι οι απαντήσεις με βάση την αδιαθεσιμότητα πιθανότατα θα μειώσουν την εμφάνιση των ψευδών αρνητικών.

Το σύστημα εφαρμόστηκε τελικά σε ένα Επεκτάσιμο Μοντέλο Μετασχηματισμού (ETC).

Επιβεβαιώσεις

Βάσει της τελικής απόδοσης του στο πραγματικό κόσμο, θα μπορούσε να υποστηριχθεί ότι αυτή η ολόκληρη προσέγγιση μπορεί να οδηγήσει στη απλή αντικατάσταση του «απαντητές» με «αδιαθέσιμο», σε περιπτώσεις όπου το σύστημα έρευνας δεν μπορεί να αξιολογήσει μια χρήσιμη διόρθωση για μια λανθασμένη προϋπόθεση. Αποτελεσματικά, φαίνεται να κατασκευάζει την υποδομή για μελλοντικά και καλύτερα συστήματα επαλήθευσης.

Οι ερευνητές ήδη παραδέχονται ότι το κόστος των αιτημάτων API με βάση το token είναι ένας περιοριστικός παράγοντας κατά την διατύπωση των μακρύτερων απαντήσεων που αυτό το σύστημα θα παράγει, και πρέπει να υποτεθεί ότι η πρόσθετη επιβάρυνση της «ζωντανού» έρευνας σε μια ερώτηση φαίνεται πιθανό να προσθέσει καθυστέρηση ακόμη και σε μεγάλης κλίμακας συστήματα όπως το GPT-3,既然 η απόκριση των συστημάτων αυτών έχει βασιστεί μέχρι τώρα στην γενικευμένη ενσωμάτωση γνώσεων κατά την εκπαίδευση, και όχι σε εκτεταμένες, βασισμένες στο δίκτυο διαδικασίες επαλήθευσης.

Επιπλέον, οι ερευνητές σημειώνουν ότι το σύστημα έχει τώρα περιορισμούς που σχετίζονται με την ανάλυση σημασιολογικών аспектών του κειμένου:

Για παράδειγμα, ποιος πιστεύει ότι η Εστέλα είναι η μητέρα, έχει μια ενσωματωμένη κατοχή κάτω από μια μη-φακτική ρήμα πιστεύω, αλλά ο γεννήτορας μας θα δημιουργήσει ακόμη «η Εστέλα έχει «μητέρα».

Ωστόσο, η ομάδα οραματίζεται νέα και πιο ευέλικτα συστήματα απάντησης ερωτήσεων που θα αναπτυχθούν με βάση αυτή την έρευνα:

Στο μέλλον, σκοπεύουμε να χτίσουμε πάνω σε αυτή την εργασία προτείνοντας συστήματα Q&A που είναι πιο ανθεκτικά και συνεργατικά. Για παράδειγμα, διαφορετικά είδη αποτυχίας προϋποθέσεων θα μπορούσαν να αντιμετωπιστούν με πιο ρευστές στρατηγικές απάντησης — π.χ., η παραβίαση προϋποθέσεων μοναδικότητας μπορεί να χειριστεί καλύτερα παρέχοντας όλες τις πιθανές απαντήσεις, αντί να δηλώνει ότι η προϋπόθεση μοναδικότητας παραβιάστηκε.