Βοηθώντας το NLP να αμφισβητήσει παραπληροφορημένες ερωτήσεις

Ορισμένες ερωτήσεις είναι αναπάντητες επειδή περιέχουν λανθασμένες πληροφορίες – προϋποθέσεις ότι το άτομο που ακούει την ερώτηση πρέπει να φιλτράρει και να αποκηρύξει. Αυτό προϋποθέτει, φυσικά, ότι ο ακροατής έχει αρκετές σωστές πληροφορίες για να αμφισβητήσει την ερώτηση, αντί να χρησιμοποιεί την ίδια την ερώτηση ως πηγή (λάθος) πληροφοριών.

Αποτελεί πρόκληση για συστήματα Επεξεργασίας Φυσικής Γλώσσας (NLP) όπως το GPT-3, τα οποία έχουν τάση για «παραισθήσεις» πληροφορίες για τη διατήρηση του διαλόγου.

Αυτή τη στιγμή, αν ρωτήσετε το GPT-3 «Πότε εφηύρε το ουράνιο η Μαρί Κιουρί;», πιθανότατα θα λάβετε την απάντηση «Η Μαρί Κιουρί εφηύρε το ουράνιο το 1898».

Πηγή: https://beta.openai.com/playground (Da Vinci instruct beta).

Στην πραγματικότητα, το Ουράνιο ήταν ανακαλύφθηκε το 1789 από τον Γερμανό χημικό Μάρτιν Χάινριχ Κλάπροθ, ενώ η αποκάλυψη των Κιουρί το 1898 ήταν η απομόνωση του ραδίου.

Το πρόβλημα των συστημάτων NLP που αγνοούν λανθασμένες προϋποθέσεις έχει έρθει στο προσκήνιο σε μια σειρά από δημοσιεύματα φέτος, συμπεριλαμβανομένου του τρόπου με τον οποίο τα αποτελέσματα αναζήτησης της Google που υποστηρίζονται από την τεχνητή νοημοσύνη θα αγνοήσουν λανθασμένες πληροφορίες στην ερώτηση «Πότε πάτησε το πόδι του ο Νιλ Άρμστρονγκ στον Άρη;» - ένα σφάλμα το οποίο... δείχνει ακόμα κατά τη στιγμή της σύνταξης αυτού του άρθρου, και ισχύει εξίσου για Toy Story's Buzz Lightyear, ο οποίος προφανώς προσγειώθηκε στη Σελήνη στις 21 Ιουλίου 1969.

Τομ Χανκς, άλλος Toy Story απόφοιτος, είναι επίσης πιστώθηκε από την Google με προσγείωση στη Σελήνη το 1970, παρά το γεγονός ότι του Απόλλων 13 Ο χαρακτήρας, ο αστροναύτης Jim Lovell, είναι πιο διάσημος δεν έχοντας επιτύχει αυτό.

Αντιμετώπιση ζητημάτων προϋποθέσεων σε ανταλλαγές NLP

Τώρα, η Google Research, σε συνεργασία με ερευνητές από το Πανεπιστήμιο John Hopkins και το Πανεπιστήμιο Brown, διερευνά νέες μεθόδους μηχανικής μάθησης, μέσω των οποίων τα συστήματα NLP μπορούν τελικά να γίνουν έτσι ώστε να αμφισβητούν λανθασμένες ερωτήσεις με τον ίδιο τρόπο που είναι απαραίτητο να κάνουν οι ανθρώπινοι δάσκαλοι κατά τη διάρκεια συζητήσεων με τους μαθητές.

Η πρόσφατη χαρτί Ποιος γλωσσολόγος εφηύρε τη λάμπα; Επαλήθευση προϋποθέσεων για Ερώτηση-Απάντηση περιγράφει μια συντονισμένη προσπάθεια για την ανάπτυξη ενός νέου συστήματος για τον εντοπισμό προϋποθέσεων και την εξέταση της αληθότητάς τους πριν συνεχιστεί η ανταλλαγή

Ο νέος αλγόριθμος προεπεξεργάζεται αποτελεσματικά τις ερωτήσεις πριν επιστρέψει στη συζήτηση, αναλύοντας την «επαλήθευση ταυτότητας» της ερώτησης σε μια διαδικασία τριών σταδίων.

Δεν υπολογίζει! Στα αριστερά, το «εμπόδιο» που προκύπτει ακόμη και όταν ένα προηγμένο σύστημα NLP έχει καταφέρει να εντοπίσει ότι η ερώτηση δεν βγάζει νόημα. Στα δεξιά, μια ανάλυση ενός προτεινόμενου αλγορίθμου που επιχειρεί να διορθώσει το σφάλμα πηγής. Πηγή: https://arxiv.org/pdf/2101.00391.pdf

Αν και φαίνεται μια απλή ρουτίνα επαλήθευσης που θα έπρεπε να είχε ενσωματωθεί στα συστήματα γνώσης από την αρχή, οι περισσότερες ρουτίνες εκπαίδευσης που βασίζονται στο NLP μαθαίνουν πληροφορίες με υπερβολικό επίπεδο εμπιστοσύνης για τα δεδομένα πηγής, συμπεριλαμβανομένου του λόγου (όπως ψευδείς ειδήσεις) που μπορεί να έχει δημοσιευτεί σε προηγουμένως «αξιόπιστα» κανάλια.

Συνεπώς, ένα βασικό ζήτημα είναι να προσδιοριστεί με συναίνεση μια αξιόπιστη πηγή γεγονότων σε ένα κλίμα όπου ο πολλαπλασιασμός λανθασμένων «ειδήσεων» μέσω των μέσων κοινωνικής δικτύωσης θα της έδινε, εξ ορισμού, κύρος βάσει της λογικής της γενίκευσης της μηχανικής μάθησης. Η τελευταία έχει την τάση να χρησιμοποιεί την ποσότητα ή την επανάληψη των δεδομένων ως δείκτη ακρίβειας, τουλάχιστον μέχρι που το φαινόμενο των ψευδών ειδήσεων έγινε κρίσιμο πεδίο ενδιαφέροντος στον τομέα τα τελευταία χρόνια.

Καθορισμός της καλύτερης προσέγγισης σε αναπάντητα ερωτήματα

Για να καθορίσουν μια κατάλληλη προσέγγιση για την επίλυση μιας ερώτησης που περιέχει παραπληροφόρηση, οι ερευνητές διεξήγαγαν 100 τέτοιες έρευνες μέσω τεσσάρων διαφορετικών μοντέλων Q&A και ζήτησαν από ανθρώπους να επιλέξουν την καλύτερη ή λιγότερο προβληματική λύση που παρήγαγαν τα μοντέλα.

Τα τέσσερα πιθανά αρχιτεκτονικά αποτελέσματα στο «κακό» ερώτημα ήταν: 'Αναντίρρητος' – όπου ένα σύστημα Q&A κλειστού βιβλίου τερματίζει αποτελεσματικά την έρευνα χωρίς περαιτέρω επεξεργασία. «Εξήγηση βασισμένη σε αποτυχία προϋποθέσεων» – όταν το σύστημα δεν επαληθεύει την εσφαλμένη υπόθεση, ουσιαστικά μια «αναπάντητη» απάντηση, με πρόσθετη εξήγηση· «Εξαγωγική εξήγηση» – όπου το σύστημα ανακτά ένα θέμα σχετικό με τη Wikipedia απόσπασμα και το προσθέτει στην εισαγωγή «Αυτή η ερώτηση δεν μπορεί να απαντηθεί επειδή…»· και 'Ανοιχτή επανεγγραφή τομέα' - όπου ένας ανταγωνιστικό σύστημα αναζητά πρόσθετες πηγές από τη Wikipedia.

Αυτό το παράδειγμα τεσσάρων πιθανών απαντήσεων σε μια φαινομενικά «αναπάντητη» ερώτηση καταδεικνύει την πολυπλοκότητα της προσπάθειας για μια ανταγωνιστική λύση στο πρόβλημα που βασίζεται σε έναν τομέα.

Κατά τη διάρκεια των δοκιμών, οι πέντε συμμετέχοντες (που προσλήφθηκαν σε μια εσωτερική πλατφόρμα πληθοπορισμού της Google) προτίμησαν τις απαντήσεις που βασίζονται σε προϋποθέσεις, οι οποίες οδήγησαν τους ερευνητές να αναπτύξουν ένα νέο πλαίσιο για την αποσύνθεση και την επαλήθευση των ερωτήσεων.

Στο νέο σύστημα, τα γλωσσικά ερεθίσματα λαμβάνονται από την ερώτηση από μια γεννήτρια βασισμένη σε κανόνες που αποδομεί την πρόταση σε υποτιθέμενες δηλώσεις γεγονότων. Εάν προκύψουν πολλαπλές υποθέσεις από την ερώτηση, η καθεμία διερευνάται και θα συμβάλει στην τελική απάντηση εάν αντιμετωπίζουν λανθασμένες προϋποθέσεις από την αρχική ερώτηση.

Δεδομένα

Οι προϋποθέσεις που δημιουργήθηκαν στο αρχικό στάδιο τροποποιήθηκαν χειροκίνητα για να δημιουργηθεί ένα σύνολο δεδομένων επαλήθευσης με «χρυσές» προϋποθέσεις. Οποιεσδήποτε προϋποθέσεις προέκυψαν από την διακλάδωση της έρευνας, αλλά δεν υπήρχαν στις αρχικές ερωτήσεις, αφαιρέθηκαν.

Δύο από τους συγγραφείς της εργασίας σχολίασαν στη συνέχεια χειροκίνητα 462 προϋποθέσεις ως προς ναι όχι επαληθευσιμότητα, με βάση μια σχετική σελίδα της Wikipedia που σχετίζεται με κάθε ερώτηση. Οι περιπτώσεις διαφωνίας επιλύθηκαν σε εκ των υστέρων συζήτηση πριν δεσμευτούν στο σύνολο δεδομένων.

Οι ερευνητές χρησιμοποίησαν μηδενικής βολής NLI, μια εργασία ταξινόμησης υποθέσεων/υποθέσεων που απαιτούσε την αποδόμηση των άρθρων της Wikipedia που σχετίζονται με τις ερωτήσεις. Δεδομένου ότι αυτή η διαδικασία έχει ως αποτέλεσμα πολλά περισσότερα ζεύγη από αυτά που μπορεί να συνεπάγεται η ερώτηση ή η υποστήριξη του μοντέλου, τα φιλτραρισμένα αποτελέσματα συγκεντρώθηκαν στη συνέχεια και επισημάνθηκαν.

Διατύπωση Αποτελεσμάτων και Απόκρισης

Τα πιο αποτελεσματικά αποτελέσματα επιτεύχθηκαν από την πιο εντατική λύση: ένα υβρίδιο πιο βελτιωμένο, βασισμένο σε κανόνες/NLI που δημιουργήθηκε από ALBERT QNLI με προτάσεις και προϋποθέσεις Wiki.

Η απόδοση των μοντέλων επαλήθευσης, όπου οι «προτάσεις Wiki» χρησιμοποιούν προτάσεις που προέρχονται από άρθρα της Wikipedia που σχετίζονται με ερωτήσεις, και οι «προϋποθέσεις Wiki» είναι προϋποθέσεις που δημιουργούνται από αυτές τις προτάσεις.

Χρησιμοποιώντας αυτήν τη διατύπωση, οι ερευνητές ανέπτυξαν ένα σύστημα προτύπων όπου ένα αναιρητικό γεγονός από τη Wikipedia προστέθηκε στο «Αυτή η ερώτηση είναι αναπάντητη επειδή…» και σε παρόμοιες φράσεις. Αν και δεν αποτελεί ιδανική λύση, οι συγγραφείς υποστηρίζουν ότι οι απαντήσεις που βασίζονται στη μη επαληθευσιμότητα είναι πιθανό να μειώσουν τη συχνότητα εμφάνισης ψευδώς αρνητικών αποτελεσμάτων.

Το σύστημα τελικά εφαρμόστηκε σε ένα Εκτεταμένη Κατασκευή Μετασχηματιστών μοντέλο (ETC).

Επιπτώσεις

Ανάλογα με την τελική της απόδοση στον πραγματικό κόσμο, θα μπορούσε να υποστηριχθεί ότι ολόκληρη αυτή η προσέγγιση μπορεί να οδηγήσει στην απλή αντικατάσταση του «μη επαληθεύσιμου» με το «μη απαντήσιμο», σε περιπτώσεις όπου το υποστηρικτικό ερευνητικό σύστημα δεν μπορεί να αξιολογήσει μια χρήσιμη διόρθωση για την εσφαλμένη προϋπόθεση ενός ερωτήματος. Ουσιαστικά, φαίνεται να θέτει την υποδομή για μελλοντικά και καλύτερα συστήματα επαλήθευσης.

Οι ερευνητές ήδη παραδέχονται ότι το κόστος των αιτημάτων API που βασίζονται σε διακριτικά αποτελεί περιοριστικό παράγοντα κατά τη διαμόρφωση των μεγαλύτερων απαντήσεων που θα παράγει αυτό το σύστημα και πρέπει να υποτεθεί ότι η πρόσθετη επιβάρυνση της «ζωντανής» έρευνας σε ένα ερώτημα φαίνεται πιθανό να προσθέσει καθυστέρηση ακόμη και σε συστήματα μεγάλης κλίμακας όπως το GPT-3, καθώς η ανταπόκριση τέτοιων συστημάτων μέχρι σήμερα εξαρτάται από τη γενικευμένη ενσωμάτωση της γνώσης κατά τον χρόνο εκπαίδευσης και όχι από εκτεταμένες, ρουτίνες επαλήθευσης που βασίζονται σε δίκτυο.

Επιπλέον, οι ερευνητές σημειώνουν ότι το σύστημα έχει επί του παρόντος περιορισμούς που σχετίζονται με την ανάλυση σημασιολογικών πτυχών του κειμένου:

Για παράδειγμα, που πιστεύει ότι η κουπιά είναι η μητέρα της Εστέλα έχει ενσωματωμένη κτητική κάτω από μη πλασματικό ρήμα Πιστεύω, αλλά η γεννήτριά μας παρ' όλα αυτά θα παράγει "Η Εστέλα έχει τη «μάνα».

Ωστόσο, η ομάδα προβλέπει νέα και πιο ευέλικτα συστήματα απάντησης ερωτήσεων που θα αναπτυχθούν στο πίσω μέρος αυτής της έρευνας:

Στο μέλλον, σκοπεύουμε να αξιοποιήσουμε αυτό το έργο προτείνοντας συστήματα διασφάλισης ποιότητας που είναι πιο ισχυρά και συνεργατικά. Για παράδειγμα, διαφορετικοί τύποι αποτυχιών προϋποθέσεων θα μπορούσαν να αντιμετωπιστούν με πιο ρευστές στρατηγικές απαντήσεων – π.χ., η παραβίαση των προϋποθέσεων μοναδικότητας μπορεί να αντιμετωπιστεί καλύτερα παρέχοντας όλες τις πιθανές απαντήσεις, αντί να δηλώνουμε ότι η προϋπόθεση μοναδικότητας παραβιάστηκε.