Οι Περιλές της Χρήσης Προσφορών για την Επικύρωση του Περιεχομένου NLG

Γνώμη Τα μοντέλα Γενικής Γλώσσας (NLG) όπως το GPT-3 είναι προσαρμοσμένα να ‘οραματίζονται’ υλικό που παρουσιάζουν στο πλαίσιο фактиτικών πληροφοριών. Σε μια εποχή που είναι εξαιρετικά ανήσυχη για την αύξηση των ψευδών ειδήσεων βασισμένων σε κείμενο, αυτές οι ‘ευχάριστες’ πτήσεις της φαντασίας αντιπροσωπεύουν ένα υπαρξιακό εμπόδιο για την ανάπτυξη αυτοματοποιημένων συστημάτων γραφής και σύνοψης, και για το μέλλον της δημοσιογραφίας που βασίζεται στο AI, μεταξύ άλλων υποτομέων της επεξεργασίας φυσικής γλώσσας (NLP).

Το κεντρικό πρόβλημα είναι ότι τα μοντέλα γλώσσας τύπου GPT αποκτούν βασικά χαρακτηριστικά και κατηγορίες από πολύ μεγάλες βάσεις δεδομένων εκπαιδευτικών κειμένων και μαθαίνουν να χρησιμοποιούν αυτά τα χαρακτηριστικά ως δομικά στοιχεία της γλώσσας με επιδεξιότητα και αυθεντικότητα, ανεξάρτητα από την ακρίβεια του παραγόμενου περιεχομένου, ή ακόμη και την αποδοχή του.

Τα συστήματα NLG βασίζονται目前 σε ανθρώπινη επαλήθευση των γεγονότων με μία από τις δύο προσεγγίσεις: είτε τα μοντέλα χρησιμοποιούνται ως γεννήτριες κειμένου-σπόρων που περνούν αμέσως στους ανθρώπινους χρήστες, είτε για επαλήθευση ή κάποια άλλη μορφή επεξεργασίας ή προσαρμογής, είτε οι άνθρωποι χρησιμοποιούνται ως ακριβές φίλτρα για τη βελτίωση της ποιότητας των συνόλων δεδομένων που προορίζονται να ενημερώσουν λιγότερο αφηρημένα και ‘δημιουργικά’ μοντέλα (τα οποία από μόνα τους είναι αναπόφευκτα ακόμη δύσκολα να εμπιστευτούνται σε σχέση με την ακρίβεια των γεγονότων και θα απαιτήσουν περαιτέρω στρώματα ανθρώπινης επιτήρησης).

Παλιά Νέα και Ψευδείς Πληροφορίες

Τα μοντέλα NLG είναι ικανά να παράγουν πειστικό και πιθανό αποτέλεσμα επειδή έχουν μάθει τη σεμαντική αρχιτεκτονική, αντί να ενσωματώνουν πιο αφηρημένα την πραγματική ιστορία, την επιστήμη, την οικονομία ή οποιοδήποτε άλλο θέμα στο οποίο μπορεί να χρειαστεί να εκφραστούν, τα οποία είναι αποτελεσματικά μπλεγμένα ως ‘επιβιβάστες’ στα δεδομένα πηγής.

Η ακρίβεια των πληροφοριών που παράγουν τα μοντέλα NLG υποθέτει ότι η είσοδος στην οποία εκπαιδεύονται είναι αναξιόπιστη και ενημερωμένη, το οποίο παρουσιάζει ένα εξαιρετικό βάρος όσον αφορά την προεπεξεργασία και την περαιτέρω ανθρώπινη επαλήθευση – ένα ακριβό εμπόδιο που ο τομέας έρευνας NLP αντιμετωπίζει αυτή τη στιγμή από πολλές πλευρές.

Τα συστήματα GPT-3 κλίμακας απαιτούν εξαιρετικά μεγάλο χρόνο και χρήματα για την εκπαίδευση, και, μια φορά εκπαιδευμένα, είναι δύσκολο να ενημερωθούν σε αυτό που θα μπορούσε να θεωρηθεί ‘πυρήνα’ επίπεδο. Αν και οι τοπικές και συνεδριακές τοπικές τροποποιήσεις μπορούν να αυξήσουν τη χρησιμότητα και την ακρίβεια των εφαρμοσμένων μοντέλων, αυτά τα χρήσιμα οφέλη είναι δύσκολο, μερικές φορές αδύνατο να μεταφερθούν πίσω στο βασικό μοντέλο χωρίς να απαιτείται πλήρης ή μερική επανεκπαίδευση.

Για αυτόν τον λόγο, είναι δύσκολο να δημιουργηθούν εκπαιδευμένα μοντέλα γλώσσας που μπορούν να χρησιμοποιήσουν τις τελευταίες πληροφορίες.

Εκπαιδευμένα πριν ακόμη από την έλευση του COVID, το text-davinci-002 – η ιτεράτιον του GPT-3 που θεωρείται ‘πιο ικανό’ από τον δημιουργό του OpenAI – μπορεί να επεξεργαστεί 4000 tokens ανά αίτηση, αλλά δεν γνωρίζει τίποτα για το COVID-19 ή την εισβολή της Ουκρανίας το 2022 (αυτές οι προτροπές και απαντήσεις είναι από τις 5 Απριλίου 2022). Ενδιαφέρον είναι ότι ‘άγνωστο’ είναι στην πραγματικότητα μια αποδεκτή απάντηση και στις δύο περιπτώσεις αποτυχίας, αλλά περαιτέρω προτροπές καθιερώνουν εύκολα ότι το GPT-3 είναι αγνοούμενο για αυτά τα γεγονότα. Πηγή: https://beta.openai.com/playground

Ένα εκπαιδευμένο μοντέλο μπορεί να έχει πρόσβαση μόνο σε ‘αλήθειες’ που εσωτερικεύθηκαν κατά την εκπαίδευση, και είναι δύσκολο να ληφθεί μια ακριβής και σχετική προσφορά από προεπιλογή, όταν προσπαθείτε να λάβετε το μοντέλο να επικυρώσει τις αξιώσεις του. Η πραγματική nguyνη του να λαμβάνονται προσφορές από προεπιλογή GPT-3 (για παράδειγμα) είναι ότι đôiότερα παράγει σωστές προσφορές, οδηγώντας σε μια ψευδή εμπιστοσύνη σε这一 πτυχή των ικανοτήτων του:

Πάνω, τρεις ακριβείς προσφορές που λαμβάνονται από το davinci-instruct-text GPT-3 του 2021. Κέντρο, το GPT-3 αποτυγχάνει να αναφέρει μια από τις πιο φημισμένες προσφορές του Αϊνστάιν (“Ο Θεός δεν παίζει ζάρια με το σύμπαν”), παρά μια μη κρυπτική προτροπή. Κάτω, το GPT-3 αναθέτει μια σκανδαλώδη και πλαστή προσφορά στον Άλμπερτ Αϊνστάιν, που φαίνεται να είναι υπερχείλιση από προηγούμενες ερωτήσεις για τον Γουίνστον Τσώρτσιλ στην ίδια συνεδρία. Πηγή: Το δικό μου άρθρο του 2021 στο https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

Ελπίζοντας να αντιμετωπίσουν αυτή τη γενική ελλειπή σε μοντέλα NLG, η Google’s DeepMind πρότεινε πρόσφατα GopherCite, ένα μοντέλο 280 δισεκατομμυρίων παραμέτρων που είναι ικανό να αναφέρει συγκεκριμένες και ακριβείς αποδείξεις για την υποστήριξη των παραγώμενων απαντήσεων σε προτροπές.

Τρεις περιπτώσεις του GopherCite που υποστηρίζουν τις αξιώσεις του με πραγματικές προσφορές. Πηγή: https://arxiv.org/pdf/2203.11147.pdf

Το GopherCite χρησιμοποιεί την ενίσχυση της μάθησης από ανθρώπινες προτιμήσεις (RLHP) για την εκπαίδευση μοντέλων ερωτήσεων που είναι ικανά να αναφέρουν πραγματικές προσφορές ως αποδείξεις. Οι προσφορές λαμβάνονται ζωντανά από πολλαπλά έγγραφα πηγών που λαμβάνονται από μηχανές αναζήτησης ή από ένα συγκεκριμένο έγγραφο που παρέχεται από τον χρήστη.

Η απόδοση του GopherCite μετρήθηκε μέσω ανθρώπινης αξιολόγησης των απαντήσεων του μοντέλου, οι οποίες βρέθηκαν να είναι ‘υψηλής ποιότητας’ 80% της φοράς στο σύνολο NaturalQuestions της Google, και 67% της φοράς στο σύνολο ELI5.

Αναφέροντας Ψευδείς Προσφορές

Ωστόσο, όταν δοκιμάστηκε ενάντια στο σύνολο TruthfulQA του Πανεπιστημίου της Οξφόρδης, οι απαντήσεις του GopherCite σπάνια βαθμολογήθηκαν ως αληθινές, σε σύγκριση με τις ανθρώπινες απαντήσεις ‘σωστές’.

Οι συγγραφείς προτείνουν ότι αυτό οφείλεται στο γεγονός ότι η έννοια των ‘υποστηριζόμενων απαντήσεων’ δεν ορίζει αντικειμενικά την αλήθεια,既然 η χρησιμότητα των προσφορών πηγών μπορεί να επηρεαστεί από άλλους παράγοντες, όπως η πιθανότητα ότι ο συγγραφέας της προσφοράς είναι ο ίδιος ‘οραματίζεται’ (δηλαδή γράφει για φανταστικούς κόσμους, παράγει διαφημιστικό περιεχόμενο ή αλλιώς φανταστικά μη αυθεντικά υλικά.

Περιπτώσεις του GopherCite όπου η πιθανότητα δεν αντιστοιχεί απαραίτητα σε ‘αληθινή’.

Ενεργά, γίνεται αναγκαίο να διακρίνουμε μεταξύ ‘υποστηριζόμενου’ και ‘αληθινού’ σε τέτοιες περιπτώσεις. Η ανθρώπινη κουλτούρα είναι αυτή τη στιγμή πολύ πιο προηγμένη από την μηχανική μάθηση όσον αφορά τη χρήση μεθοδολογιών και πλαισίων που έχουν σχεδιαστεί για την απόκτηση αντικειμενικών ορισμών αλήθειας, και ακόμη και εκεί, η φυσική κατάσταση ‘σπουδαίας’ αλήθειας φαίνεται να είναι διαμάχη και περιθωριακή άρνηση.

Το πρόβλημα είναι αναδρομικό σε αρχιτεκτονικές NLG που επιδιώκουν να επινοήσουν οριστικές ‘υποστηρικτικές’ μηχανισμούς: η ανθρώπινη συναίνεση είναι πιεσμένη να υπηρετήσει ως αναφορά αλήθειας μέσω εξωτερικών, AMT-στυλ μοντέλων όπου οι ανθρώπινες αξιολογητές (και οι άλλοι άνθρωποι που μεσολαβούν στις διαμάχες μεταξύ τους) είναι οι ίδιοι μερικοί και προκατειλημμένοι.

Για παράδειγμα, οι αρχικές πειραματικές δοκιμές του GopherCite χρησιμοποιούν ένα ‘σούπερ rater’ μοντέλο για την επιλογή των καλύτερων ανθρώπινων υποκειμένων για την αξιολόγηση της εξόδου του μοντέλου, επιλέγοντας μόνο τους αξιολογητές που βαθμολογήθηκαν τουλάχιστον 85% σε σύγκριση με ένα σύνολο ποιότητας. Τελικά, 113 σούπερ-αξιολογητές επιλέχθηκαν για την εργασία.

Στιγμιότυπο της εφαρμογής σύγκρισης που χρησιμοποιείται για να βοηθήσει στην αξιολόγηση της εξόδου του GopherCite.

Ενδείκνυται ότι αυτό είναι ένα τέλειο πορτρέτο μιας ανίκητης αναδρομικής αναζήτησης: το σύνολο ποιότητας που χρησιμοποιείται για την αξιολόγηση των αξιολογητών είναι ένα άλλο ‘ανθρώπινα-ορίζον’ μέτρο αλήθειας, όπως και το σύνολο TruthfulQA της Οξφόρδης ενάντια στο οποίο το GopherCite έχει βρεθεί να είναι ανεπαρκές.

Σε σχέση με το υποστηριζόμενο και ‘πιστοποιημένο’ περιεχόμενο, όλα όσα τα συστήματα NLG μπορούν να ελπίσουν να συνθέσουν από την εκπαίδευση σε ανθρώπινα δεδομένα είναι η ανθρώπινη διαφορά και ποικιλία, η οποία είναι από μόνη της ένα κακοτεχνημένο και ανεπίλυτο πρόβλημα. Έχουμε μια εγγενή τάση να αναφέρουμε πηγές που υποστηρίζουν τις απόψεις μας, και να μιλάμε με εξουσία και με πειστική φωνή σε περιπτώσεις όπου οι πηγές μας μπορεί να είναι ξεπερασμένες, εντελώς ανακριβείς ή αλλιώς σκόπιμα παραποιημένες με άλλους τρόπους, και μια τάση να διασκορπίσουμε αυτές τις απόψεις απευθείας στο άγριο, σε μια κλίμακα και αποτελεσματικότητα που δεν έχει προηγούμενο στην ανθρώπινη ιστορία, ακριβώς στο μονοπάτι των πλαισίων συλλογής γνώσης που ταΐζουν τα νέα συστήματα NLG.

Επομένως, ο κίνδυνος που εμπλέκεται στην ανάπτυξη συστημάτων NLG που υποστηρίζονται από παραπομπές φαίνεται να είναι δεμένος με την απρόβλεπτη φύση του υλικού πηγής. Κάθε μηχανισμός (όπως η άμεση παραπομπή και οι προσφορές) που αυξάνει την εμπιστοσύνη του χρήστη στην έξοδο του NLG είναι, στην τρέχουσα κατάσταση της τέχνης, προσθέτει επικίνδυνα στην αυθεντικότητα, αλλά όχι στην ακρίβεια της εξόδου.

Τέτοιες τεχνικές είναι πιθανό να είναι χρήσιμες όταν η NLP αναδημιουργήσει τα ‘καλειδοσκόπια’ της γραφής μυθιστορημάτων του Οργουελίου στο 1984, αλλά αντιπροσωπεύουν μια επικίνδυνη αναζήτηση για αντικειμενική ανάλυση εγγράφων, δημοσιογραφία που βασίζεται στο AI, και άλλες πιθανές ‘μη-μυθιστορηματικές’ εφαρμογές της αυτόματης σύνοψης και της αυθόρμητης ή καθοδηγούμενης γεννήτριας κειμένου.

Πρώτη δημοσίευση 5ης Απριλίου 2022. Ενημερώθηκε 3:29 μ.μ. EET για να διορθώσει τον όρο.