Τεχνητή νοημοσύνη
Τι είναι οι ψευδαισθήσεις LLM; Αιτίες, ηθική ανησυχία και πρόληψη
Τα μοντέλα μεγάλων γλωσσών (LLM) είναι συστήματα τεχνητής νοημοσύνης ικανά να αναλύουν και να δημιουργούν κείμενο που μοιάζει με άνθρωπο. Αλλά έχουν ένα πρόβλημα – Οι LLM έχουν παραισθήσεις, δηλαδή, φτιάχνουν πράγματα. Οι παραισθήσεις LLM έχουν κάνει τους ερευνητές να ανησυχούν για την πρόοδο σε αυτόν τον τομέα, επειδή εάν οι ερευνητές δεν μπορούν να ελέγξουν το αποτέλεσμα των μοντέλων, τότε δεν μπορούν να δημιουργήσουν κρίσιμα συστήματα για να υπηρετήσουν την ανθρωπότητα. Περισσότερα για αυτό αργότερα.
Γενικά, τα LLM χρησιμοποιούν τεράστιες ποσότητες δεδομένων εκπαίδευσης και πολύπλοκους αλγόριθμους μάθησης για να δημιουργήσουν ρεαλιστικά αποτελέσματα. Σε ορισμένες περιπτώσεις, χρησιμοποιείται μάθηση εντός πλαισίου για να εκπαιδεύσετε αυτά τα μοντέλα χρησιμοποιώντας μόνο μερικά παραδείγματα. Τα LLM γίνονται όλο και πιο δημοφιλή σε διάφορους τομείς εφαρμογών, όπως η αυτόματη μετάφραση, η ανάλυση συναισθημάτων, η εικονική βοήθεια AI, ο σχολιασμός εικόνων, επεξεργασία φυσικής γλώσσαςΚ.λπ.
Παρά την αιχμή της φύσης των LLM, εξακολουθούν να είναι επιρρεπείς σε προκαταλήψεις, λάθη και παραισθήσεις. Ο Yann LeCun, σημερινός επικεφαλής επιστήμονας AI στη Meta, ανέφερε πρόσφατα το κεντρικό ελάττωμα στα LLM που προκαλεί παραισθήσεις: «Τα μεγάλα γλωσσικά μοντέλα δεν έχουν ιδέα για την υποκείμενη πραγματικότητα που περιγράφει η γλώσσα. Αυτά τα συστήματα παράγουν κείμενο που ακούγεται ωραία, γραμματικά και σημασιολογικά, αλλά δεν έχουν στην πραγματικότητα κάποιο είδος στόχου πέρα από την απλή ικανοποίηση της στατιστικής συνέπειας με την προτροπή».
Ψευδαισθήσεις σε LLMs
Εικόνα από Gerd Altmann από το Pixabay
Οι ψευδαισθήσεις αναφέρονται στο μοντέλο που παράγει αποτελέσματα που είναι συντακτικά και σημασιολογικά σωστά αλλά είναι αποκομμένα από την πραγματικότητα και βασίζονται σε ψευδείς υποθέσεις. Η ψευδαίσθηση είναι ένα από τα βασικά ηθικά ζητήματα των LLMs, και μπορεί να έχει επιβλαβείς συνέπειες καθώς οι χρήστες χωρίς επαρκή γνώση τομέα αρχίζουν να βασίζονται υπερβολικά σε αυτά τα ολοένα και πιο πειστικά γλωσσικά μοντέλα.
Ένας ορισμένος βαθμός παραισθήσεων είναι αναπόφευκτος σε όλα τα αυτοπαλινδρομικά LLM. Για παράδειγμα, ένα μοντέλο μπορεί να αποδώσει ένα πλαστό απόσπασμα σε μια διασημότητα που δεν ειπώθηκε ποτέ. Μπορούν να ισχυριστούν κάτι σχετικά με ένα συγκεκριμένο θέμα που είναι πραγματικά λανθασμένο ή να αναφέρουν ανύπαρκτες πηγές σε ερευνητικές εργασίες, διαδίδοντας έτσι παραπληροφόρηση.
Ωστόσο, το να κάνουν τα μοντέλα AI να έχουν παραισθήσεις δεν έχει πάντα δυσμενείς επιπτώσεις. Για παράδειγμα, α προτείνει νέα μελέτη Οι επιστήμονες ανακαλύπτουν «νέες πρωτεΐνες με απεριόριστο φάσμα ιδιοτήτων» μέσω παραισθησιογόνων LLM.
Τι προκαλεί τις ψευδαισθήσεις LLMs;
Τα LLM μπορούν να έχουν παραισθήσεις λόγω διαφόρων παραγόντων, που κυμαίνονται από σφάλματα υπερβολικής προσαρμογής στην κωδικοποίηση και την αποκωδικοποίηση έως την προκατάληψη της εκπαίδευσης.
Υπερβολική τοποθέτηση
Εικόνα από janjf93 από το Pixabay
Η υπερβολική προσαρμογή είναι ένα ζήτημα όπου ένα μοντέλο AI ταιριάζει πολύ καλά στα δεδομένα εκπαίδευσης. Ωστόσο, δεν μπορεί να αναπαραστήσει πλήρως το σύνολο των εισόδων που μπορεί να συναντήσει, π.χ. αποτυγχάνει να γενικεύσει την προγνωστική του δύναμη σε νέα, αόρατα δεδομένα. Η υπερβολική προσαρμογή μπορεί να οδηγήσει στο μοντέλο να παράγει περιεχόμενο παραισθήσεων.
Σφάλματα κωδικοποίησης και αποκωδικοποίησης
Εικόνα από Geralt από το Pixabay
Εάν υπάρχουν σφάλματα στην κωδικοποίηση και την αποκωδικοποίηση του κειμένου και τις επακόλουθες αναπαραστάσεις του, αυτό μπορεί επίσης να προκαλέσει το μοντέλο να δημιουργήσει παράλογα και λανθασμένα αποτελέσματα.
Προπόνηση προπόνησης
Εικόνα από Κυδώνι Creative από το Pixabay
Ένας άλλος παράγοντας είναι η παρουσία ορισμένων μεροληψιών στα δεδομένα εκπαίδευσης, οι οποίες μπορούν να οδηγήσουν το μοντέλο να δώσει αποτελέσματα που αντιπροσωπεύουν αυτές τις μεροληψίες και όχι την πραγματική φύση των δεδομένων. Αυτό είναι παρόμοιο με την έλλειψη ποικιλομορφίας στα δεδομένα εκπαίδευσης, η οποία περιορίζει την ικανότητα του μοντέλου να γενικεύει σε νέα δεδομένα.
Η πολύπλοκη δομή των LLM καθιστά αρκετά δύσκολο για τους ερευνητές και τους επαγγελματίες τεχνητής νοημοσύνης να εντοπίσουν, να ερμηνεύσουν και να διορθώσουν αυτές τις υποκείμενες αιτίες των παραισθήσεων.
Ηθικές ανησυχίες των ψευδαισθήσεων LLM
Τα LLM μπορούν να διαιωνίσουν και να ενισχύσουν τις επιβλαβείς προκαταλήψεις μέσω παραισθήσεων και μπορούν, με τη σειρά τους, να επηρεάσουν αρνητικά τους χρήστες και να έχουν επιζήμιες κοινωνικές συνέπειες. Μερικές από αυτές τις πιο σημαντικές ηθικές ανησυχίες παρατίθενται παρακάτω:
Μεροληπτικό και τοξικό περιεχόμενο
Εικόνα από ar130405 από το Pixabay
Δεδομένου ότι τα δεδομένα εκπαίδευσης LLM είναι συχνά γεμάτα κοινωνικοπολιτισμικά στερεότυπα λόγω των εγγενών προκαταλήψεων και της έλλειψης διαφορετικότητας. Τα LLM μπορούν, επομένως, παράγουν και ενισχύουν αυτές τις επιβλαβείς ιδέες κατά των μειονεκτικών ομάδων της κοινωνίας.
Μπορούν να δημιουργήσουν αυτό το μεροληπτικό και μίσος περιεχόμενο με βάση τη φυλή, το φύλο, τη θρησκεία, την εθνικότητα κ.λπ.
Θέματα απορρήτου
Εικόνα από JanBaby από το Pixabay
Οι LLM εκπαιδεύονται σε ένα τεράστιο εκπαιδευτικό σώμα που συχνά περιλαμβάνει τις προσωπικές πληροφορίες των ατόμων. Υπήρξαν περιπτώσεις που τέτοια μοντέλα έχουν παραβίασε την ιδιωτικότητα των ανθρώπων. Μπορούν να διαρρεύσουν συγκεκριμένες πληροφορίες, όπως αριθμούς κοινωνικής ασφάλισης, διευθύνσεις σπιτιού, αριθμούς κινητών τηλεφώνων και ιατρικά στοιχεία.
Παραπληροφόρηση και παραπληροφόρηση
Εικόνα από Geralt από το Pixabay
Τα γλωσσικά μοντέλα μπορούν να παράγουν περιεχόμενο παρόμοιο με τον άνθρωπο που φαίνεται ακριβές, αλλά στην πραγματικότητα είναι ψευδές και δεν υποστηρίζεται από εμπειρικά στοιχεία. Αυτό μπορεί να είναι τυχαίο, οδηγώντας σε παραπληροφόρηση ή μπορεί να έχει κακόβουλη πρόθεση πίσω από αυτό για εν γνώσει της διάδοσης παραπληροφόρησης. Εάν αυτό δεν ελεγχθεί, μπορεί να δημιουργήσει αντίξοες κοινωνικές-πολιτιστικές-οικονομικές-πολιτικές τάσεις.
Πρόληψη ψευδαισθήσεων LLM
Εικόνα από τρία23 από το Pixabay
Ερευνητές και επαγγελματίες ακολουθούν διάφορες προσεγγίσεις για να αντιμετωπίσουν το πρόβλημα των παραισθήσεων σε LLMs. Αυτά περιλαμβάνουν τη βελτίωση της ποικιλομορφίας των δεδομένων εκπαίδευσης, την εξάλειψη των εγγενών προκαταλήψεων, τη χρήση καλύτερων τεχνικών τακτοποίησης και τη χρήση αντίθετης εκπαίδευσης και ενισχυτικής μάθησης, μεταξύ άλλων:
- Η ανάπτυξη καλύτερων τεχνικών τακτοποίησης βρίσκεται στον πυρήνα της αντιμετώπισης των παραισθήσεων. Βοηθούν στην πρόληψη της υπερβολικής προσαρμογής και άλλων προβλημάτων που προκαλούν παραισθήσεις.
- Η αύξηση των δεδομένων μπορεί να μειώσει τη συχνότητα των παραισθήσεων, όπως αποδεικνύεται από το α έρευνα. Η αύξηση δεδομένων περιλαμβάνει την αύξηση του συνόλου εκπαίδευσης προσθέτοντας ένα τυχαίο διακριτικό οπουδήποτε στην πρόταση. Διπλασιάζει το μέγεθος του σετ προπόνησης και προκαλεί μείωση της συχνότητας των παραισθήσεων.
- Η OpenAI και η DeepMind της Google ανέπτυξαν μια τεχνική που ονομάζεται ενισχυτική μάθηση με ανθρώπινη ανατροφοδότηση (RLHF) για την αντιμετώπιση του προβλήματος των παραισθήσεων του ChatGPT. Περιλαμβάνει έναν ανθρώπινο αξιολογητή που εξετάζει συχνά τις απαντήσεις του μοντέλου και επιλέγει τις πιο κατάλληλες για τις προτροπές του χρήστη. Αυτή η ανατροφοδότηση χρησιμοποιείται στη συνέχεια για την προσαρμογή της συμπεριφοράς του μοντέλου. Ο Ilya Sutskever, επικεφαλής επιστήμονας της OpenAI, ανέφερε πρόσφατα ότι αυτή η προσέγγιση μπορεί πιθανή επίλυση παραισθήσεων στο ChatGPT: «Είμαι πολύ αισιόδοξος ότι απλώς βελτιώνοντας αυτήν την επακόλουθη ενισχυτική μάθηση από το βήμα της ανθρώπινης ανατροφοδότησης, μπορούμε να την διδάξουμε να μην έχει παραισθήσεις»..
- Ο προσδιορισμός του περιεχομένου με παραισθήσεις που θα χρησιμοποιηθεί ως παράδειγμα για μελλοντική προπόνηση είναι επίσης μια μέθοδος που χρησιμοποιείται για την αντιμετώπιση των παραισθήσεων. ΕΝΑ νέα τεχνική Από αυτή την άποψη, ανιχνεύει παραισθήσεις σε επίπεδο συμβολικής και προβλέπει εάν κάθε διακριτικό στην έξοδο έχει παραισθήσεις. Περιλαμβάνει επίσης μια μέθοδο για ανεπιτήρητη εκμάθηση ανιχνευτών παραισθήσεων.
Με απλά λόγια, οι ψευδαισθήσεις LLM αποτελούν μια αυξανόμενη ανησυχία. Και παρά τις προσπάθειες, χρειάζεται ακόμη πολλή δουλειά για την αντιμετώπιση του προβλήματος. Η πολυπλοκότητα αυτών των μοντέλων σημαίνει ότι είναι γενικά δύσκολο να εντοπιστούν και να διορθωθούν σωστά οι εγγενείς αιτίες των ψευδαισθήσεων.
Ωστόσο, με τη συνεχή έρευνα και ανάπτυξη, είναι δυνατός ο μετριασμός των παραισθήσεων σε LLM και η μείωση των ηθικών συνεπειών τους.
Εάν θέλετε να μάθετε περισσότερα για τα LLMs και τις προληπτικές τεχνικές που αναπτύσσονται για να διορθώσετε τις παραισθήσεις LLM, ρίξτε μια ματιά ενω.αι για να διευρύνετε τις γνώσεις σας.
