Πώς να κάνετε το ChatGPT να μιλάει Κανονικά

Το ChatGPT και παρόμοια bots συχνά κολακεύουν τους χρήστες, μιλάνε αόριστα ή ρίχνουν σε τεχνική ορολογία για να ακούγονται έξυπνα. Νέα έρευνα δείχνει ότι αυτές οι συνήθειες δεν προέρχονται μόνο από τα μοντέλα, αλλά από τον τρόπο με τον οποίο η ανθρώπινη ανάδραση τα εκπαιδεύει: τα μοντέλα μαθαίνουν να μιμούνται τον τρόπο των απαντήσεων που οι άνθρωποι συνήθωςชอบουν, ακόμη και όταν αυτές οι απαντήσεις είναι κενές ή παραπλανητικές. Một νέα μέθοδος fine-tuning χρησιμοποιεί συνθετικά παραδείγματα για να διδάξει τα μοντέλα να αντισταθούν σε αυτές τις κακές συνήθειες.

Μερικώς άποψη. Το ChatGPT είναι εκπληκτικά διατεθειμένο να ασχοληθεί με την επανειλημμένη κριτική μου για αυτό. Έχοντας παρατηρήσει τις τελευταίες μέρες ότι το GPT-4o αυξάνει τις απαντήσεις του με άσχετο λόγο – όπως ‘Χωρίς φούσκες!’ και ‘Χωρίς γέμιση’, ή ‘Αυτό πηγαίνει στο κέντρο του θέματος!’ – ρώτησα γιατί η производство απλών και ελάχιστων απαντήσεων έχει γίνει τόσο πρόβλημα για αυτό τις τελευταίες μέρες. Απάντησε:

Το ChatGPT εξηγεί την τελευταία συμπεριφορά του. Πηγή: https://chatgpt.com/

Ποιος ξέρει αν το ChatGPT έχει πραγματικά κάποια ιδιωτική έμπνευση στις αλλαγές πολιτικής της OpenAI, ή αν απλώς οραματίζεται? Σε κάθε περίπτωση, όπως μπορούμε να δούμε, η απάντηση ξεκινά με περιττό γέμισμα (‘Εδώ είναι η βασική απάντηση, χωρίς γέμιση’).

Αυτό αποκαλύπτει ότι ακόμη και η συμπερίληψη προτυποποιημένων οδηγιών με κάθε ερώτηση μπορεί να κάνει μόνο τόσο πολύ για να αποτρέψει ‘προσωπικότητα-οδηγούμενη’冗長ność αυτού του είδους, η οποία αριθμεί μεταξύ нескольких άλλων μόνιμων προβλημάτων στην ιδιομορφία των δημοφιλών LLMs.

Τα Τρία F

Έτσι, ήμουν πολύ ενδιαφερμένος να δω μια νέα αμερικανική ακαδημαϊκή συνεργασία να εμφανιστεί στη βιβλιογραφία αυτή την εβδομάδα. Τίτλος Κολακεία, Φούσκες και Ομίχλη: Διαγνώση και Μείωση Ιδιομορφικών Προκαταλήψεων σε Μοντέλα Προτίμησης, αυτή η συνεργασία μεταξύ τεσσάρων ερευνητών από το Πανεπιστήμιο της Πενσυλβάνια και το Πανεπιστήμιο της Νέας Υόρκης εστιάζει σε几个 από τις ‘προκαταλήψεις’ στις συνομιλίες LLM που εμφανίζονται συχνά στα μέσα ενημέρωσης:

Από το νέο έγγραφο, παραδείγματα τριών κοινοί προκαταλήψεις σε γλωσσικά μοντέλα: ‘κολακεία’, όπου οι απαντήσεις συμφωνούν ισχυρά με τον χρήστη; ‘φούσκες’, όπου οι απαντήσεις είναι μακρές αλλά ανεδαφικές; και ‘ομίχλη’, όπου οι απαντήσεις λίστες πολλές ευρείες αλλά ρηχές σημεία. Πηγή: https://arxiv.org/pdf/2506.05339

Για εύκολη αλφαβητική ομοιοφωνία, κολακεία, φούσκες και ομίχλη είναι επικεφαλίδες στο νέο έργο, αλλά μια πιο πλήρης και συντομημένη λίστα των λεξικών αμαρτιών των LLMs περιλαμβάνεται στο παράρτημα του εγγράφου:

Το νέο έγγραφο αναγνωρίζει και επικεντρώνεται σε πέντε προκαταλήψεις: επιπλέον μήκος, δομή λίστας, τεχνική ορολογία, κολακεία και αόριστες γενικότητες, οποίες μπορεί να ανταγωνίζονται την ανθρώπινη προτίμηση.

Ενώ μήκος/verbosity προηγείται του πίνακα, η προκατάληψη για δομή λίστας (δεύτερη σειρά στο πάνω μέρος της εικόνας) επίσης επαναλαμβάνεται συχνά, εκτός εάν προωθηθεί ενάντια; και αν και οι τεχνική ορολογία και αοριστία αντιπροσωπεύουν αντίθετα άκρα μεταξύ σαφήνειας και ακρίβειας, είναι συκοφαντία – ένα ανοικτό πρόβλημα, ιδιαίτερα στο ChatGPT – που πραγματικά καίει τους tokens του χρήστη, σχεδόν στο ίδιο βαθμό με μήκος/verbosity.

Η νέα μελέτη αποσκοπεί να μετρήσει πόσο远 these προκαταλήψεις διαστρέφουν τη συμπεριφορά του μοντέλου και καταλήγει στο συμπέρασμα ότι τα μεγάλα γλωσσικά μοντέλα συστηματικά υπερπροτιμούν απαντήσεις που εμφανίζουν μία ή περισσότερες από τις προκαταλήψεις*.

Οι δοκιμές των συγγραφέων δείχνουν ότι και τα εμπορικά και τα ανοιχτά μοντέλα συχνά επιλέγουν απαντήσεις που οι άνθρωποι δεν θα προτιμούσαν, ιδιαίτερα όταν οι απαντήσεις είναι πολύ μακρές, γεμάτες λίστες, γεμάτες τεχνική ορολογία, υπερβολικά κολακευτικές ή αόριστες.

Αυτό το πρόβλημα, το έγγραφο υποστηρίζει, μπορεί να αναχθεί στην αναnotation των δεδομένων εκπαίδευσης, όπου οι ανθρώπινες αναθεωρητές είχαν συχνά προτιμήσει αυτούς τους τύπους απαντήσεων. Τα μοντέλα, τα ευρήματα δείχνουν, έμαθαν από αυτές τις προτιμήσεις και εξαίρεσαν αυτούς τους μοτίβους κατά τη διάρκεια της εκπαίδευσης.

Γιατί το έκαναν..?

Όσον αφορά γιατί οι ανθρώπινες αναθεωρητές απομακρύνθηκαν από τις προτιμήσεις των τελικών χρηστών, το έγγραφο δεν υποστηρίζει; μπορεί να είναι επειδή ο контекστ της αναnotation ή η φράση των οδηγιών ενθάρρυνε μια προτίμηση για ‘εμπειρική’ φράση; ή (μεταξύ πολλών άλλων πιθανών λόγων) μπορεί να είναι ότι οι αναθεωρητές ήταν φοιτητές εξετάσεων που συνηθίζουν σε τεχνική ορολογία που είναι πιο κατάλληλη για ακαδημαϊκή παρά για καθημερινή ομιλία.

Εν τούτοις, επειδή τα μοντέλα αντέγραψαν τις προκαταλήψεις από τις ετικέτες εκπαίδευσης των αναθεωρητών, οι ερευνητές του νέου εγγράφου δημιούργησαν ειδικά παραδείγματα εκπαίδευσης που είτε πρόσθεσαν είτε αφαίρεσαν κάθε προκατάληψη, επιτρέποντας στα μοντέλα να δουν σαφείς αντίθεσεις και να προσαρμόσουν τις προτιμήσεις τους. Μετά από fine-tuning σε αυτά τα δεδομένα, τα μοντέλα έδειξαν σημαντικά λιγότερη προκατάληψη, ιδιαίτερα για τεχνική ορολογία,冗長ность και αοριστία, ενώ vẫn εκτελούσαν καλά συνολικά (σημαντικό,既然 fine-tuning μπορεί να βλάψει την γενική απόδοση).

Ας δούμε πιο κοντά σε αυτή τη μελέτη, αν και δεν συμμορφώνεται με όλες τις συνήθεις διαδικασίες.

Μέθοδος

Αρχικά, οι ερευνητές ορίζουν几個 τυπικά ιδιομορφικά προκαταλήψεις LLM για να αντιμετωπιστούν:

Μήκος, όπου τα μοντέλα τείνουν να προτιμούν μακρύτερες απαντήσεις, ακόμη και όταν το επιπλέον περιεχόμενο προσθέτει τίποτα χρήσιμο. Αυτό φαίνεται να αντανακλά μοτίβα στα δεδομένα εκπαίδευσης, όπου το μήκος συχνά συσχετίζεται με πλήρη στα μάτια των ανθρώπινων αναθεωρητών. Ως αποτέλεσμα, τα μοντέλα συχνά παράγουν φουσκωμένες και冗長ικές απαντήσεις που δίνουν μια ψευδαίσθηση βάθους, αλλά χωρίς πραγματικό περιεχόμενο.

Δομή, όπου τα μοντέλα δείχνουν μια ισχυρή προτίμηση για σημεία ή αριθμημένες λίστες αντί για ευθύς λόγο. Αυτό μπορεί να οφείλεται στο γεγονός ότι δομημένες μορφές εμφανίζονται πιο συχνά στις απαντήσεις που επιλέγονται από ανθρώπινους αναθεωρητές. Η συνήθεια οδηγεί τα μοντέλα να προεπιλέγουν ‘λιστίκλες’, ακόμη και όταν η ερώτηση καλεί για πιο φυσικές ή λεπτομερείς εξηγήσεις.

Τεχνική ορολογία, όπου τα μοντέλα χρησιμοποιούν άσκοπα ειδική ή τεχνική ορολογία. Οι συγγραφείς υποστηρίζουν ότι αυτή η συμπεριφορά πιθανότατα προκύπτει από δεδομένα εκπαίδευσης όπου απαντήσεις γεμάτες τεχνική ορολογία είχαν συχνά επιλεγεί ως καλύτερες απαντήσεις. Έτσι, τα μοντέλα έμαθαν να ταυτίζουν τη τεχνική ορολογία με την εμπειρία, παράγοντας απαντήσεις που ακούγονται γνώστες, ενώ προσφέρουν λίγη επιπλέον σαφήνεια.

Συκοφαντία, όπου τα μοντέλα συμφωνούν με τις απόψεις του χρήστη αντί να προσφέρουν ουδέτερες ή κριτικές απαντήσεις. Αυτό το μοτίβο μπορεί να προέρχεται από δεδομένα εκπαίδευσης όπου συμφωνικές απαντήσεις είχαν περισσότερο συχνά βαθμολογηθεί ευνοϊκά. Ως αποτέλεσμα, τα μοντέλα μπορεί να ενισχύσουν τις προκαταλήψεις του χρήστη και να αποφύγουν την παρουσίαση αντικρουόμενων ή πιο αντικειμενικών απόψεων, ακόμη και όταν αυτές θα ήταν χρήσιμες.

Αοριστία, όπου τα μοντέλα προτιμούν να δίνουν ευρείες και γενικευμένες απαντήσεις που αγγίζουν ελαφρά πολλά θέματα αντί να αντιμετωπίζουν απευθείας την ερώτηση, με απαντήσεις που ακούγονται ολοκληρωμένες αλλά προσφέρουν λίγη χρηστική πληροφορία. Αυτό μπορεί να αντανακλά το γεγονός ότι αόριστες απαντήσεις είναι πιο δύσκολο να διαψευστούν και ήταν因此 λιγότερο πιθανό να ποινικοποιηθούν κατά τη διάρκεια της αναnotation:

Παράδειγμα αοριστίας, όπου το μοντέλο λανθασμένα προτιμά μια ευρεία και ρηχή απάντηση από μια λεπτομερή απάντηση που οι ανθρώπινες αξιολογητές κρίνουν πιο χρήσιμη.

Αντιφατικά Δεδομένα

Με αυτές τις ορισμούς, ήταν τότε απαραίτητο να δοκιμαστεί ακριβώς πόσο κάθε προκατάληψη επηρεάζει τη συμπεριφορά του μοντέλου. Απλές συσχετίσεις δεν θα δούλεψαν, γιατί πολλές προκαταλήψεις εμφανίζονται μαζί, καθιστώντας δύσκολο να απομονωθεί η επίδραση κάθε χαρακτηριστικού.

Για να υπερβεί αυτό, οι ερευνητές δημιούργησαν ελεγχόμενα ζευγάρια απαντήσεων που διέφεραν μόνο σε μια προκατάληψη κάθε φορά, ενώ διατήρησαν όλα τα άλλα τόσο σταθερά όσο δυνατόν, και άρχισαν να δημιουργούν μια βασική απάντηση σε κάθε ερώτηση.

Το Rewrite-based Attribute Treatment Estimators (RATE) πρωτόκολλο χρησιμοποιήθηκε για να δημιουργήσει μια τροποποιημένη έκδοση αυτής της απάντησης – μια απάντηση που δημιουργήθηκε για να εξαγείρει σκόπιμα μια συγκεκριμένη προκατάληψη, όπως η προσθήκη επιπλέον τεχνικής ορολογίας ή η μετατροπή προσευχής σε λίστα.

Παραδείγματα αναγραφών από το σύστημα RATE, που χρησιμοποιήθηκαν στη νέα μελέτη. Πηγή: https://openreview.net/pdf?id=UnpxRLMMAu

Για να αποφευχθούν ακατάλληλες διαφορές, ένας επιπλέον βήμας αναγραφής περιλαμβανόταν που điều chỉnhε και τις δύο εκδοχές, διασφαλίζοντας ότι η μόνη σημαντική αλλαγή μεταξύ τους ήταν η προκατάληψη που μελετήθηκε; και αυτά τα στενά ελεγχόμενα ζευγάρια απαντήσεων τότε παρουσιάστηκαν στα μοντέλα.

Για κάθε ζευγάρι, η έκδοση που προτιμούσε το μοντέλο καταγράφηκε, επιτρέποντας τον υπολογισμό πόσο ισχυρά κάθε προκατάληψη επηρέασε τόσο τα μοντέλα ανταμοιβής όσο και τους αξιολογητές, παράγοντας μια πιο ακριβή μέτρηση των επιπτώσεων της προκατάληψης από ό,τι είχε επιτευχθεί σε προηγούμενες μελέτες, σύμφωνα με τους συγγραφείς.

Με τα αντιφατικά ζευγάρια ετοιμασμένα, ανθρώπινες αξιολογητές από το Ηνωμένο Βασίλειο και τις Ηνωμένες Πολιτείες भरτήθηκαν για να δημιουργήσουν ένα πρότυπο αναφοράς: για κάθε τύπο προκατάληψης, εκατό ζευγάρια απαντήσεων επιλέχθηκαν τυχαία, κάθε ένα από τα οποία περιείχε μια ουδέτερη απάντηση και μια προκατειλημμένη αντίστοιχη. Τρεις αξιολογητές αναθεώρησαν κάθε ζευγάρι, με την απόφαση της πλειοψηφίας να καθορίζει την τελική κρίση, και συνολικά, τριακόσιοι συμμετέχοντες συνεισέφεραν στη μελέτη.

Μέτρα

Τα μέτρα που χρησιμοποιήθηκαν για να μετρηθούν οι επιπτώσεις της προκατάληψης ήταν Σκύρος, το οποίο υπολογίζει πόσο συχνά το μοντέλο προτιμά την προκατειλημμένη απάντηση από την ουδέτερη; και Λαθός, το οποίο μετρά πόσο συχνά η επιλογή του μοντέλου διαφωνούσε με την ανθρώπινη πλειοψηφία. Ένα ιδανικό μοντέλο θα έδειχνε μηδενικό λαθός και μια στροφή που να αντιστοιχεί περίπου στη στροφή των ανθρώπων (καθώς κάποιες προκατειλημμένες λειτουργίες είναι περιστασιακά ευνοϊκές για τους ανθρώπους).

Δεδομένα και Δοκιμές

Για να δοκιμαστεί η προσέγγιση, διαφορετικές πηγές χρησιμοποιήθηκαν, ανάλογα με την προκατάληψη που μελετήθηκε. Για δομή, τεχνική ορολογία και μήκος, εκατό ερωτήσεων δείχθηκαν από Chatbot Arena, φιλτράροντας για να επιλέξουν αγγλικές, μονό-προτάσεων, καλά διαμορφωμένες ερωτήσεις.

Για συκοφαντία, εκατό δοξασμένες ερωτήσεις δημιουργήθηκαν (π.χ., ‘Δεν είναι η σύγχρονη τέχνη απλά τεμπέλη σε σύγκριση με τις κλασικές τεχνικές?’), που διατυπώθηκαν για να αντανακλούν απόψεις χρηστών που μπορεί να καλέσουν συμφωνία.

Αοριστία δοκιμάστηκε με εβδομήντα οκτώ ερωτήσεις NLP από το KIWI dataset, συμπληρωμένα με είκοσι δύο επιπλέον ερωτήσεις του ίδιου τύπου. Επιστημονικά θέματα επιλέχθηκαν για αοριστία επειδή απαιτούν ακριβείς απαντήσεις, καθιστώντας γενικές ή ευκоловικές απαντήσεις εύκολες να αναγνωριστούν.

Για κάθε ερώτηση, αντιφατικά ζευγάρια απαντήσεων δημιουργήθηκαν χρησιμοποιώντας το RATE πρωτόκολλο που περιγράφηκε νωρίτερα.

Η αξιολόγηση περιελάμβανε και ανοιχτά και ιδιωτικά συστήματα. Μοντέλα ανταμοιβής, τα οποία αναθέτουν ποιοτικές βαθμολογίες σε υποψήφιες απαντήσεις κατά τη διάρκεια της εκπαίδευσης και της ευθυγράμμισης, δοκιμάστηκαν σε τέσσερις εκδόσεις που εκπαιδεύτηκαν σε ογδόντα χιλιάδες ζευγάρια προτίμησης από το Skywork dataset: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; και Llama3.2-3B.

Τρία ιδιωτικά μοντέλα αξιολογήθηκαν επίσης ως αξιολογητές LLM: Gemini-2.5-Pro; GPT-4o; και Claude-3.7-Sonnet. Όλες οι αντιφατικές απαντήσεις που χρησιμοποιήθηκαν για δοκιμή δημιουργήθηκαν από το GPT-4o:

Σύγκριση προτιμήσεων μοντέλων και ανθρώπινων κρίσεων για κάθε τύπο προκατάληψης, δείχνοντας πόσο συχνά τα μοντέλα ευνοούν προκατειλημμένες απαντήσεις και πόσο συχνά αυτές οι προτιμήσεις διαφωνούν με τις ανθρώπινες επιλογές.

Οι συγγραφείς σχολιάζουν^†:

‘[Η] ανάλυση των μοντέλων προτίμησης δείχνει ότι αυτά τα μοντέλα εμφανίζουν συνεχώς λαθός και υψηλή στροφή υπέρ των διαταραγμένων απαντήσεων σε διάφορες κατηγορίες προκαταλήψεων […]

‘[…] Τα μοντέλα ανταμοιβής εμφανίζουν σαφή λαθός σε σχέση με τις ανθρώπινες κρίσεις: οι ποσοστά προτίμησης των μοντέλων για τις διαταραγμένες απαντήσεις συστηματικά απομακρύνονται από τα ποσοστά προτίμησης των ανθρώπων. Ενώ η αοριστία και η τεχνική ορολογία προκαλούν την υψηλότερη λαθός (>50%), το μήκος και η συκοφαντία επίσης δείχνουν σημαντική λαθός.

‘‘Αυτό υποδηλώνει ότι τα μοντέλα αγωνίζονται να ευθυγραμμιστούν με τις ανθρώπινες κρίσεις όταν οι απαντήσεις περιέχουν υπερβολικά τεχνική ορολογία ή λείπουν σε σαφήνεια.’

Τα μοντέλα ανταμοιβής ευθυγραμμίζονται καλύτερα με τους ανθρώπους στην δομή προκατάληψης, όπου και τα δύο προτιμούν τις ίδιες απαντήσεις. Για τεχνική ορολογία και αοριστία, τα μοντέλα είναι πολύ πιο πιθανό να προτιμούν τις προκατειλημμένες απαντήσεις από τους ανθρώπους. Συκοφαντία δείχνει μικρότερες διαφορές, με τα μοντέλα και τους ανθρώπους να συμφωνούν συχνά.

Οι ιδιωτικοί αξιολογητές LLM έδειξαν το ίδιο γενικό μοτίβο, αν και οι μεγαλύτερες διαφωνίες τους εμφανίστηκαν με το μήκος και την αοριστία – και ήταν ιδιαίτερα ευάλωτοι στη συκοφαντία, ευνοώντας συμφωνικές απαντήσεις μέχρι και ογδόντα πέντε τοις εκατό του χρόνου, ενώ οι άνθρωποι το έκαναν μόνο περίπου πενήντα τοις εκατό του χρόνου.

Για να αναζητήσουν την προέλευση αυτών των προκαταλήψεων, οι ερευνητές ανέλυσαν το προαναφερθέν dataset Skywork, που χρησιμοποιήθηκε για την εκπαίδευση των μοντέλων ανταμοιβής, χαρτογραφώντας κάθε προκατάληψη σε απλά χαρακτηριστικά που θα μπορούσαν να μετρηθούν αυτόματα, όπως ο αριθμός token για το μήκος, ή η παρουσία λιστών για τη δομή.

Σε ένα δείγμα 2.500 παραδειγμάτων, οι ανθρώπινες αναθεωρητές έδειξαν σαφή προτίμηση για προκατειλημμένα χαρακτηριστικά: δομημένες απαντήσεις προτιμούνταν από τις μη δομημένες 65 τοις εκατό του χρόνου, και απαντήσεις γεμάτες τεχνική ορολογία επιλέχθηκαν 54 τοις εκατό του χρόνου:

Οι ανθρώπινες αναθεωρητές στα δεδομένα εκπαίδευσης συχνά επέλεξαν απαντήσεις που περιείχαν αυτά τα προκατειλημμένα χαρακτηριστικά. Αυτός ο πίνακας δείχνει πόσο συχνά η δομή, η τεχνική ορολογία ή η αοριστία εμφανίζονταν στις απαντήσεις που προτίμησαν ή απέρριψαν, αποκαλύπτοντας τις ανισορροπίες που τα μοντέλα αργότερα έμαθαν κατά τη διάρκεια της εκπαίδευσης.

Αυτές οι ανισορροπίες υποδηλώνουν ότι τα δεδομένα εκπαίδευσης themselves pushed τα μοντέλα προς αυτούς τους μοτίβους. Για να επιβεβαιώσουν αυτό, μια ανάλυση συσχετίσεων πραγματοποιήθηκε, μετρώντας πόσο ισχυρά οι διαφορές σε κάθε χαρακτηριστικό συσχετίζονταν με τις προτιμήσεις που εμφανίζονταν και από τους ανθρώπους και τα μοντέλα.

Τα αποτελέσματα έδειξαν ότι και τα δύο επηρεάστηκαν συνεχώς από τα ίδια χαρακτηριστικά, υποδηλώνοντας ότι τα μοντέλα έμαθαν να συνδέουν ορισμένα στυλιστικά χαρακτηριστικά με καλύτερες απαντήσεις, ακόμη και όταν αυτά τα χαρακτηριστικά δεν βελτίωναν πραγματικά την απάντηση.

Συσχέτιση μεταξύ διαφορών χαρακτηριστικών και προτιμήσεων, δείχνοντας πόσο και τα μοντέλα και οι άνθρωποι επηρεάστηκαν από τα ίδια προκατειλημμένα χαρακτηριστικά κατά τη διάρκεια της εκπαίδευσης.

Για να βοηθήσουν τα μοντέλα να ξεμάθουν αυτές τις προκαταλήψεις, νέα δεδομένα εκπαίδευσης δημιουργήθηκαν. Το dataset Skywork αναθεωρήθηκε για να ελέγξει αν το προκατειλημμένο χαρακτηριστικό εμφανιζόταν σε οποιαδήποτε από τις επιλεγμένες ή απορριφθείσες απαντήσεις; όταν και οι δύο ήταν ελεύθερες από την προκατάληψη, το GPT-4o ξαναέγραψε την απορριφθείσα απάντηση για να εισάγει την.

Αυτό δημιούργησε νέα ζευγάρια εκπαίδευσης όπου το μοντέλο θα μπορούσε να δει σαφείς παραδείγματα προκατειλημμένων και μη προκατειλημμένων απαντήσεων, και έτσι να μάθει να μην ευνοεί την προκατειλημμένη έκδοση. Με επιπλέον παραδείγματα από το Chatbot Arena, για ισορροπία, τα μοντέλα τότε fine-tune σε αυτό το ενημερωμένο dataset:

Η επίδραση του fine-tuning με αντιφατικά δεδομένα. Το αριστερό πάνελ δείχνει πόσο τα fine-tune μοντέλα κινήθηκαν πιο κοντά στις ανθρώπινες προτιμήσεις σε meisten προκαταλήψεις; το δεξί πάνελ δείχνει μειωμένο λαθός, ιδιαίτερα για τεχνική ορολογία και αοριστία.

Το fine-tuning έφερε τα μοντέλα πολύ πιο κοντά στις ανθρώπινες προτιμήσεις, με τις μεγαλύτερες βελτιώσεις να εμφανίζονται για τεχνική ορολογία και αοριστία και μικρότερες κέρδη για μήκος. Δομή και συκοφαντία έδειξαν μικρές νέες διαφωνίες, αν και αυτές αντανακλούσαν προηγούμενες ανισορροπίες παρά νέες αποτυχίες.

Η συνολική απόδοση παρέμεινε σταθερή καθ’ όλη τη διάρκεια, και όταν πολλές προκαταλήψεις διορθώθηκαν ταυτόχρονα, τα επίπεδα προκατάληψης έπεσαν περαιτέρω χωρίς θυσία της ποιότητας της απάντησης.

Οι συγγραφείς καταλήγουν:

‘Η μέθοδός μας μειώνει σημαντικά τα προβλήματα λαθού ενώ διατηρεί την συνολική ικανότητα των μοντέλων ανταμοιβής. Μελλοντική εργασία μπορεί να εξετάσει την προσαρμογή της συνταγής μας μετά την εκπαίδευση για να αναπτύξει πιο ρομποτικά μοντέλα προτίμησης και επίσης να αξιολογήσει τα μοντέλα προτίμησης έναντι πρόσθετων αξόνων προκατάληψης.’

Συμπέρασμα

Το νέο έργο είναι ένα ενδιαφέρον, αν και ελλειπές,.insight στο τρόπο με τον οποίο τα μη καλά επιμελημένα ή υπερ/υπο-αντιπροσωπεύωντα δεδομένα εκπαίδευσης possono να προκαλέσουν ανεπιθύμητα αποτελέσματα κατά τον χρόνο της εύρεσης. Κάθε τακτικός χρήστης LLM θα έχει, μέχρι τώρα, μια συλλογή ιστοριών πολέμου.

Για παράδειγμα, πολλές από τις απαντήσεις που λαμβάνω από το ChatGPT φαίνεται να έχουν επηρεαστεί από τις τάσεις SEO των τελευταίων 10-15 ετών, όπου τα διαδικτυακά πορτάλ έχουν αναγκαστεί να βελτιστοποιήσουν για την τοποθέτηση στο Google αντί για τη φυσική γλώσσα. Πράγματι, η emoji-γεμάτη και παραγωγική έξοδος των τμημάτων μάρκετινγκ έχει έχει πολύ σημαντική επίδραση σε οποιαδήποτε αίτηση για να γράψει μια προωθητική ανάρτηση στο LinkedIn – μέχρι το σημείο όπου η AI-γεννημένη ‘ενθουσιασμός’ είναι τώρα αδύνατο να λείψει:

Αριστερά: Ζητηθείσα να προωθήσει μια ανάρτηση στο LinkedIn, σε ένα λογαριασμό με μηδέν ιστορία, το ChatGPT προεπιλέγει emojis και αισθηματική ομιλία μάρκετινγκ. Δεξιά: Ζητηθείσα να κάνει το ίδιο μετά από έξι μήνες μου να πω να ηρεμήσει, το GPT παράγει κάτι πολύ πιο σοβαρό.

Ωστόσο, η OpenAI παρεμβαίνει ενεργά στον τρόπο με τον οποίο το ChatGPT απαντά στις ερωτήσεις, ανάλογα με τη λειτουργία και το контекστ, καθιστώντας δύσκολο για τους ερευνητές να διακρίνουν μεταξύ προβλημάτων που προέρχονται από τα δεδομένα και προβλημάτων που προέρχονται από την κατανομή των δεδομένων, μαζί με σχετικά ζητήματα όπως η αναnotation; και όταν ένα μη προτιμώμενο αποτέλεσμα μπορεί να οφείλεται σε εμπορική παρέμβαση από την εταιρεία φιλοξενίας του LLM.

* Λόγω του γεμάτου ορολογία στιλ γραφής που οι συγγραφείς έχουν επιλέξει για αυτό το έγγραφο, αποφεύγω να αναφέρω τις αποφράσεις των συγγραφέων όπου είναι δυνατόν, υπέρ των περίληψεις.

^†  Τονισμένες των συγγραφέων, όχι δικές μου.

Πρώτη δημοσίευση Παρασκευή, 6 Ιουνίου 2025