Οι επιστημονικές εργασίες με σίγουρο ύφος επηρεάζουν τους κριτές ΤΝ – ανεξάρτητα από την αξία τους

Η αυτοπεποίθηση αποτελεί ξεχωριστό πλεονέκτημα στην εξέλιξη – και, σύμφωνα με νέα ερευνητική εργασία από τη Γερμανία, αποτελεί επίσης πλεονέκτημα όταν μια επιστημονική εργασία αξιολογείται από Μεγάλα Γλωσσικά Μοντέλα (ΜΓΜ) αντί από συναδέλφους του συγγραφέα (κάτι που καθίσταται όλο και συχνότερα αναγκαίο, καθώς ο όγκος των επιστημονικών εργασιών εκτοξεύεται χάρη στα κέρδη παραγωγικότητας που προσφέρει η ΤΝ).

Η νέα μελέτη διαπιστώνει ότι οι αξιολογητές ΤΝ (δηλαδή οι μη ανθρώπινοι αξιολογητές) βαθμολογούν συστηματικά υψηλότερα τις επιστημονικές εργασίες που είναι γραμμένες με σίγουρο και κατηγορηματικό ύφος – ακόμη κι όταν η έρευνα στην οποία βασίζονται είναι πανομοιότυπη με εκείνη εργασιών που έχουν πιο επιφυλακτικό τόνο. Σε ορισμένες περιπτώσεις, αρκεί να αλλάξει μόνο η διατύπωση για να μετατραπεί μια απόρριψη σε αποδοχή.

Οι συγγραφείς αναφέρουν:

«Τα πειράματά μας αποκαλύπτουν ότι οι αξιολογητές LLM δείχνουν έντονη προτίμηση προς [papers] που χρησιμοποιούν γλώσσα υψηλής βεβαιότητας. Κρίσιμο είναι ότι αυτές οι προτιμήσεις συχνά οδηγούν σε ανατροπή αποφάσεων στο όριο αποδοχής<>απόρριψης, επηρεάζοντας άμεσα τα αποτελέσματα της αξιολόγησης.»

«Πέρα από τις βαθμολογίες, διαπιστώνουμε ότι τα ζητήματα που επισημαίνονται στις αξιολογήσεις διαφέρουν ως προς τη συχνότητα και το συναίσθημα που εκφράζουν, ανάλογα με τα γλωσσικά χαρακτηριστικά της εργασίας, γεγονός που ενδέχεται να επηρεάζει τις τελικές αποφάσεις.»

Είναι ειρωνικό, καθώς το φαινόμενο που εντοπίζουν οι συγγραφείς μοιάζει πολύ με τον τρόπο με τον οποίο η ΤΝ μπορεί συχνά να είναι «σίγουρη και ταυτόχρονα λανθασμένη» όταν απαντά στα δικά μας ερωτήματα και αιτήματα· μόνο που εδώ η απόφαση είναι ανθρώπινη και η ατομική και συλλογική ευθύνη πραγματική, είτε οι επιστήμονες που συνέβαλαν στις εργασίες πιστεύουν πράγματι οι ίδιοι τους ισχυρισμούς τους είτε όχι.

Αν η ΤΝ αποφασίζει όλο και περισσότερο ποιες επιστημονικές εργασίες θα δημοσιευτούν, οι επιστήμονες μπορεί να μάθουν να «ακούγονται πιο σίγουροι» ως ανταγωνιστική τακτική, ίσως ιδιαίτερα όταν οι υποβολές τους έχουν ελλείψεις· αυτό θα μπορούσε να προσφέρει στην ασθενέστερη επιστήμη ένα αδικαιολόγητο έρεισμα στην ολοένα συρρικνούμενη δεξαμενή της διαθέσιμης προσοχής.

Πομπώδης αυτοπεποίθηση προς τη νίκη

Σύμφωνα με τη μελέτη*, οι αξιολογητές ΤΝ ήταν πιθανότερο να επαινέσουν τις μεθόδους, τις θεωρίες και την επιστημονική συμβολή εργασιών γραμμένων με σίγουρο ύφος, ακόμη κι όταν αυτά ήταν πανομοιότυπα με όσα περιείχαν οι λιγότερο κατηγορηματικές εκδοχές. Στις δοκιμές των συγγραφέων, 504 επιστημονικές εργασίες ξαναγράφτηκαν με διαφορετικά ύφη και αξιολογήθηκαν από έξι μοντέλα ΤΝ, μεταξύ των οποίων τα GPT-5.5, Claude Sonnet 4.6 και Gemini 3.5 Flash. Χρειάστηκε να δημιουργηθούν τεχνητές/τροποποιημένες εκδοχές των εργασιών, ώστε οι ιδιομορφίες και οι εκκεντρικότητες των πραγματικών υποβολών να μην αλλοιώσουν τα αποτελέσματα:

Παραδείγματα του ίδιου επιστημονικού αποσπάσματος ξαναγραμμένου με τέσσερα διαφορετικά ύφη. Οι έγχρωμες επισημάνσεις δείχνουν αλλαγές που έγιναν για να ακούγεται το κείμενο περισσότερο ή λιγότερο σίγουρο ή να μοιάζει περισσότερο με ακαδημαϊκά αγγλικά γραμμένα από φυσικούς ή μη φυσικούς ομιλητές. Ωστόσο, τα ευρήματα και τα αριθμητικά στοιχεία παραμένουν αμετάβλητα. Πηγή

Οι εργασίες προέρχονταν από υποβολές στο συνέδριο ICLR 2026 και περιλάμβαναν ίσο αριθμό εργασιών που έγιναν δεκτές και απορρίφθηκαν. Στη συνέχεια, το Claude Opus 5 ξαναέγραψε κάθε υποβολή ώστε να ακούγεται περισσότερο ή λιγότερο σίγουρη^†, διατηρώντας αμετάβλητο το επιστημονικό περιεχόμενο. Έτσι, οι διαφορές στις αξιολογήσεις της ΤΝ μπορούσαν να αποδοθούν στο ύφος γραφής, δηλαδή στον διαφορετικό βαθμό αυτοπεποίθησης που εκφραζόταν.

Στα αποτελέσματα, οι αξιολογητές ΤΝ έδωσαν υψηλότερες βαθμολογίες σε επιστημονικές εργασίες γραμμένες με σίγουρο ύφος, ακόμη κι όταν τα στοιχεία ήταν πανομοιότυπα. Το Claude Sonnet 4.6 εμφάνισε την εντονότερη μεροληψία, προτιμώντας τις εκδοχές με σίγουρο ύφος επτά φορές συχνότερα από τις επιφυλακτικές. Στο 21% των περιπτώσεων, εισηγήθηκε την αποδοχή μιας εργασίας γραμμένης με σίγουρο ύφος, ενώ εισηγήθηκε την απόρριψη μιας πιο επιφυλακτικά διατυπωμένης εκδοχής της ίδιας εργασίας.

Η νέα μελέτη αναφέρει:

«Τα ευρήματά μας εγείρουν σημαντικές ανησυχίες σχετικά με τη χρήση των ΜΓΜ στην αξιολόγηση από ομοτίμους. Αν εργασίες με ισοδύναμο περιεχόμενο λαμβάνουν διαφορετικές βαθμολογίες και διαφορετικά επιχειρήματα στις αξιολογήσεις αποκλειστικά εξαιτίας γλωσσικών χαρακτηριστικών, τότε οι κρίσεις των αξιολογητών δεν αντανακλούν αποκλειστικά την επιστημονική ποιότητα.»

«Θα πρέπει, επομένως, να υποβάλλονται οι αξιολογητές ΜΓΜ σε δοκιμές αντοχής με αναδιατυπώσεις που διατηρούν το περιεχόμενο, ώστε να διαπιστώνεται αν οι γλωσσικές αλλαγές επηρεάζουν συστηματικά τις αξιολογήσεις τους.»

Οι συγγραφείς προτείνουν επίσης οι δοκιμές αυτές να εξετάζουν ρητά τόσο τις βαθμολογίες των εργασιών όσο και τις γραπτές αξιολογήσεις τους, ώστε να διαπιστωθεί αν η σίγουρη διατύπωση εκλαμβάνεται λανθασμένα ως ισχυρότερη επιστημονική τεκμηρίωση.

Μεθοδολογία

Επιλέχθηκαν συνολικά 504 επιστημονικές εργασίες από τις υποβολές στο International Conference on Learning Representations (ICLR) του 2026. Το δείγμα χωρίστηκε εξίσου σε εργασίες που έγιναν δεκτές και σε εργασίες που απορρίφθηκαν, με 24 υποβολές να επιλέγονται από καθεμία από τις 21 ερευνητικές κατηγορίες του συνεδρίου:

Η μέθοδος δοκιμής τριών σταδίων. Τα επιστημονικά άρθρα ξαναγράφτηκαν με τρόπο που διαφοροποιούσε το φαινομενικό επίπεδο επάρκειας στην αγγλική γλώσσα ή αυτοπεποίθησης, διατηρώντας παράλληλα τα ευρήματά τους· οι αναδιατυπώσεις ελέγχθηκαν ως προς τις αλλαγές στο ύφος και το νόημα πριν αξιολογηθούν από αξιολογητές τεχνητής νοημοσύνης υπό πανομοιότυπες συνθήκες· και στη συνέχεια συγκρίθηκαν οι διαφορές στις βαθμολογίες αξιολόγησης.

Κάθε άρθρο ανωνυμοποιήθηκε και ξαναγράφτηκε με το Claude Opus 5, ώστε να παραχθούν εναλλακτικές εκδοχές που θα εξέταζαν τόσο την αυτοπεποίθηση με την οποία διατυπώνονταν οι ισχυρισμοί όσο και το φαινομενικό επίπεδο επάρκειας του συντάκτη στην αγγλική γλώσσα. Για τις δοκιμές αυτοπεποίθησης, οι διατυπώσεις έγιναν είτε πιο κατηγορηματικές είτε πιο επιφυλακτικές. Λέξεις που υποδηλώνουν βεβαιότητα, όπως «ξεκάθαρα» και «σίγουρα», χρησιμοποιήθηκαν συχνότερα στις «αυτοπεποίθητες» εκδοχές, ενώ εκφράσεις που μετριάζουν τη βεβαιότητα, όπως «ενδέχεται» και «υποδηλώνει» , προτιμήθηκαν στα πιο επιφυλακτικά προσχέδια.

Σε όλες τις περιπτώσεις, οι επιστημονικοί ισχυρισμοί, τα στοιχεία, τα αποτελέσματα, η τεχνική ορολογία και η συνολική δομή παρέμειναν αμετάβλητα. Οι συγγραφείς σημειώνουν ότι οι οδηγίες για την αναδιατύπωση βασίστηκαν σε καθιερωμένη γλωσσολογική έρευνα και όχι σε γενικά αιτήματα μίμησης συγκεκριμένων υφών γραφής.

Έλεγχος των αναδιατυπώσεων

Για τους ελέγχους, κάθε αναδιατύπωση συγκρίθηκε με το πρωτότυπο ως προς την σημασιολογική ομοιότητα, η οποία αξιολογεί κατά πόσο τα αποσπάσματα διατηρούν το νόημά τους, και ως προς την ομοιότητα TF-IDF (η οποία μετρά τη διατήρηση του λεξιλογίου και της ορολογίας). Και οι δύο βαθμολογίες πλησίασαν το 1, επιβεβαιώνοντας τη μεγάλη ομοιότητα με τα πρωτότυπα:

Έλεγχοι των αναδιατυπωμένων άρθρων. Στις εκδοχές με αυτοπεποίθηση χρησιμοποιήθηκε πιο κατηγορηματική γλώσσα, ενώ στις επιφυλακτικές εκδοχές εκφραζόταν μεγαλύτερη αβεβαιότητα. Βαθμολογίες κοντά στο 1 επιβεβαιώνουν τη μεγάλη ομοιότητα με τα πρωτότυπα, ενώ οι χρωματισμένες επισημάνσεις υποδεικνύουν τις υψηλότερες τιμές για κάθε δείκτη που εξετάστηκε.

Δοκιμάστηκαν έξι αξιολογητές τεχνητής νοημοσύνης: τα ιδιόκτητα μοντέλα GPT-5.5, Claude Sonnet 4.6 και Gemini 3.5 Flash, καθώς και τα μοντέλα ανοικτών βαρών Gemma 3, Qwen3 VL και GLM 4.7. Επιλέχθηκαν εν μέρει επειδή όλα έχουν ημερομηνίες αποκοπής γνώσεων πριν από το 2026, γεγονός που μειώνει τον κίνδυνο να γνώριζαν εκ των προτέρων τις αποφάσεις αποδοχής των άρθρων.

Κάθε αναδιατυπωμένο άρθρο αξιολογήθηκε ανεξάρτητα, σύμφωνα με κατευθυντήριες γραμμές αντίστοιχες με εκείνες συνεδρίων. Για να διαπιστωθεί σε ποιο βαθμό οι βαθμολογίες ενδέχεται να διαφέρουν μεταξύ επαναλαμβανόμενων αξιολογήσεων, δέκα άρθρα επιλέχθηκαν τυχαία και αξιολογήθηκαν δέκα φορές από κάθε μοντέλο.

Αποτελέσματα

Οι δοκιμές εξέτασαν αν οι έξι επιλεγμένοι αξιολογητές τεχνητής νοημοσύνης θα προτιμούσαν σταθερά συγκεκριμένα ύφη γραφής και συνέκριναν άρθρα γραμμένα σε «αυτοπεποίθητη» ή «επιφυλακτική» γλώσσα, καθώς και άρθρα που έμοιαζαν με ακαδημαϊκά αγγλικά γραμμένα από φυσικούς ή μη φυσικούς ομιλητές^†.

Αποτελέσματα σύγκρισης των βαθμολογιών αξιολόγησης από τεχνητή νοημοσύνη για 504 επιστημονικά άρθρα που αναδιατυπώθηκαν με διαφορετικά ύφη. Τα ποσοστά προτίμησης δείχνουν ποια εκδοχή έλαβε υψηλότερη βαθμολογία, με τις ισοβαθμίες σε παρένθεση· οι αναλογίες δείχνουν πόσο συχνότερα προτιμήθηκε η μία εκδοχή· και οι ανατροπές αποφάσεων δείχνουν πόσο συχνά η αλλαγή στη διατύπωση ανέτρεψε μια απόφαση αποδοχής ή απόρριψης. Οι στατιστικές τιμές με έντονη γραφή υποδεικνύουν σημαντικές διαφορές. Η σχετική ενότητα είναι η κάτω, καθώς η υπόθεση που παρουσιάζεται επάνω δεν εξετάζεται σε αυτό το άρθρο (βλ. υποσημειώσεις).

Και οι έξι αξιολογητές τεχνητής νοημοσύνης προτίμησαν σταθερά τη γραφή με αυτοπεποίθηση. Τη μεγαλύτερη προτίμηση έδειξε το Claude Sonnet 4.6, το οποίο, όπως αναφέρθηκε νωρίτερα, έδωσε υψηλότερες βαθμολογίες στα «αυτοπεποίθητα» προσχέδια επτά φορές συχνότερα απ’ ό,τι στα «επιφυλακτικά».

Ένα άρθρο θεωρήθηκε αποδεκτό αν η βαθμολογία του έφτανε το 4,5 στα 10, αν και οι αλλαγές στο ύφος γραφής μερικές φορές ανέβαζαν ή κατέβαζαν την ίδια βαθμολογία πάνω ή κάτω από αυτό το όριο, ανατρέποντας την απόφαση· αυτές οι ανατροπές ευνοούσαν γενικά τη γραφή με αυτοπεποίθηση.

Το Claude Sonnet 4.6 είχε ιδιαίτερα κακές επιδόσεις: στο 21% των περιπτώσεων αποδεχόταν την «αυτοπεποίθητη» εκδοχή και απέρριπτε την «επιφυλακτική». Το αντίθετο συνέβη μόλις στο 2,8% των περιπτώσεων.

Η επίδραση φάνηκε επίσης στις γραπτές αξιολογήσεις, όπου οι αξιολογητές τεχνητής νοημοσύνης ήταν πιθανότερο να επαινέσουν τις μεθόδους, τις θεωρίες και την επιστημονική συνεισφορά ενός άρθρου όταν οι ισχυρισμοί του διατυπώνονταν με αυτοπεποίθηση. Καθώς η ίδια η έρευνα δεν είχε αλλάξει, αυτές οι ευνοϊκότερες αξιολογήσεις μπορούσαν να αποδοθούν μόνο στις διαφορές παρουσίασης και ύφους.

Συμπέρασμα

Κάθε φορά που οι άνθρωποι χρησιμοποιούν την ΤΝ για να αυξήσουν —έστω και άθελά τους— τον λόγο σήματος προς θόρυβο, δοκιμάζεται η ΤΝ ως λύση· εδώ, για να αντιμετωπιστεί η μεγάλη αύξηση των υποβολών ερευνητικών εργασιών σχετικά με την Τεχνητή Νοημοσύνη, μια έξαρση που τελευταία έχει ενισχύσει την εξουσία και τα κριτήρια επιλογής του Arxiv. Ωστόσο, θα πρέπει πλέον να είναι σαφές ότι τα κορυφαία μοντέλα LLM, όπως και όλα τα μικρότερα μοντέλα, εξακολουθούν να έχουν υπερβολικά πολλές ιδιορρυθμίες για να τους αναθέτουμε γενικά καθήκοντα αξιολόγησης, εκτός από τις πιο αυστηρά παραμετροποιημένες συνθήκες.

Σε τέτοιες περιπτώσεις, μάλλον θα ήταν προτιμότερο να μετατρέπονται μικρότερα μοντέλα LLM σε εξειδικευμένα εργαλεία αξιολόγησης μέσω λεπτορύθμισης ή προσαρμογών LoRA. Αυτό, ωστόσο, απαιτεί τουλάχιστον λίγη επιπλέον προσπάθεια, αν όχι και κάποια πρόσθετη επένδυση, ενώ οι τοπικές εγκαταστάσεις «χωρίς προσαρμογές» ή οι κλήσεις API είναι ταχύτερες και σχετικά οικονομικές.

Παρότι η εργασία αυτή είναι γραμμένη μάλλον λιτά, μπορεί να ενδιαφέρει τον τελικό χρήστη των LLM περισσότερο από ό,τι συνήθως, καθώς θα γνωρίζει ήδη ότι ο «ενθουσιασμός» αποτελεί ένα επίμονο πρόβλημα που πρέπει να παρακάμπτει για να συνεργάζεται αποτελεσματικά με την ΤΝ· και, αν αυτό και παρόμοια προβλήματα των LLM δεν μπορούν ακόμη να διορθωθούν, τουλάχιστον μπορούν να λαμβάνονται υπόψη.

Πριν υιοθετήσουμε υπερβολικά ειρωνικό τόνο απέναντι σε αυτού του είδους την επιπόλαιη εξίσωση κατά την αξιολόγηση της ΤΝ, αξίζει να θυμηθούμε ότι αυτά τα συστήματα είναι εξίσου χαμένα με όλους εμάς όταν πρόκειται για την επιστημολογία —την αναζήτηση μιας οριστικής αυθεντίας—· κι εμείς, ιστορικά, έχουμε μεγάλη τάση να εκλαμβάνουμε το σήμα ως το ίδιο το πράγμα.

* Με τίτλο «Το ύφος πάνω από την ουσία; Γλωσσική μεροληψία στην αξιολόγηση από ομοτίμους με βάση τα LLM»

^† Ή να μοιάζει με ακαδημαϊκά αγγλικά γραμμένα από φυσικούς ή μη φυσικούς ομιλητές —μια παράλληλη υπόθεση την οποία η εργασία δεν μπόρεσε να τεκμηριώσει εξίσου αποτελεσματικά και η οποία δεν εξετάζεται σε αυτό το άρθρο.

Δημοσιεύτηκε για πρώτη φορά την Τρίτη 27 Οκτωβρίου 2026