Τι μπορεί να μας πει το AI για τους κρυφούς αγενείς στο νέα

Τα μοντέλα τύπου ChatGPT εκπαιδεύονται για να ανιχνεύουν τι πραγματικά πιστεύει ένα άρθρο ειδήσεων για ένα ζήτημα – ακόμη και όταν αυτή η στάση είναι θαμμένη κάτω από παραθέσεις, πλαισίωση ή (μερικές φορές μη γνήσιες) ‘ουδετερότητα’. Με το να σπάει τα άρθρα σε τμήματα όπως τίτλοι, εισαγωγές και παραθέσεις, ένα νέο σύστημα μαθαίνει να ανιχνεύει προκατάληψη ακόμη και σε επαγγελματικά άρθρα μεγάλου μήκους.

Η ικανότητα να κατανοήσουμε τη πραγματική άποψη ενός συγγραφέα ή ομιλητή – ένας στόχος που είναι γνωστός στην βιβλιογραφία ως ανίχνευση στάσης – αντιμετωπίζει ένα από τα πιο δύσκολα ερμηνευτικά προβλήματα στη γλώσσα: να εξαγάγει την πρόθεση από περιεχόμενο που μπορεί να έχει σχεδιαστεί για να κρύψει ή να αποκρύψει την πρόθεση.

Από το Μια ταπεινή πρόταση του Τζόναθαν Σουίφτ, μέχρι πρόσφατες εμφανίσεις πολιτικών ηγετών που δανείζονται την πολεμική των ιδεολογικών αντιπάλων τους, η επιφάνεια μιας δήλωσης δεν είναι πλέον ένας αξιόπιστος δείκτης της πρόθεσής της. Η άνοδος του ειρωνισμού, του trolling, της παραπληροφόρησης και της στρατηγικής αμφιβολίας έχει κάνει πιο δύσκολο να προσδιορίσει ποια πλευρά μια κείμενο πραγματικά υποστηρίζει, ή αν υποστηρίζει καθόλου.

Συχνά, αυτό που δεν λέγεται έχει το ίδιο βάρος με αυτό που λέγεται, και η απλή επιλογή να καλύψουμε ένα θέμα μπορεί να σηματοδοτήσει την άποψη του συγγραφέα.

Αυτό κάνει την εργασία της αυτόματης ανίχνευσης στάσης ασυνήθιστα προκλητική, поскольку ένα αποτελεσματικό σύστημα ανίχνευσης πρέπει να κάνει περισσότερα από το να επισημάνει μεμονωμένες προτάσεις ως ‘υποστηρικτικές’ ή ‘αντιτιθέμενες’: πρέπει να επαναλαμβάνει τις στρώσεις της σημασίας, ζυγίζοντας τις μικρές ενδείξεις ενάντια στη μορφή και την πορεία του整ικού άρθρου. Και αυτό είναι πιο δύσκολο σε άρθρα μεγάλου μήκους, όπου ο τόνος μπορεί να αλλάξει και η άποψη μπορεί σπάνια να εκφραστεί ρητά.

Πράκτορες Αλλαγής

Για να αντιμετωπιστούν κάποια από αυτά τα ζητήματα, ερευνητές στη Νότια Κορέα έχουν αναπτύξει ένα νέο σύστημα που ονομάζεται JOA-ICL (Ειδησιογραφική-οδηγούμενη Αντιπροσωπευτική Εκμάθηση στο Κείμενο) για την ανίχνευση της στάσης των άρθρων ειδήσεων μεγάλου μήκους.

Η βασική ιδέα πίσω από το JoA-ICL είναι ότι η στάση του άρθρου προκύπτει από την συσσώρευση προβλέψεων σε επίπεδο τμήματος που παράγονται από ένα ξεχωριστό μοντέλο γλώσσας. Source: https://arxiv.org/pdf/2507.11049

Αντί να κρίνει ένα άρθρο ως ένα σύνολο, το JOA-ICL το σπάει σε δομικά μέρη (τίτλος, εισαγωγή, παραθέσεις και συμπέρασμα) και αναθέτει ένα μικρότερο μοντέλο για να επισημάνει κάθε ένα. Αυτές οι τοπικές προβλέψεις μεταφέρονται σε ένα μεγαλύτερο μοντέλο, το οποίο τις χρησιμοποιεί για να καθορίσει τη στάση του άρθρου.

Η μέθοδος δοκιμάστηκε σε ένα νέο συγκεντρωμένο韓 dataset που περιέχει 2.000 άρθρα ειδήσεων που έχουν ανανεωθεί για τη στάση σε επίπεδο άρθρου και σε επίπεδο τμήματος. Κάθε άρθρο έχει επισημανθεί δύο φορές: μια φορά για τη γενική του στάση προς ένα δεδομένο ζήτημα και ξανά για τα μεμονωμένα τμήματα. Συγκεκριμένα, η τίτλος, εισαγωγή, συμπέρασμα και παραθέσεις.

Η σήμανση πραγματοποιήθηκε υπό την καθοδήγηση ενός ειδικού στην ειδησιογραφία, που αντανακλούσε τον τρόπο με τον οποίο η στάση είναι κατανεμημένη στη δομή της επαγγελματικής γραφής ειδήσεων.

Σύμφωνα με το έγγραφο, το JOA-ICL υπερέχει τόσο των προτύπων που βασίζονται σε προτροπές όσο και των προκαταρκτικών βάσεων, δείχνοντας ιδιαίτερη δύναμη στην ανίχνευση υποστηρικτικών στάσεων (τις οποίες τα μοντέλα με παρόμοιο βεληνεκές συνήθως παραμελούν). Η μέθοδος αποδείχθηκε επίσης αποτελεσματική όταν εφαρμόστηκε σε ένα γερμανικό dataset υπό τις ίδιες συνθήκες, υποδεικνύοντας ότι οι αρχές της είναι потенτικά ανθεκτικές σε μορφές γλώσσας.

Οι συγγραφείς δηλώνουν:

‘Οι πειραματικές δοκιμές δείχνουν ότι το JOA-ICL υπερέχει των υφιστάμενων μεθόδων ανίχνευσης στάσης, υπογραμμίζοντας τα οφέλη της αντιπροσωπευτικής εκμάθησης σε επίπεδο τμήματος για την κατανόηση της γενικής στάσης των άρθρων ειδήσεων μεγάλου μήκους.”

Το νέο έγγραφο έχει τον τίτλο Ειδησιογραφική-οδηγούμενη Αντιπροσωπευτική Εκμάθηση στο Κείμενο για Ανίχνευση Στάσης Ειδήσεων και προέρχεται από διάφορες σχολές στο Πανεπιστήμιο Soongsil της Σεούλ, καθώς και από τη Σχολή Μελετών του Μέλλοντος του KAIST.

Μέθοδος

Μέρος της πρόκλησης της ανίχνευσης στάσης με τη βοήθεια του AI είναι логιστική και σχετίζεται με το πόσο σήμα μπορεί να διατηρήσει και να συσσωρευτεί ένα σύστημα μηχανικής μάθησης σε μια φορά, στην τρέχουσα κατάσταση της τέχνης.

Τα άρθρα ειδήσεων τείνουν να αποφεύγουν τις άμεσες δηλώσεις γνώμης, βασίζονται αντίθετα σε μια συναφής ή υποτιθέμενη στάση, που σηματοδοτείται μέσω επιλογών για ποιους πηγές να παραθέσουν, πώς να πλαισιώσουν την αφήγηση και ποια λεπτομέρειες να παραλείψουν, μεταξύ πολλών άλλων παραγόντων.

Ακόμη και όταν ένα άρθρο λαμβάνει μια σαφή θέση, το σήμα είναι συχνά σκορπισμένο στο κείμενο, με διαφορετικά τμήματα που δείχνουν σε διαφορετικές κατευθύνσεις. Καθώς τα μοντέλα γλώσσας (LMs) εξακολουθούν να αγωνίζονται με περιορισμένα παράθυρα контекстου, αυτό μπορεί να κάνει δύσκολο για τα μοντέλα να αξιολογήσουν τη στάση με τον ίδιο τρόπο που το κάνουν με μικρότερα περιεχόμενα (όπως tweets και άλλα μικρά περιεχόμενα κοινωνικών μέσων), όπου η σχέση μεταξύ του κειμένου και του στόχου είναι πιο σαφής.

Επομένως, οι τυπικές προσεγγίσεις συχνά αποτυγχάνουν όταν εφαρμόζονται σε πλήρη Journalism. Μια περίπτωση όπου η αμφιβολία είναι χαρακτηριστικό και όχι ελάττωμα.

Το έγγραφο δηλώνει:

‘Για να αντιμετωπίσουμε αυτές τις προκλήσεις, προτείνουμε μια ιεραρχική προσέγγιση μοντελοποίησης που πρώτα ανιχνεύει τη στάση σε επίπεδο μικρότερων μονάδων λόγου (π.χ. παραγράφους ή ενότητες) και στη συνέχεια ενσωματώνει αυτές τις τοπικές προβλέψεις για να καθορίσει τη γενική στάση του άρθρου.

‘Αυτή η αρχιτεκτονική σχεδιάζεται για να διατηρεί τοπικό контекστ και να συλλαμβάνει διασκορπισμένα σήματα στάσης στην αξιολόγηση του πώς διαφορετικά τμήματα μιας ιστορίας ειδήσεων συνεισφέρουν στη γενική της θέση σε ένα ζήτημα.’

Για αυτόν τον σκοπό, οι συγγραφείς συγκέντρωσαν ένα νέο dataset με τίτλο K-NEWS-STANCE, που προέρχεται από κάλυψη ειδήσεων Koreas μεταξύ Ιουνίου 2022 και Ιουνίου 2024. Τα άρθρα αναγνωρίστηκαν αρχικά μέσω BigKinds, μιας υπηρεσίας μετα-δεδομένων που υποστηρίζεται από την Korea Press Foundation, και τα πλήρη κείμενα ανακτήθηκαν χρησιμοποιώντας το Naver News API. Το τελικό dataset αποτελείται από 2.000 άρθρα από 31 εκδότες, που καλύπτουν 47 εθνικά ζητήματα.

Κάθε άρθρο επισημάνθηκε δύο φορές: μια φορά για τη γενική του στάση προς ένα δεδομένο ζήτημα και ξανά για τα μεμονωμένα τμήματα. Συγκεκριμένα, η τίτλος, εισαγωγή, συμπέρασμα και παραθέσεις.

Η σήμανση πραγματοποιήθηκε υπό την καθοδήγηση ενός ειδικού στην ειδησιογραφία, που αντανακλούσε τον τρόπο με τον οποίο η στάση είναι κατανεμημένη στη δομή της επαγγελματικής γραφής ειδήσεων.

Για να διασφαλιστεί ότι τα άρθρα περιέχουν σημαντικά σήματα στάσης, κάθε άρθρο ταξινομήθηκε αρχικά ανά είδος και μόνο αυτά που επισημάνθηκαν ως ανάλυση ή άποψη (όπου η υποκειμενική πλαισίωση είναι πιο πιθανό να βρεθεί) χρησιμοποιήθηκαν για την ανίχνευση στάσης.

Δύο εκπαιδευμένοι annotators επισημάνθηκαν όλα τα άρθρα και τους δόθηκε η εντολή να συμβουλεύονται σχετικά άρθρα σε περίπτωση που η στάση ήταν ασαφής, με διαφωνίες που επιλύθηκαν μέσω συζήτησης και πρόσθετης αναθεώρησης.

Δείγματα εγγραφών από το dataset K-NEWS-STANCE, μεταφρασμένα στα αγγλικά. Chỉ το τίτλος, η εισαγωγή και οι παραθέσεις εμφανίζονται. το πλήρες κείμενο του σώματος παραλείπεται. Η επισήμανση υποδηλώνει ετικέτες στάσης για τις παραθέσεις, με μπλε για υποστηρικτικές και κόκκινες για αντιτιθέμενες. Παρακαλώ ανατρέξτε στο PDF της πηγής για μια πιο καθαρή αναπαράσταση.

JoA-ICL

Αντί να αντιμετωπίζει ένα άρθρο ως ένα ενιαίο μπλοκ κειμένου, το JOA-ICL το χωρίζει σε δομικά μέρη: τίτλος, εισαγωγή, παραθέσεις και συμπέρασμα, και αναθέτει κάθε ένα από αυτά σε ένα μοντέλο γλώσσας, το οποίο επισημαίνει το τμήμα ως υποστηρικτικό, αντιτιθέμενο ή ουδέτερο.

Αυτές οι τοπικές προβλέψεις μεταφέρονται σε ένα δεύτερο μοντέλο, το οποίο χρησιμοποιεί αυτές τις προβλέψεις για να καθορίσει τη στάση του άρθρου.

Έτσι, το JoA-ICL προσαρμόζει την εκμάθηση στο контекστ για να ταιριάζει με τον τρόπο που γράφονται τα επαγγελματικά άρθρα ειδήσεων, χρησιμοποιώντας προτροπές που είναι συνειδητές του τμήματος αντί για μια γενική είσοδο.

(Παρακαλώ σημειώστε ότι τα περισσότερα από τα παραδείγματα και τις εικονογραφήσεις στο έγγραφο είναι εκτενείς και δύσκολο να αναπαραχθούν με καθαρότητα σε ένα online άρθρο. Παρακαλώ ανατρέξτε στο αρχικό PDF της πηγής)

Δεδομένα και Δοκιμές

Στις δοκιμές, οι ερευνητές χρησιμοποίησαν macro F1 και ακρίβεια για να αξιολογήσουν την απόδοση, μέσων όρων των αποτελεσμάτων σε δέκα εκτελέσεις με τυχαίες σπόρους από 42 έως 51 και αναφέροντας το στάνταρ λάθος. Τα δεδομένα εκπαίδευσης χρησιμοποιήθηκαν για προκαταρκτική εκπαίδευση των βασικών μοντέλων και των μοντέλων σε επίπεδο τμήματος, με few-shot δείγματα που επιλέχθηκαν μέσω αναζήτησης ομοιότητας χρησιμοποιώντας KLUE-RoBERTa-large.

Οι δοκιμές εκτελέστηκαν σε τρία RTX A6000 GPUs (κάθε一个 με 48GB VRAM), χρησιμοποιώντας Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0, και vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku, και Gemini 2 Flash χρησιμοποιήθηκαν μέσω API, σε θερμοκρασία 1.0 και με μέγιστους tokens ορισμένους σε 1000 για chain-of-thought προτροπές, και 100 για άλλες.

Για πλήρη προκαταρκτική εκπαίδευση του Exaone-3.5-2.4B, ο βελτιωτής AdamW χρησιμοποιήθηκε με ρυθμό μάθησης 5e-5, με 0.01 αποσβέση βάρους, 100 βήματα θέρμανσης, και με τα δεδομένα που εκπαιδεύτηκαν για 10 epochs με μέγεθος δείγματος 6.

Για τις βασικές γραμμές, οι συγγραφείς χρησιμοποίησαν RoBERTa, προκαταρκτικά εκπαιδευμένα για ανίχνευση στάσης σε επίπεδο άρθρου. Chain-of-Thought (CoT) Embeddings, μια εναλλακτική ρύθμιση του RoBERTa για την εκχώρηση εργασίας. LKI-BART, ένα μοντέλο κωδικοποιητή-αποκωδικοποιητή που προσθέτει контекстουαλές γνώσεις από ένα μεγάλο μοντέλο γλώσσας με την προτροπή του με το εισαγόμενο κείμενο και την προβλεπόμενη ετικέτα στάσης. και PT-HCL, μια μέθοδος που χρησιμοποιεί contrastive μάθηση για να διαχωρίσει γενικές χαρακτηριστικά από αυτά που είναι συγκεκριμένα για το ζήτημα-στόχο:

Απόδοση κάθε μοντέλου στο σύνολο δοκιμών K-NEWS-STANCE για την πρόβλεψη της γενικής στάσης. Τα αποτελέσματα εμφανίζονται ως macro F1 και ακρίβεια, με το υψηλότερο σκορ σε κάθε ομάδα με έντονα γράμματα.

Το JOA-ICL επιτύγχασε την καλύτερη συνολική απόδοση και σε ακρίβεια και σε macro F1, ένα πλεονέκτημα που είναι εμφανές σε όλα τα τρία μοντέλα που δοκιμάστηκαν: GPT-4o-mini, Claude 3 Haiku, και Gemini 2 Flash.

Η μεθοδος βασισμένη σε τμήματα υπερέχει συνεχώς όλες τις άλλες προσεγγίσεις, με, όπως παρατηρούν οι συγγραφείς, μια αξιοσημείωτη ακρίβεια στην ανίχνευση υποστηρικτικών στάσεων, ένα κοινό punto yếu σε παρόμοια μοντέλα.

Τα βασικά μοντέλα είχαν χειρότερη συνολική απόδοση. RoBERTa και Chain-of-Thought variants αγωνίστηκαν με νюανσировμένα περιπτώσεις, ενώ PT-HCL και LKI-BART είχαν καλύτερη απόδοση, αλλά ακόμη πίσω από το JOA-ICL σε meisten κατηγορίες. Το πιο ακριβές μεμονωμένο αποτέλεσμα προήλθε από το JOA-ICL (Claude), με 64.8% macro F1 και 66.1% ακρίβεια.

Η εικόνα παρακάτω δείχνει πόσο συχνά τα μοντέλα έβγαλαν κάθε ετικέτα σωστά ή λάθος:

Πίνακες σύγχυσης που συγκρίνουν τις βασικές γραμμές και το JoA-ICL, δείχνοντας ότι και τα δύο μοντέλα αγωνίζονται περισσότερο με την ανίχνευση ‘υποστηρικτικών’ στάσεων.

Το JOA-ICL έκανε καλύτερη συνολική απόδοση από τις βασικές γραμμές, βγάζοντας περισσότερες ετικέτες σωστά σε κάθε κατηγορία. Ωστόσο, και τα δύο μοντέλα αγωνίστηκαν περισσότερο με τις υποστηρικτικές στάσεις, και οι βασικές γραμμές τις λανθάνουν σχεδόν στο μισό, συχνά τις μπερδεύοντας με ουδέτερες.

Το JOA-ICL έκανε λιγότερα λάθη αλλά έδειξε το ίδιο μοτίβο, ενισχύοντας ότι οι ‘θετικές’ στάσεις είναι πιο δύσκολο για τα μοντέλα να τις ανιχνεύσουν.

Για να δοκιμάσουν αν το JOA-ICL λειτουργεί πέρα από τα όρια της κορεατικής γλώσσας, οι συγγραφείς το έτρεξαν σε CheeSE, ένα γερμανικό dataset για ανίχνευση στάσης σε επίπεδο άρθρου.既然 το CheeSE δεν έχει ετικέτες σε επίπεδο τμήματος, οι ερευνητές χρησιμοποίησαν distant supervision, όπου κάθε τμήμα έλαβε την ίδια ετικέτα στάσης με το πλήρες άρθρο.

Αποτελέσματα ανίχνευσης στάσης στο γερμανικό dataset CheeSE. Το JOA-ICL βελτιώνει συνεχώς την προτροπή zero-shot σε όλα τα τρία LLMs και υπερέχει των προκαταρκτικά εκπαιδευμένων βασικών μοντέλων, με το Gemini-2.0-flash να παρέχει την ισχυρότερη συνολική απόδοση.

ΕVEN υπό αυτές τις ‘θορυβώδεις’ συνθήκες, το JOA-ICL υπερέχει τόσο των προκαταρκτικά εκπαιδευμένων μοντέλων όσο και της προτροπής zero-shot. Από τα τρία μοντέλα που δοκιμάστηκαν, το Gemini-2.0-flash έδωσε τα καλύτερα αποτελέσματα.

Συμπέρασμα

Λίγες εργασίες στη μηχανική μάθηση είναι πιο πολιτικά φορτισμένες από την πρόβλεψη στάσης.然而, συχνά αντιμετωπίζεται με ψυχρό, μηχανικό τρόπο, ενώ δίνεται περισσότερη προσοχή σε λιγότερο σύνθετα ζητήματα στη γενετική νοημοσύνη, όπως η δημιουργία βίντεο και εικόνων, τα οποία προκαλούν πολύ πιο δυνατά headlights.

Η πιο ενθαρρυντική εξέλιξη στη νέα κορεατική εργασία είναι ότι προσφέρει μια σημαντική συνεισφορά στην ανάλυση πλήρους μήκους περιεχομένου, αντί για tweets και μικρό μήκος κοινωνικών μέσων, των οποίων οι incendiary effects είναι πιο γρήγορα ξεχασμένα από μια πραγματική εργασία, δοκίμιο ή άλλη σημαντική εργασία.

Μια αξιοσημείωτη παραλείψη στη νέα εργασία και (όσο μπορώ να καταλάβω) στο σώμα της ανίχνευσης στάσης γενικά είναι η έλλειψη προσοχής που δίνεται στα υποσυνδέσμους, τα οποία συχνά αντικαθιστούν τις παραθέσεις ως προαιρετικές πηγές για τους αναγνώστες να μάθουν περισσότερα για ένα θέμα. ωστόσο, πρέπει να είναι σαφές ότι η επιλογή τέτοιων URLs είναι потенτικά πολύ υποκειμενική και ακόμη και πολιτική.

Όμως, το πιο prestigioso η έκδοση, το λιγότερο πιθανό να περιλαμβάνει οποιονδήποτε σύνδεσμο που οδηγεί τον spectator μακριά από το domain του host. Αυτό, μαζί με διάφορες άλλες χρήσεις και κακοχρήσεις των υπερσυνδέσμων, τα κάνει πιο δύσκολο να ποσοτικοποιηθούν από τις ρητές παραθέσεις, τίτλους ή άλλα μέρη του άρθρου που μπορεί να επιδιώκουν, συνειδητά ή όχι, να επηρεάσουν την άποψη του αναγνώστη.

Πρώτη δημοσίευση Τετάρτη, 16 Ιουλίου 2025